出版書誌データベース

「正解」がわからない出力を、どう評価するのか？
LLMアプリ特有の評価の基本から、継続的改善の運用方法まで徹底解説！

LLMアプリケーションを価値あるものにするためには、評価が欠かせません。
評価をすることではじめて、LLMアプリケーションの現在地を把握し、改善すべき方向性を見極めることができます。

しかし、LLMアプリケーションの評価は、
・出力が確率的かつ自由度が高いため単純に正答率を評価することができない
・なにをもって良い出力とするかの軸が定めにくい
といったことから、「どう評価すればいいのか分からない」という課題にぶつかることが多くあるのではないでしょうか。

本書は、そういった課題を解決すべく、評価の種類、どういった評価指標を作っていくかはもちろん、近年注目されているLLM-as-a-Judgeを使った実際の評価、リリース後の評価・改善といった、基本から実務で使える知識まで解説します。

■本書の特徴
・評価の基本を網羅的に解説：評価の全体像から評価軸の考え方まで丁寧に解説していきます
・幅広い評価のアプローチの解説：最新の評価手法であるLLM-as-a-Judgeなども取り上げ、幅広い評価のアプローチを習得することで、あらゆる場面で最適な評価手法を選択・活用できる力を身につけられます
・実践力を身につけられる：実際にLangSmithを使ってLLMアプリケーションを評価し、運用・改善していく方法を紹介します。プロンプトのバージョンを管理し、LLMアプリケーションのモニタリングやトレースを行うことで、継続的にアプリケーションを改善するコツをしることができ、実践力を身につけられます

■こんな方におすすめ
・これからLLMを活用したアプリケーション開発をしようとしている方
・LLMを用いたサービスのリリースを検討しているが、評価に不安を感じている方
・すでにLLMを活用したアプリケーションを開発・運用しており、継続的に改善していきたいと考えている方

【目次】

■第1部 理論編

第1章 なぜLLM アプリケーションを評価する必要があるのか

第2章 LLMアプリケーション評価設計の全体像

第3章 LLMアプリケーション評価の実行プロセスと運用設計

第4章 評価設計の進め方

第5章 LLM-as-a-Judge

第6章 LLMOpsによる継続的な改善

■第2部 実践編

第7章 テーマ設定とサンプルアプリケーションの準備

第8章 評価の初期設計と評価データセットの作成

第9章 リリース前の評価とチューニング

第10章 リリース後の評価とモニタリング

付録 A LLMそのものの評価

【第1部 理論編】

第1章 なぜLLM アプリケーションを評価する必要があるのか
1.1 評価が必要な理由
1.2 LLMアプリケーション特有の評価の難しさ
1.3 なにを評価すべきかはアプリケーションの目的次第
1.4 評価がチームにもたらすもの
1.5 評価の3つの目的
1.6 評価駆動開発というパラダイムシフト
1.7 技術構成では変わらない評価の本
1.8 AI時代の新たなスタンダードとなる「評価駆動開発」
1.9 本章のまとめ

第2章 LLMアプリケーション評価設計の全体像
2.1 評価設計に必要な要素
2.2 「何のために（why）」評価するのか―評価の目的
2.3 「なにを（What）」評価するのか①―評価対象の設計
2.4 「なにを（What）」評価するのか②―観点・指標・基準の設計
2.5 本章のまとめ

第3章 LLMアプリケーション評価の実行プロセスと運用設計
3.1 「誰が（Who）」評価するのか―評価者の設計
3.2 「どのように（How）」評価するのか―評価データセットと評価方法の設計
3.3 「いつ（When）」評価するのか―評価タイミングの設計
3.4 「どこで（Where）」評価するのか―評価環境の設計
3.5 評価のゴールを定める―合格基準の設計
3.6 アプリケーションのライフサイクルと評価戦略の進化
3.7 本章のまとめ

第4章 評価設計の進め方
4.1 LLMそのものとLLMアプリケーションの評価の違い
4.2 LLMそのものの評価をどう参照するか
4.3 LLMアプリケーションの評価
4.4 LLMアプリケーションの出力品質の評価
4.5 レイヤー1の出力品質を超えた評価
4.6 本章のまとめ

第5章 LLM-as-a-Judge
5.1 なぜLLM-as-a-Judgeを使うのか
5.2 LLM-as-a-Judgeの使い方
5.3 LLM-as-a-Judge使用上の注意点
5.4 評価の精度向上
5.5 本章のまとめ

第6章 LLMOpsによる継続的な改善
6.1 LLMOpsとは
6.2 LLMOpsの全体像：継続的改善サイクルという考え方
6.3 LLMOpsサイクルを支える実践基盤
6.4 LLMOpsを効率化するためのツールとサービス活用
6.5 改善手法の選択肢を広げる
6.6 本章のまとめ

【第2部 実践編】

第7章 テーマ設定とサンプルアプリケーションの準備
7.1 第2部のハンズオンの概要
7.2 テーマ設定
7.3 LangSmithのセットアップ
7.4 サンプルアプリケーションのセットアップと起動
7.5 LLMを使ったワークフロー処理の実装
7.6 本章のまとめ

第8章 評価の初期設計と評価データセットの作成
8.1 評価の初期設計
8.2 評価データセットの作成準備
8.3 合成データセットの生成とブラッシュアップ
8.4 評価データセットの保存
8.5 本章のまとめ

第9章 リリース前の評価とチューニング
9.1 リリース前の評価の実装
9.2 人手での評価
9.3 評価指標の改善
9.4 評価結果に基づくチューニング
9.5 本章のまとめ

第10章 リリース後の評価とモニタリング
10.1 リリース後の評価の実装
10.2 リリース後の評価を試す
10.3 リリース後の評価のモニタリング
10.4 本章のまとめ
10.5 第2部のおわりに

付録 A LLMそのものの評価