出版書誌データベース

現場で使えるLLMを構築、本番環境に展開！成功へ導くための包括的なガイド本書では、大規模言語モデル（LLM）を実装し、本番環境にデプロイするためのノウハウを解説。LLMの基礎概念から、実装、デプロイ、運用、管理における複雑な課題とその解決策まで、包括的に取り上げます。まず、LLMの可能性と限界、そして自社構築か既存サービスかの判断基準などから説明。また、運用（LLMOps）に関しては、ダウンロード時間、デプロイ時間、レイテンシー、GPU管理、トークン制限、ハルシネーション、バイアスといった具体的な課題への対策を詳しく解説。データエンジニアリングの重要性にも触れ、成功に不可欠なデータ準備、評価指標、クリーニング、前処理を説明。トレーニングとファインチューニングのほか、効果的なプロンプトエンジニアリングについても具体的に紹介。さらに、Llamaの再実装、Raspberry Piというエッジデバイスへのデプロイ、AIコーディング拡張機能の構築など、読者が自らの手で動かせるようなサンプルプロジェクトを説明します。本書は、LLMの可能性を最大限に引き出し、実際に機能する製品に変えるために必携の一冊となっています。※ 本書は『LLMs in Production: From language models to successful products』（Manning Publications）の翻訳書です。※本書の内容はPythonとPyTorchの知識があることが前提となっています。【章構成】第1章 言葉の覚醒：なぜLLMは注目を浴びたのか第2章 LLM：言語モデリングの本質を探る第3章 LLMOps：LLM向けのプラットフォームを構築する第4章 LLMのためのデータエンジニアリング：成功へのステップ第5章 LLMの訓練：生成モデルの作り方第6章 LLMサービス実践ガイド第7章 プロンプトエンジニアリング：プロンプトの魔術師になる第8章 LLMアプリケーションの構築：インタラクティブな体験を作り出す第9章 LLMプロジェクトの作成：Llama 3を再実装する第10章 AIによるコーディング支援プロジェクト：この機能がもっと早くほしかった第11章 Raspberry Piでのデプロイ：限界に挑戦第12章 本番環境は絶えず変化する：物語はまだ始まったばかり

表紙
サンプル・正誤表・商標について
本書に寄せて
まえがき
謝辞
本書について
コードについて／著者について
目次
第1章 言葉の覚醒：なぜLLMは注目を浴びたのか
1.1 LLMはコミュニケーションを加速させる
1.2 LLMを構築する？それとも購入する？
1.2.1 購入：定番ルート
1.2.2 構築：あまり選ばないルート
1.2.3 ひとつ警告しておこう：今こそ未来を受け入れるときである
1.3 神話を覆す
1.4 まとめ
第2章 LLM：言語モデリングの本質を探る
2.1 言語モデリング
2.1.1 言語学的な特徴
2.1.2 記号論
2.1.3 多言語NLP
2.2 言語モデリングの手法
2.2.1 N-gramとコーパスベースの手法
2.2.2 ベイズ統計の手法
2.2.3 マルコフ連鎖
2.2.4 連続的な言語モデリング
2.2.5 埋め込み
2.2.6 多層パーセプトロン（MLP）
2.2.7 リカレントニューラルネットワーク（RNN）と長短期記憶（LSTM）
2.2.8 Attention
2.3 Attention Is All You Need
2.3.1 エンコーダ
2.3.2 デコーダ
2.3.3 Transformer
2.4 本当に巨大なTransformer
2.5 まとめ
第3章 LLMOps：LLM向けのプラットフォームを構築する／3.1 入門：LLMOps
3.2 LLMOpsの課題／3.2.1 ダウンロードに時間がかかる
3.2.2 デプロイに時間がかかる
3.2.3 レイテンシ（遅延）
3.2.4 GPUを管理する
3.2.5 テキストデータの特異性
3.2.6 トークン制限がボトルネックになる
3.2.7 幻覚（ハルシネーション）がもたらす混乱
3.2.8 バイアスと倫理的配慮
3.2.9 セキュリティへの配慮
3.2.10 コスト管理について
3.3 LLMOpsの基本的要素／3.3.1 圧縮
3.3.2 分散コンピューティング
3.4 LLMOpsのインフラ
3.4.1 DataOpsインフラ
3.4.2 実験管理ツール
3.4.3 モデルレジストリ
3.4.4 特徴量ストア
3.4.5 ベクトルデータベース
3.4.6 監視システム
3.4.7 GPU対応のワークステーション
3.4.8 デプロイメントサービス
3.5 まとめ
第4章 LLMのためのデータエンジニアリング：成功へのステップ
4.1 モデルは基盤である
4.1.1 GPT
4.1.2 BLOOM
4.1.3 Llama／4.1.4 Wizard
4.1.5 Falcon／4.1.6 Vicuna
4.1.7 Dolly／4.1.8 OpenChat
4.2 LLMを評価する／4.2.1 テキストを評価するための指標
4.2.2 業界のベンチマーク
4.2.3 責任あるAIベンチマーク
4.2.4 独自のベンチマークを開発する
4.2.5 コード生成を評価する
4.2.6 モデルパラメータを評価する
4.3 LLMのためのデータ
4.3.1 押さえておきたいデータセット
4.3.2 データのクリーニングと前処理
4.4 テキストプロセッサ
4.4.1 トークン化
4.4.2 埋め込み
4.5 Slackデータセットを準備する
4.6 まとめ
第5章 LLMの訓練：生成モデルの作り方
5.1 マルチGPU環境／5.1.1 セットアップ
5.1.2 ライブラリ
5.2 基本的な訓練テクニック
5.2.1 ゼロからの訓練
5.2.2 転移学習（ファインチューニング）
5.2.3 プロンプティング
5.3 高度な訓練テクニック
5.3.1 プロンプトチューニング
5.3.2 知識蒸留によるファインチューニング
5.3.3 人間のフィードバックによる強化学習（RLHF）
5.3.4 MoE（Mixture.of.Experts）
5.3.5 LoRAとPEFT
5.4 訓練のヒントとコツ／5.4.1 訓練データのサイズについて／5.4.2 効率的な訓練
5.4.3 局所最適解の罠
5.4.4 ハイパーパラメータチューニングのヒント／5.4.5 オペレーティングシステム（OS）について
5.4.6 活性化関数のヒント／5.5 まとめ
第6章 LLMサービス実践ガイド
6.1 LLMサービスを作成する
6.1.1 モデルのコンパイル
6.1.2 LLMストレージ戦略
6.1.3 適応的バッチ処理
6.1.4 フロー制御
ほか