出版書誌データベース

●想定読者
本書は主に次のような方々に向けて書かれています。
・データサイエンティストの方々
・ChatGPTの仕組みや特徴を他のモデル作成に活かしたい方々
・構文解析や感情分析などの伝統的なNLPタスクに携わる方々
・深層学習による汎用大規模言語モデル、その応用先や評価に興味を持つAIの研究者

●前提とする知識
言語モデルの学習や推論、またコーパスから得られる単語や文のベクトル表現など、NLPの基本的な概念を理解していれば大丈夫です。数式に馴染みがあり、トランスフォーマーやBERTの知識や経験があれば一層結構ですが、本書の中でも説明しているので、必須ではありません。

●本書の特徴と工夫
本書は、理論と応用の両方を充実させました。
ChatGPTの背景や原理は、最新の理論に基づき体系的に整理しました。ミニChatGPTのサンプル開発やチューニングでは実際のコードを示し、手を動かしながら理解を深めることができます。また、データサイエンティストの方々には文系出身者も多いので、難易度が高い理論や数式は図説や脚注で補足しています。
応用面では、マイクロソフトのサービス実装など、実務に役立つ最新情報を提供。実際に直面する課題の解決や、応用先の拡大も図れるよう工夫しました。

●本書に期待できること
データサイエンティストの方々は、大規模言語モデルの作成方法が分かり、検索エンジンやチャットボットなど、ターゲットアプリに合わせたチューニングができるようになります。また、データ拡張を通じた改善や、プロンプトエンジニアリングの手法など、ChatGPTをサービスに利用するための必須知識が得られます。そして将来、未知の新しい応用先を開拓するための基本知識が身につきます。
研究者の方々は、大規模言語モデルの現状と限界、応用事例や実用性がわかり、研究方向の探索に役立ちます。特にNLPの研究者は、ChatGPTの登場によって今後の研究テーマが鋭く問われているので、本書が重要な手掛かりになるでしょう。
いずれの方も、本書のミニChatGPTの実装や、学習から評価に至る言語モデルの構築を経験することで、他の類似モデルのファインチューニングや対策の工夫ができるようになるでしょう。

◆「AI/Data Science実務選書」とは…
機械学習やAIの計算モデルは、システム開発のパラダイムを覆しつつあります。「AI/Data Science実務選書」は、AI開発とデータサイエンスのプラクティスを集め、実務家のスキル獲得／向上を力強く支援します。

第1章　ChatGPTの概要
1.1　ChatGPT登場の背景と社会的反響
1.2　言語モデルの歴史

第2章　ChatGPTの動作原理
2.1　トランスフォーマー
2.2　BERT
2.3　GPT-3
2.4　RLHF

第3章　他の大規模言語モデル
3.1　LaMDAとBard
3.2　PaLM
3.3　LLaMA

第4章　ChatGPTのAPI
4.1　ChatGPTのAPIとは？
4.2　アクセス取得及び最初の呼び出し
4.3　入力及び応答のフォーマット
4.4　アドバンスドな利用方法

第5章　APIを用いたファインチューニング
5.1　ファインチューニングの準備
5.2　ファインチューニングの実行
5.3　推論の実行

第6章　HuggingFaceを用いたファインチューニング
6.1　Pythonスクリプトによる学習の準備
6.2　モデルの学習
6.3　推論
6.4　RLHFの再現

第7章　プロンプトエンジニアリング
7.1　プロンプトエンジニアリングの概要
7.2　プロンプトのパターン
7.3　日本語のプロンプトエンジニアリング

第8章　Microsoftのサービスで始めるLLMシステム
8.1　本章に書くこと・書かないこと
8.2　LLMを組み込んだMicrosoft製品
8.3　Azure OpenAI Serviceという選択肢
8.4　RAGアーキテクチャ
8.5　研究者のためのクイックなRAG環境構築：Azure OpenAI Serviceとカスタム実装
8.6　本章の最後に

第9章　ChatGPTの限界を越えて
9.1　ChatGPTの限界
9.2　外部APIを用いたChatGPTの改善
9.3　ChatGPT生成文章の識別
9.4　ChatGPTとAGI

第10章　マルチモーダル大規模モデルの数々
10.1　テキストによる画像生成
10.2　テキストによる動画生成
10.3　テキストによる音声・音楽生成

第11章　今後の課題
11.1　言語モデルの現状
11.2　言語モデルの今後
11.3　結語