1章 ChatGPT
01 ChatGPTとは
ChatGPTの始め方
ChatGPTの利用例
02 ChatGPTの便利な機能
チャットコメントの編集と操作
チャット履歴と共有
03 プロンプトエンジニアリング
プロンプトとコンテキスト
プロンプトエンジニアリング
04 ChatGPTのエンジン（大規模言語モデル）
GPT-4とGPT-3.5
Web検索連携機能
マルチモーダル機能（画像を用いたチャット）
Code Interpreter（プログラムの自動実行）
05 GPTs（AIのカスタマイズ機能）
GPTs
GPTビルダー
06 ChatGPT以外のAIチャットサービス
Google Gemini
Microsoft Copilot
Anthropic Claude
07 AIチャットの利用における注意点
ランダム性がある
間違いを含む可能性がある
禁止行為
入力データの扱い
GPTsの利用における注意点
2章 人工知能
08 AI（人工知能）
人工知能とは
09 AIの歴史
AI研究の歴史
10 生成AIと汎用人工知能
生成AI
汎用人工知能（AGI）
3章 機械学習と深層学習
11 機械学習
機械学習≠機械が学習
機械学習の種類
推論と学習
最適化
汎化と過適合
12 ニューラルネットワーク
ニューラルネットワークとは
ニューラルネットワークの仕組み
13 ニューラルネットワークの学習
勾配法による学習
誤差逆伝播法
14 正則化
ドロップアウト
バッチ正規化
ResNet（残差ネットワーク）
15 コンピュータで数値を扱う方法
2進数による整数と小数の表現
浮動小数点数
浮動小数点数の代表的なフォーマット
浮動小数点数の精度とダイナミックレンジ
16 量子化
モデルサイズとGPUのVRAMの関係
量子化
17 GPUを使った深層学習
計算を速くする方法
GPU vs CPU
GPUの成り立ちと汎用計算
深層学習への特化が進むGPUとNPU
GPU/NPUのソフトウェアサポート
4章 自然言語処理
18 自然言語処理
深層学習以前の自然言語処理
自然言語処理と深層学習
19 文字と文字コード
文字コード
Unicode
20 単語とトークン
文をコンピュータに扱えるように分割する
単語や文字による分割
サブワード
21 トークナイザー
トークナイザーの学習
語彙数とトークン数のトレードオフ
22 Word2Vec
「概念」を扱う方法
Word2Vecによる単語のベクトル表現
Word2Vecが意味を獲得する仕組み
23 埋め込みベクトル
トークンのベクトルは「意味」を表さない
埋め込みベクトル
さまざまな埋め込みベクトル
5章 大規模言語モデル
24 言語モデル
モデルとは
言語モデルとは
25 大規模言語モデル
大規模言語モデルと「普通の言語能力」
26 ニューラルネットワークの汎用性と基盤モデル
ニューラルネットワークによる特徴抽出
基盤モデル
基盤モデルで精度が上がる仕組み
27 スケーリング則と創発性
スケーリング則と創発性
大規模言語モデルのパラメータ数
28 言語モデルによるテキスト生成の仕組み
言語モデルによるテキスト生成
自己回帰言語モデル
貪欲法
29 テキスト生成の戦略
ランダムサンプリングとソフトマックス関数
「温度」の働き
単語生成の樹形図
ビームサーチ
30 言語モデルによるAIチャット
文生成によるAIチャット
大規模言語モデルによるAIチャットの問題点
31 ローカルLLM
ローカルLLMとは
ローカルLLMの環境
ローカルLLMによる推論のプロセス
32 大規模言語モデルのライセンス
ローカルLLMのエコシステム
ソフトウェアライセンス
大規模言語モデルのライセンスの種類
33 大規模言語モデルの評価
大規模言語モデルの評価方法
リーダーボード
34 大規模言語モデルの学習―事前学習―
事前学習と基盤モデル
自己教師あり学習
基盤モデルの追加学習
事前学習の訓練データ
35 大規模言語モデルの学習―ファインチューニング―
ファインチューニング
ファインチューニングの方法
RLHF（Reinforcement Learning from Human Feedback）
LoRA（Low-Rank Adaptation）
36 コンテキスト内学習
コンテキスト内学習（In-Context Learning）
6章 トランスフォーマー
37 回帰型ニューラルネットワーク（RNN）
ベクトルの次元
回帰型ニューラルネットワーク
言語モデルとしてのRNN
長距離依存性とLSTM
エンコーダー・デコーダー
38 注意機構（Attention）
人間の認知と注意機構
注意機構の基本
エンコーダー・デコーダーと注意機構
39 注意機構の計算
注意機構の計算
注意機構がうまく動く理由
40 トランスフォーマー（Transformer）
トランスフォーマーの基本構成
位置エンコーディング
マルチヘッド注意機構
41 BERT
BERT（バート）の特徴
BERTの事前学習
42 GPT（Generative Pretrained Transformer）
GPTモデルの基本構造
Mixture of Experts
7章 APIを使ったAI開発
43 OpenAI APIの利用
OpenAI API
OpenAI API利用上の注意
44 テキスト生成API（Completion API等）
テキスト生成APIの種類
45 OpenAI APIの料金
OpenAI APIのトークン
テキスト生成モデルの種類と料金
OpenAIトークナイザーライブラリtiktoken
言語ごとのトークン数の違い
46 テキスト生成APIに指定するパラメータ
テキスト生成APIのパラメータ
47 テキスト生成APIと外部ツールの連携―Function Calling―
Function Calling
LangChainライブラリ
機械可読化ツールとしてのFunction Calling
48 埋め込みベクトル生成APIと規約違反チェックAPI
埋め込みベクトル生成（Embeddings）API
埋め込みベクトル生成APIのモデルの種類
規約違反チェック（Moderation）API
49 OpenAI以外の大規模言語モデルAPIサービス
Microsoft Azure OpenAI API
Google Vertex AI
Amazon Bedrock
50 Retrieval Augmented Generation（RAG）
外部知識を使ったAIアプリケーションの開発
RAG（Retrieval Augmented Generation）
8章 大規模言語モデルの影響
51 生成AIのリスクとセキュリティ
生成AIによる悪影響
生成AIの悪用
生成AIが不適切な出力を行うリスク
生成AIを使ったサービスへの攻撃
対策とガイドライン
52 AIの偏りとアライメント
学習データの偏りがAIに与える影響
AIの偏りを制御する方法
53 ハルシネーション（幻覚）
AIは間違える
ハルシネーションの正体
ハルシネーションの対策
ハルシネーションをなくせるか？
54 AIの民主化
AI利用の民主化
AI開発の民主化
ビッグテックの計算資源
55 大規模言語モデルの多言語対応
ChatGPTは何ヵ国語で使える？
大規模言語モデルの言語間格差
大規模言語モデルと認知・文化との関係
56 AIと哲学
知能とは？ 言語とは？
中国語の部屋
