出版書誌データベース

なぜ、そのオプティマイザがあなたの機械学習に適しているのか？

ディープラーニングの普及により、誰もが高度なAIモデルを扱える時代になりました。しかし、その背後にある「数理最適化」は、依然として多くの初学者にとって高い壁となっています。その数理最適化について「独学でも絶対に挫折しない」ことを目指して書き下ろした入門書です。

【本書の特長】
「オプティマイザ」の正体を掴む： 確率的勾配降下法、モーメンタム、Adam。なぜこれらが機械学習に有効なのか、その理論的背景を「手計算」できるレベルまで丁寧に解説します。
ゴールは「画像識別の理論」： 単なる数学の羅列ではありません。最終的に画像識別がどのような仕組みで動いているのかを、最適化の視点から完全に理解することを目指します。
「脳内数学」から「泥臭い数学」へ： 理屈だけでなく、実際に手を動かして計算する習慣を身につけることで、ツールに使われるのではなく、自信を持ってツールを使いこなす力を養います。
データサイエンティスト、AIエンジニアを目指す学生、そして「中身」を理解して一段上のステップへ進みたい社会人エンジニアに捧げる、新たなスタンダードとなる一冊です。

記号表

第1章 数学の復習
1-1 論理と集合
1-2 ユークリッド空間
1-3 線形代数
1-4 微分積分
1-5 確率・統計

第2章 機械学習モデルを訓練する
2-1 機械学習
2-2 機械学習モデルを訓練するには?
2-3 機械学習モデルの訓練は経験損失の最適化

第3章 機械学習モデルの最適化
3-1 経験損失の最小解
3-2 経験損失は微分可能
3-3 経験損失は局所的凸関数

第4章 識別の正解率を上げる
4-1 経験損失を下げる
4-2 経験損失は平滑関数

第5章 ステップサイズを理解する
5-1 オプティマイザ(反復法)
5-2 経験損失の平滑性を利用するステップサイズ
5-3 経験損失を下げるステップサイズ

第6章 勾配降下法
6-1 オプティマイザの収束性
6-2 勾配降下法の収束性
6-3 非凸平滑経験損失の最適化
6-4 凸平滑経験損失の最適化

第7章 訓練データの標本調査
7-1 勾配降下法の問題点
7-2 標本調査による推定量
7-3 ミニバッチ損失とミニバッチ勾配の不偏性
7-4 ミニバッチ勾配の分散

第8章 確率的勾配降下法1
8-1 確率的勾配降下法の構成
8-2 確率的勾配降下法の探索方向
8-3 勾配降下法に対する更新の比較

第9章 確率的勾配降下法2 定数バッチサイズ
9-1 定数バッチサイズによる収束性
9-2 非凸平滑経験損失の最適化
9-3 凸平滑経験損失の最適化

第10章 確率的勾配降下法3 勾配降下法に近づける
10-1 確率的勾配降下法の利点
10-2 バッチサイズを大きくする

第11章 確率的勾配降下法4 増加バッチサイズ
11-1 増加バッチサイズによる収束性
11-2 非凸平滑経験損失の最適化 (定数・減少ステップサイズと増加バッチサイズ)
11-3 非凸平滑経験損失の最適化 (増加ステップサイズと増加バッチサイズ)
11-4 凸平滑経験損失の最適化

第12章 バッチサイズを理解する
12-1 確率的勾配降下法の計算量
12-2 確率的勾配降下法の計算量とバッチサイズ
12-3 確率的勾配計算量の最小化に基づいた確率的勾配降下法

第13章 確率的勾配降下法を加速する
13-1 モーメンタム付き確率的勾配降下法
13-2 適応手法
13-3 特異値分解を利用するオプティマイザ

第14章 汎化性能を高める
14-1 経験損失に正則化項を加える
14-2 平坦な最小解を見つける

章末問題略解
参考文献
索引

著：飯塚 秀明
1978 年生まれ。東京工業大学大学院情報理工学研究科博士後期課程修了後、日本学術振興会特別研究員（PD）、九州工業大学ネットワークデザイン研究センター（東京サテライトオフィス）専任准教授を経て、現在、明治大学理工学部情報科学科 専任教授。博士（理学）。専門分野は最適化理論。 著書『連続最適化アルゴリズム』（オーム社）、『機械学習のための数学』（コロナ社）