第1章 統計的機械学習の基礎
1.1 はじめに
1.2 ベイズ統計
1.2.1 離散状態空間における確率分布とベイズの公式
1.2.2 連続状態空間における確率密度関数とベイズの公式
1.2.3 最大事後確率推定と最大事後周辺確率推定
1.3 最尤推定
1.3.1 カルバック・ライブラー情報量
1.3.2 経験分布と最尤推定
1.3.3 不完全データと周辺尤度最大化
1.3.4 EMアルゴリズム
1.4 確率的グラフィカルモデルと統計的機械学習理論
1.4.1 確率的グラフィカルモデル
1.4.2 潜在変数を伴う確率的グラフィカルモデル
1.4.3 制限ボルツマンマシン
1.5 まとめ
第2章 ガウシアングラフィカルモデルの統計的機械学習理論
2.1 はじめに
2.2 ガウシアングラフィカルモデルによるノイズ除去とEMアルゴリズム
2.2.1 ガウシアングラフィカルモデルと不完全データにおける最尤推定
2.2.2 ガウシアングラフィカルモデルにおけるEMアルゴリズム
2.2.3 画像処理におけるガウシアングラフィカルモデルとEMアルゴリズム
2.3 一般化されたスパースガウシアングラフィカルモデル
2.3.1 一般化されたスパースガウシアングラフィカルモデルとEMアルゴリズム
2.3.2 確率伝搬法の数学的準備
2.3.3 一般化されたスパースガウシアングラフィカルモデルと確率伝搬法
2.3.4 確率伝搬法の解構造
2.4 まとめ
第3章 画像補修問題への応用
3.1 はじめに
3.1.1 画像補修問題
3.1.2 確率モデルによる画像処理の枠組み
3.2 確率モデルに基づく画像補修法
3.2.1 モデルの定義
3.2.2 確率伝搬法による画像修復アルゴリズム
3.2.3 高速フーリエ変換を用いたメッセージの計算法
3.2.4 確率モデルによる画像補修アルゴリズム
3.3 画像補修シミュレーション
3.4 まとめ
第4章 確率モデルによるパターン認識
4.1 はじめに
4.2 確率モデルによるパターン認識問題へのアプローチの基礎
4.2.1 パターン認識問題と機械学習
4.2.2 確率モデルを基礎としたクラス分類システムの枠組み
4.3 多値ロジスティック回帰モデル
4.3.1 多値ロジスティック回帰モデルの定義
4.3.2 多値ロジスティック回帰モデルの統計的機械学習
4.4 制限ボルツマンマシン分類器
4.4.1 制限ボルツマンマシン分類器の定義
4.4.2 制限ボルツマンマシン分類器に対する統計的機械学習
4.4.3 制限ボルツマンマシン分類器と多値ロジスティック回帰モデルの比較
4.5 まとめ：深層学習へ
第5章 圧縮センシングとその近辺
5.1 はじめに
5.2 ベイズ推定
5.2.1 確率的事象を扱う基本事項
5.2.2 最尤推定
5.2.3 ベイズ推定と正則化
5.2.4 ラプラス分布による正則化
5.3 L1ノルムが存在する最適化問題
5.3.1 最急降下法
5.3.2 ニュートン法
5.3.3 上界逐次最小化法
5.3.4 近接勾配法
5.3.5 軟判定閾値関数
5.3.6 ネステロフの加速法
5.4 多様な確率モデル
5.4.1 ポアソン分布
5.4.2 正値性を保った更新則
5.4.3 非負値制約行列分解
5.4.4 非負値行列分解による辞書学習
5.4.5 低ランク行列分解
5.4.6 カーネル法による拡張
5.5 圧縮センシング
5.5.1 線形観測過程
5.5.2 L1ノルム最小化
5.5.3 直観的な理解
5.5.4 実例
5.6 最適化の数理
5.6.1 罰金法
5.6.2 ラグランジュ未定乗数法
5.6.3 拡張ラグランジュ法
5.6.4 交互方向乗数法
5.6.5 等式制約を常に満たした交互方向乗数法
5.6.6 双対拡張ラグランジュ法
5.6.7 近接写像と拡張ラグランジュ法
5.7 情報統計力学
5.7.1 スピン系の統計力学
5.7.2 圧縮センシングの性能評価
5.7.3 レプリカ法
5.7.4 エントロピーの評価
5.7.5 β→∞の極限
5.7.6 状態発展法
あとがき
索 引
