出版書誌データベース

本書は，直接に知ることのできない状態に関する情報を解析するための基本的な方法として用いられるベイズの定理に基づく学習と，それをもとにした部分観測可能なマルコフ決定過程の基本的な結果と応用についてまとめた。

【本書の構成】
1章「確率と確率過程」：本書で必要となる確率と確率過程の基本的な用語と性質について簡単に解説する。

2章「確率的順序関係」：ベイズの定理にもとづく学習を解析する上で基本となる確率的順序関係について、とくに必要となる尤度比順序を中心に述べる。

3章「マルコフ決定過程」：多段階決定過程を解析する手法である動的計画法と最適性の原理を説明し，マルコフ決定過程の基本的性質についてまとめる。

4章「ジョブサーチと確率的逐次割当問題」：マルコフ決定過程のひとつである期待値最大化問題であるジョブサーチと確率的逐次割当問題を中心に説明する。

5章「学習と情報」：部分観測可能なマルコフ連鎖を中心に，ベイズの定理にもとづく学習による事前分布と事後分布の関係などをまとめる。

6章「部分観測可能な2状態マルコフ決定過程」：部分観測可能な2状態マルコフ決定過程として，逐次解析や探索問題をはじめ最適停止問題などについて解説する。

7章「部分観測可能な逐次割当問題」：部分観測可能なマルコフ決定過程としてジョブサーチや確率的逐次割当問題，最適選択問題を取り上げ，その基本的な性質を解析する。

1．確率と確率過程
1.1　確率と確率変数
　1.1.1　確率空間
　1.1.2　確率変数
　1.1.3　期待値（平均）と分散
　1.1.4　同時分布と周辺分布
　1.1.5　独立
　1.1.6　確率変数の和
　1.1.7　特性関数
　1.1.8　極限定理
1.2　条件付き確率と期待値
　1.2.1　条件付き確率
　1.2.2　条件付き期待値
1.3　確率分布
　1.3.1　二項分布
　1.3.2　ポアソン分布
　1.3.3　一様分布
　1.3.4　指数分布
　1.3.5　ガンマ分布
　1.3.6　正規分布
1.4　計数過程
　1.4.1　確率過程
　1.4.2　ポアソン過程
　1.4.3　到着時間間隔
　1.4.4　非斉次ポアソン過程
　1.4.5　ポアソン過程の合成
1.5マルコフ連鎖とマルコフ過程
　1.5.1　マルコフ連鎖
　1.5.2　チャップマン?コルモゴロフ方程式
　1.5.3　離散時間マルコフ過程
1.6　連続時間の確率過程
　1.6.1　連続時間マルコフ連鎖
　1.6.2　チャップマン?コルモゴロフ方程式
　1.6.3　コルモゴロフの方程式
　1.6.4　出生死滅過程
2．確率的順序関係
2.1　確率順序
2.2　故障率関数と順序
　2.2.1　故障率関数
　2.2.2　故障率順序
2.3　尤度比順序
2.4　尤度比順序とTP
　2.4.1　TP
　2.4.2　MTP
　2.4.3　シフト尤度比順序
2.5　関数類による順序関係
3．マルコフ決定過程
3.1　動的計画法
　3.1.1　多段決定過程
　3.1.2　最適方程式
　3.1.3　最適性の原理
3.2　多段決定過程
　3.2.1　確率的多段決定過程
　3.2.2　定常政策とマルコフ決定過程
　3.3　割引のあるマルコフ決定過程
　3.3.1　最適方程式
　3.3.2　最適政策
　3.3.3　逐次近似法
　3.3.4　政策反復法
3.4　最適支出問題
　3.4.1　アウトカムと確率過程
　3.4.2　確定的最適支出問題
3.5　マルコフ過程の最適支出問題
4．ジョブサーチと確率的逐次割当問題
4.1　ジョブサーチ
　4.1.1　関数TF(z)とSF(z)
　4.1.2　最適方程式と最適政策
　4.1.3　リコールのあるジョブサーチ
4.2　確率的逐次割当問題
　4.2.1　ハーディの補題
　4.2.2　確率的逐次割当問題
　4.2.3　マルコフ連鎖の確率的逐次割当問題
　4.2.4　割引のある確率的逐次割当問題
4.3　ポアソン過程の確率的逐次割当問題
4.4　最適選択問題
5．学習と情報
5.1　ベイズの定理
　5.1.1　ベイズの定理
　5.1.2　事前分布と事後分布
5.2　共役分布族
　5.2.1　ポアソン分布
　5.2.2　指数分布
　5.2.3　期待値が未知の正規分布
5.3　部分観測可能な2状態マルコフ連鎖
　5.3.1　2状態マルコフ連鎖
　5.3.2　学習プロセス
　5.4　部分観測可能なマルコフ連鎖
　5.4.1　可算状態のマルコフ連鎖
　5.4.2　事前情報と事後情報
5.5　部分観測可能なマルコフ過程
　5.5.1　離散時間マルコフ過程
　5.5.2　事前情報と事後情報
　5.5.3　正規分布に基づくモデル
5.6　一度に複数の値を観測する学習プロセス
　5.6.1　独立な確率変数の場合
　5.6.2　MTP2の場合
6．部分観測可能な2状態マルコフ決定過程
6.1　逐次解析
6.2　探索問題
　6.2.1　目的物が動かない場合
　6.2.2　マルコフ連鎖の探索問題
6.3　部分観測可能な2状態マルコフ決定過程
　6.3.1　部分観測可能な2状態マルコフ連鎖
　6.3.2　部分観測可能な最適停止問題
　6.3.3　部分観測可能な取替問題
7．部分観測可能な逐次割当問題
7.1　部分観測可能なジョブサーチ
7.2　部分観測可能な確率的逐次割当問題
7.3　部分観測可能な最適選択問題
おわりに
引用・参考文献
索引