出版書誌データベース

【書籍の趣旨，特徴】
本書では，データサイエンスやデータエンジニアリングの本質を深く理解するために必要となる基礎的な情報数理に絞り，原理についてのイメージの理解，かつ将来に向けた学習意欲を持たせることを到達点として，特に知っておいたほうがよいと考えられる基礎的な事項について解説をしています。また，章末問題を多数用意し，解答はコロナ社Webページで公開しています。

【構成】
第1章では，多次元関数の最適化に必要となる数学的な基礎知識について解説します。
第2章では，多次元関数の極値を求めるための具体的な手法について，基本的な事項を学びます。
第3章では，情報数理や情報統計の議論に必要な準備として確率論と確率モデルの基礎的事項を学びます。
第4章では，応用上，大変重要な確率変数の概念といくつかの代表的な確率分布について解説します。
第5章ではまず，確率モデルの議論に必要な表記法をまずまとめた後，パラメトリックモデル族についてその概要を述べます。その後に各種の統計的推測（決定）の問題を扱い，さらに最尤推定や不偏推定といった推定に加え，近年，急速にその有効性が認識されるようになったベイズ推定について解説します。
第6章では，統計的モデル選択の問題を定式化するとともに，よく知られたモデル選択規準について解説します。また，昨今の機械学習の学習パラメータの設定でもよく利用されているクロスバリデーションについても概要を紹介します。
第7章では，ベイズ統計に基づく推定や予測を議論するための準備として，伝統的な統計的決定理論の枠組みについて解説します。その中で，不確実な対象に対する決定の方法としてベイズ決定を示し，その性質を明らかにします。
第8章では，コンピュータ内部で使われる数値情報の表現や二進数の演算について基礎的事項を学びます。
第9章では，情報の量をどのように測るか？という疑問を出発点とし，情報量の概念や計算の方法について，その基礎的な枠組みを示していきます。
第10章では，情報源符号化の方法や理論的側面について学び，情報圧縮の限界としてのエントロピーの意味について理解します。
第11章では，誤りの訂正を目的とする通信路符号化の方法について，その基礎的な事項を解説します。
第12章では，パターン認識の問題と統計的学習について，その概略を述べます。

【著者からのメッセージ】
パターン認識と機械学習とその応用を学ぶ書籍としてすでに『入門パターン認識と機械学習』を発行しましたが，これらの手法の本質を深く理解するためには情報理論，確率論，統計学といった情報数理について基礎を積み上げる必要があります。本書『データ科学のための基礎数理―情報数理・確率統計・パターン認識―』の内容が，読者の皆様にとって，早い段階で情報数理の基礎を固めることに寄与し，データ科学やデータ工学の深い理解につながれば幸いです。

1．多次元関数の基礎
1.1　ユークリッド空間と関数
1.2　1次関数と2次関数の勾配ベクトル
1.3　2次関数の性質
　1.3.1　固有値と固有ベクトル
　1.3.2　2次関数の標準形
　1.3.3　2次関数の形状
1.4　関数の極値
1.5　制約付き最適化問題：ラグランジュの未定乗数法
　1.5.1　制約付き最適化問題の例
　1.5.2　問題の一般定式化
　1.5.3　ラグランジュの未定乗数法
　1.5.4　ラグランジュの未定乗数法の解釈
章末問題
2．関数の最適化手法
2.1　次関数の最適化
2.2　勾配法と最急降下法
2.3　確率的勾配降下法
2.4　ニュートン法
2.5　共役勾配法
2.6　さまざまな改良アルゴリズム
章末問題
3．確率論の基礎
3.1　事象と確率
　3.1.1　標本空間と事象
　3.1.2　σ-集合族
　3.1.3　確率空間
3.2　条件付き確率
3.3　ベイズの定理
章末問題
4．確率変数と確率分布
4.1　確率変数
　4.1.1　次元確率変数
　4.1.2　多次元確率変数
4.2　離散型確率変数と確率分布
　4.2.1　離散型確率変数
　4.2.2　期待値
　4.2.3　多次元離散型確率変数
　4.2.4　代表的な1次元離散型確率分布
4.3　連続型確率変数と確率分布
　4.3.1　連続型確率変数
　4.3.2　期待値
　4.3.3　多次元連続型確率変数
　4.3.4　代表的な1次元連続型確率分布
　4.3.5　多次元正規分布
4.4　期待値と分散の性質
章末問題
5．統計的推定と統計的予測
5.1　確率モデル
　5.1.1　表記法の定義
　5.1.2　経験分布
　5.1.3　パラメトリックモデル族
5.2　統計的推定と予測
5.3　一般的なパラメータの推定法
5.4　簡単な予測問題：確率分布が既知のときの予測
5.5　ベイズ推定とベイズ予測
　5.5.1　ベイズの公式
　5.5.2　パラメータの推定問題
　5.5.3　統計的予測問題
5.6　ベルヌーイ試行のベイズ推定と予測
章末問題
6．統計的モデル選択
6.1　具体例
　6.1.1　統計的仮説検定の問題
　6.1.2　統計的モデル選択問題としての捉え方
6.2　階層モデル族
6.3　統計的モデル選択問題
6.4　モデル選択規準
　6.4.1　赤池情報量規準（AIC）
　6.4.2　Schwarz の BIC
　6.4.3　Rissanen の MDL規準
6.5　モデル選択規準に関するさまざまな議論
6.6　クロスバリデーション
章末問題
7．統計的決定理論とベイズ決定
7.1　統計的決定の問題
　7.1.1　具体例
　7.1.2　一般論
7.2　決定理論の幾何的考察
　7.2.1　リスクセット
　7.2.2　ベイズ決定の幾何的意味
　7.2.3　ミニマックス決定の幾何的意味
7.3　決定問題の性質
　7.3.1　ベイズ決定の許容性
　7.3.2　非ランダム決定の最適性
　7.3.3　ミニマックス定理
章末問題
8．情報表現と2値演算
8.12　進数と演算
　8.1.1　ディジタル情報と2進数表示
　8.1.2　2進数と10進数の関係
　8.1.3　2進数表現の桁数
8.2　2進整数の演算
　8.2.1　整数の加算・減算と補数
　8.2.2　整数の乗算・除算とシフト演算
8.3　2進小数の表現
8.4　文字の表現
8.5　16進数
章末問題
9．情報エントロピー論
9.1　情報とはなにか
9.2　情報量はどのように測れるか？|自己情報量の概念
　9.2.1　Hartleyの自己情報量
　9.2.2　Shannonの自己情報量
9.3　エントロピー
　9.3.1　エントロピーの定義
　9.3.2　定常無記憶情報源とエントロピー
9.4　各種情報量
　9.4.1　二つの情報源
　9.4.2　結合エントロピー
　9.4.3　条件付きエントロピー
　9.4.4　相互情報量
9.5　エントロピーの性質
章末問題
10．情報源符号化の理論
10.1　情報源モデル
　10.1.1　情報源アルファベット
　10.1.2　情報源モデル
　10.1.3　定常無記憶情報源
　10.1.4　マルコフ情報源
10.2　情報源符号化と符号長
　10.2.12　元符号における情報源符号化の例
　10.2.2　記号列に対する情報源符号化の例
10.3　符号化の持つべき性質
　10.3.1　一意復号可能な符号
　10.3.2　瞬時符号
　10.3.3　瞬時符号の調べ方
　10.3.4　クラフトの不等式
10.4　ハフマン符号
10.5　符号化の限界（符号長の下限・上限と情報源符号化定理）
　10.5.1　符号長の下限
　10.5.2　符号長の上限
　10.5.3　拡大情報源
　10.5.4　情報源符号化定理
10.6　漸近等分割性
章末問題
11．通信路符号化の方法
11.1　通信のモデル
11.2　通信路のモデル
　11.2.1　通信路における誤り
　11.2.2　2元対称通信路（BSC）
　11.2.3　2元消失通信路（BEC）
11.3　通信路容量
　11.3.1　通信路容量の定義
　11.3.2　2元対称通信路の通信路容量
　11.3.3　2元対称通信路の通信路容量の計算例
　11.3.4　通信路符号化定理
11.4　誤り訂正符号
　11.4.1　誤り混入のモデル
　11.4.2　最も簡単な例：繰り返し符号
　11.4.3　組織符号とパリティ検査符号
　11.4.4　ハミング符号
　11.4.5　誤り検出能力と誤り訂正能力
　11.4.6　線形符号
章末問題
12．パターン認識と統計的学習の概要
12.1　パターン認識とは
　12.1.1　パターン認識問題の例
　12.1.2　パターン認識問題の基本モデル
　12.1.3　特徴空間と特徴ベクトル
12.2　ベイズ決定による最適判別
　12.2.1　一般論
　12.2.2　生成モデルと識別モデル
　12.2.3　正規分布を仮定した生成モデルと識別関数との関係
12.3　線形識別関数によるパターン判別
　12.3.1　線形判別モデルとパーセプトロン
　12.3.2　パーセプトロンの学習
12.4　特徴パターンとの照合によるパターン判別
　12.4.1　テンプレートマッチング
　12.4.2　k-最近傍識別法
12.5　さまざまな機械学習アルゴリズム
章末問題
引用・参考文献
索引