プログラミングのための確率統計

詳細目次

第I部　確率そのものの話

第1章 確率とは

1.1 数学の立場
1.2 三つの扉（モンティホール問題） ——— 飛行船視点
1.2.1 モンティホール問題
1.2.2 正しい答とよくある勘違い
1.2.3 飛行船視点への翻訳
1.3 三つ組(Ω,F, P) ——— 神様視点
1.4 確率変数
1.5 確率分布
1.6 現場流の略記法
1.6.1 確率変数の記法
1.6.2 確率の記法
1.7は裏方
1.7.1の正体にはこだわらない
1.7.2のとり方の流儀
1.7.3なし（神様視点なし）の確率論
1.8 念押しなど
1.8.1 何がしたかったのか
1.8.2 面積なんだから……
1.8.3 言い訳
コラム：モンティホール問題のシミュレーション

第2章 複数の確率変数のからみあい

2.1 各県の土地利用（面積計算の練習）
2.1.1 県別・用途別の集計（同時確率と周辺確率の練習）
2.1.2 県内・用途内での割合（条件つき確率の練習）
2.1.3 割合を逆算するには（Bayes の公式の練習）
2.1.4 割合が画一的な場合（独立性の練習）
2.1.5 練習完了
2.2 同時確率と周辺確率
2.2.1つの確率変数
2.2.2 もっとたくさんの確率変数
2.3 条件つき確率
2.3.1 条件つき確率とは
2.3.2 同時分布・周辺分布・条件つき分布の関係
2.3.3 等号以外の条件でも同様
2.3.4つ以上の確率変数
3 つ以上の確率変数の条件つき確率
例：三つの扉（モンティホール問題）
条件つき同時分布の分解
2.4 Bayes の公式
2.4.1 問題設定
2.4.2 Bayes の絵書き歌
2.4.3 Bayes の公式
2.5 独立性
2.5.1 事象の独立性（定義）
2.5.2 事象の独立性（言いかえ）
2.5.3 確率変数の独立性
2.5.4つ以上の独立性（要注意）
コラム：アクシデント

第3章 離散値の確率分布

3.1 単純な例
3.2項分布
3.2.1項分布の導出
3.2.2 補足：順列nPk・組合せnCk
順列
組合せ
3.3 期待値
3.3.1 期待値とは
3.3.2 期待値の基本性質
3.3.3 かけ算の期待値は要注意
3.3.4 期待値が存在しない場合
期待値が存在する例
期待値が存在しない例（1）……無限大に発散
期待値が存在しない例（2）……無限引く無限の不定形
まとめ
3.4 分散と標準偏差
3.4.1 期待値が同じでも……
3.4.2 分散= 「期待値からの外れ具合」の期待値
3.4.3 標準偏差
3.4.4 定数の足し算・かけ算と正規化
3.4.5 独立なら、足し算の分散は分散の足し算
3.4.6 自乗期待値と分散
3.5 大数の法則
3.5.1 独立同一分布（i.i.d.）
3.5.2 平均値の期待値・平均値の分散
3.5.3 大数の法則
3.5.4 大数の法則に関する注意
3.6 おまけ：条件つき期待値と最小自乗予測
3.6.1 条件つき期待値とは
3.6.2 最小自乗予測
3.6.3 神様視点で
3.6.4 条件つき分散
コラム：ポートフォリオ
コラム：事故間隔の期待値

第4章 連続値の確率分布

4.1 グラデーションの印刷（密度計算の練習）
4.1.1 消費したインクの量をグラフにすると（累積分布関数の練習）
4.1.2 印刷されたインクの濃さをグラフにすると（確率密度関数の練習）
4.1.3 印刷したものを伸縮させるとインクの濃さはどうなるか（変数変換の練習）
4.2 確率ゼロ
4.2.1 ぴったりが出る確率はゼロ
4.2.2 確率ゼロの何が問題か
4.3 確率密度関数
4.3.1 確率密度関数
累積分布関数と確率密度関数
確率密度関数から確率を読みとるには
4.3.2 一様分布
4.3.3 確率密度関数の変数変換
4.4 同時分布・周辺分布・条件つき分布
4.4.1 同時分布
4.4.2 先を急ぎたい方へ
4.4.3 周辺分布
4.4.4 条件つき分布
4.4.5 Bayes の公式
4.4.6 独立性
4.4.7 任意領域の確率・一様分布・変数変換
任意領域の確率
一様分布
変数変換
4.4.8 実数値と離散値の混在
4.5 期待値と分散・標準偏差
4.5.1 期待値
4.5.2 分散・標準偏差
4.6 正規分布と中心極限定理
4.6.1 標準正規分布
4.6.2 一般の正規分布
4.6.3 中心極限定理
コラム：ケーキ

第5章 共分散行列と多次元正規分布と楕円

5.1 共分散と相関係数
5.1.1 共分散
5.1.2 共分散の性質
5.1.3 傾向のはっきり具合と相関係数
5.1.4 共分散や相関係数では測れないこと
5.2 共分散行列
5.2.1 共分散行列＝ 分散と共分散の一覧表
5.2.2 ベクトルでまとめて書くと
5.2.3 ベクトル・行列の演算と期待値
5.2.4 ベクトル値の確率変数についてもう少し
5.2.5 変数変換すると共分散行列がどう変わるか
5.2.6 任意方向のばらつき具合
5.3 多次元正規分布
5.3.1 多次元標準正規分布
5.3.2 一般の多次元正規分布
スケーリングとシフト
縦横伸縮
さらに回転
5.3.3 多次元正規分布の確率密度関数
5.3.4 多次元正規分布の性質
期待値ベクトルと共分散行列を指定すれば分布が定まる
相関がないだけで独立だと断言できる
多次元正規分布を線形変換したらまた多次元正規分布になる
5.3.5 切口と影
切口（条件つき分布）
影（周辺分布）
切口と影に関する注意
5.3.6 おまけ：カイ自乗分布
5.4 共分散行列を見たら楕円と思え
5.4.1 （ケース1）単位行列の場合——— 円
5.4.2 （ケース2）対角行列の場合——— 楕円
5.4.3 （ケース3）一般の場合——— 傾いた楕円
5.4.4 共分散行列では測れないこと
コラム：次元の呪い

第II部　確率を役立てる話

第6章 推定と検定

6.1 推定論
6.1.1 記述統計と推測統計
6.1.2 記述統計
6.1.3 推測統計におけるものごとのとらえかた
視聴率調査
コイントス
期待値の推定
6.1.4 問題設定
6.1.5 期待罰金
6.1.6 多目的最適化
6.1.7 （策ア）候補をしぼる——— 最小分散不偏推定
6.1.8 （策イ）「ベスト」の意味を弱める——— 最尤推定
6.1.9 （策ウ）単一の数値として評価基準を定める——— Bayes 推定
6.1.10 手法の選択に関する注意
6.2 検定論
6.2.1 検定の論法
6.2.2 検定の理論的枠組
6.2.3 単純仮説
6.2.4 複合仮説
コラム：ともえ戦

第7章 擬似乱数

7.1 位置づけ
7.1.1 乱数列
7.1.2 擬似乱数列
7.1.3 典型的な用途：モンテカルロ法
7.1.4 関連する話題：暗号論的擬似乱数列・超一様分布列
暗号論的擬似乱数列
超一様分布列
7.2 所望の分布に従う乱数の作り方
7.2.1 離散値の場合
一様分布
一般の分布
7.2.2 連続値の場合
一様分布
累積分布関数を使う方法
確率密度関数を使う方法（素朴版）
7.2.3 正規分布に従う乱数の作り方
Box-Muller 変換
一様分布の足し算
多次元正規分布に従う乱数の作り方
7.2.4 おまけ：三角形内や球面上の一様分布
三角形内の一様分布
球面上の一様分布
コラム：すごろく

第8章 いろいろな応用

8.1 回帰分析と多変量解析から
8.1.1 最小自乗法による直線あてはめ
8.1.2 主成分分析（PCA）
8.2 確率過程から
8.2.1 ランダムウォーク
8.2.2 カルマンフィルタ
設定
導出
その先
8.2.3 マルコフ連鎖
定義
推移確率行列
定常分布
極限分布
吸収確率
初到達時刻
隠れマルコフモデル（HMM）
8.2.4 確率過程についての補足
8.3 情報理論から
8.3.1 エントロピー
8.3.2 二変数のエントロピー
8.3.3 情報源符号化
文字列圧縮問題
数値例と情報源符号化定理
8.3.4 通信路符号化
誤り訂正
通信路符号化定理
コラム：パターン

付録A 本書で使う数学の基礎事項

A.1 ギリシャ文字
A.2 数
A.2.1 自然数・整数
A.2.2 有理数・実数
A.2.3 複素数
A.3 集合
A.3.1 集合の記法
A.3.2 無限集合の大小
A.3.3 本気の数学に向けて
A.4 総和
A.4.1 定義と基本性質
A.4.2 二重和
A.4.3 範囲の指定
A.4.4 等比級数
A.5 指数と対数
A.5.1 指数関数
A.5.2 ガウス積分
A.5.3 対数関数
A.6 内積と長さ

付録B 近似式と不等式

B.1 Stirling の公式
B.2 Jensen の不等式
B.3 Gibbs の不等式
B.4 Markov の不等式とChebyshev の不等式
B.5 Chernoff 限界
B.6 Minkowski の不等式とHolder の不等式
B.7 相加平均. 相乗平均. 調和平均

付録C 確率論の補足

C.1 確率変数の収束
C.1.1 概収束
C.1.2 確率収束
C.1.3次平均収束
C.1.4 法則収束
C.2 特性関数
C.3 Kullback-Leibler divergence と大偏差原理

参考文献

索引