大学の確率・統計

連続型確率変数 $X$ に対して，$X$ が $a$ 以上 $b$ 以下となる確率が，積分を用いて $P(a\leq X\leq b)=\displaystyle\int_a^bf(x)dx$ で与えられるとき，$f(x)$ を確率密度関数という。

ポアソン分布とは 「一定時間内にランダムなイベントが何回発生するか」を表す分布です。

マルコフ(Markov)の不等式：任意の確率変数 $X$ と $a > 0$ に対して（期待値 $E[|X|]$ が存在するとき）， $P(|X|\geq a)\leq\dfrac{E[|X|]}{a}$

大数の法則とは，大雑把に言うと いっぱい実験すればデータの平均は真の平均に近づくという法則のことです。

最小二乗法による直線フィッティング（単回帰分析）において

全変動＝回帰変動＋残差変動

指数分布とは， ランダムなイベントの発生間隔を表す分布です。指数分布は「地震が起きる間隔」や「電球の寿命」などを表す分布として使われます。

決定係数 とは，予測式の精度（予測式によってデータをどれくらい説明できているか）を表す値です。

分散共分散行列とは，分散（散らばり具合を表す指標）の概念を多次元確率変数に拡張して行列としたもの。

平均 $\mu$ ，分散 $\sigma^2$ の分布（母集団）からランダムに抽出したサンプルの値を $x_1,x_2,\cdots, x_n$ とする。

このとき， $u^2=\dfrac{1}{n-1}\displaystyle\sum_{i=1}^n(x_i-\overline{x})^2$

とおくと， $E[u^2]=\sigma^2$ となる。 $u^2$ を不偏標本分散と言う。

定理1（正規分布の一次式）：

$X$ が正規分布に従うとき，$aX+b$ も正規分布に従う。

（ただし $a,b$ は任意の実数で $a\neq 0$ ）

最小二乗法の行列表現：

主張1：行列 $A$ と列ベクトル $\overrightarrow{b}$ が与えられたときに$\|A\overrightarrow{x}-\overrightarrow{b}\|$ を最小にする $\overrightarrow{x}$ を求める問題は非常に重要である。

主張2： $A^{\top}A$ が正則のとき上記の問題の解は唯一つである： $\overrightarrow{x}=(A^{\top}A)^{-1}A^{\top}\overrightarrow{b}$

ビュフォンの針： $l \leq d$ とする。 平面上に間隔 $d$ で平行線を引く。長さ $l$ の針を適当に投げたとき，針が平行線と交わる確率は，$\dfrac{2l}{\pi d}$ である。

統計学における推定

• （専門用語で）標本集団から母集団の特徴を推定すること
• （意訳）一部のデータの特徴から全体の特徴を予想すること

統計学における仮説検定：

とある仮説が正しいかどうかを統計学を使って判断する手法。

定理（カイ二乗分布と正規分布の関係）：

確率変数 $X_1,X_2,\cdots,X_n$ が互いに独立に標準正規分布 $N(0,1)$ に従うとき，$X=X_1^2+X_2^2+\cdots +X_n^2$ は自由度 $n$ のカイ二乗分布に従う。

二項分布の正規近似（ド・モアブル–ラプラスの定理）

二項分布 $\mathrm{Bin}(n,p)$ は $n$ が十分大きいとき，平均 $np$，分散 $np(1-p)$ の正規分布に近づく。

同時確率密度関数が，

$f(\overrightarrow{x})=\dfrac{1}{(2\pi)^{\frac{n}{2}}\sqrt{|\Sigma|}}\exp \left\{-\dfrac{1}{2}(\overrightarrow{x}-\overrightarrow{\mu})^{\top}\Sigma^{-1}(\overrightarrow{x}-\overrightarrow{\mu})\right\}$

で表される分布を多変量正規分布（多変量ガウス分布）と言う。

コーシー分布：

確率密度関数が $f(x)=\dfrac{1}{\pi (1+x^2)}$ であるような連続型確率分布を（標準）コーシー分布と言う。

逆関数法：累積分布関数が $F(x)$ であるような確率分布に従う乱数を生成したいときには，$[0,1]$ 上の一様分布に従う乱数を生成してそれに $F^{-1}$ をかませばよい。

確率変数 $X$ が従う分布の尖度，歪度が以下のように定義される：

歪度：$\dfrac{E[(X-\mu)^3]}{\sigma^3}$

尖度：$\dfrac{E[(X-\mu)^4]}{\sigma^4}-3$

ボックス=ミュラー法

$U_1,U_2$ が独立に $[0,1]$ 上の一様分布に従うとき，

$X_1=\sqrt{-2\log U_1}\cos 2\pi U_2$

$X_2=\sqrt{-2\log U_1}\sin 2\pi U_2$

は独立に標準正規分布に従う。

定理：

$X_1,X_2,\cdots,X_n$ が互いに独立に平均 $\mu$ ，分散 $\sigma^2$ の正規分布に従うとき，

$\dfrac{1}{\sigma^2}\displaystyle\sum_{i=1}^n(X_i-\overline{X})^2$ は自由度 $n-1$ のカイ二乗分布に従う。

平均が $\mu$，分散が $\sigma^2$ である正規分布の母分散の推定，検定：

母平均が既知→ $\dfrac{1}{\sigma^2}\displaystyle\sum_{i=1}^n(X_i-\mu)^2$ が自由度 $n$ のカイ二乗分布に従うことを使う。

母平均が未知→ $\dfrac{1}{\sigma^2}\displaystyle\sum_{i=1}^n(X_i-\overline{X})^2$ が自由度 $n-1$ のカイ二乗分に従うことを使う。

統計量（確率変数）がデータから計算した統計量の値より極端な値を取る確率をp値と言う。

p値が小さい→帰無仮説が正しくなさそう。

（M/M/1モデルのもと）客が到着するスピードが $\lambda$ ，窓口の処理スピードが $\mu\:(>\lambda)$ のとき，行列の平均待ち時間は， $\dfrac{\rho}{1-\rho}\cdot\dfrac{1}{\mu}$

ただし，$\rho=\dfrac{\lambda}{\mu}$

ベータ分布とは，確率密度関数が $f(x)=Cx^{a-1}(1-x)^{b-1}\:(0\leq x\leq 1)$ であるような確率分布のことです。

ただし，$a,b$ はパラメータ（正の実数）であり，$C$ は規格化定数です。

同時確率関数が

$P(n_1,\cdots,n_k)=\dfrac{n!}{n_1!\cdots n_k!}p_1^{n_1}\cdots p_k^{n_k}$ （各 $n_i$ が非負で $n_1+\cdots +n_k=n$ のときはこの値，それ以外のときは $0$ ）

で表されるような分布を多項分布と言う。

ただし，$n,p_1,\cdots,p_k$ はパラメータで，$p_1+\cdots +p_k=1$ を満たす。

確率密度関数が，

$f(x_1,\cdots,x_{n-1}) =\begin{cases}Cx_1^{\alpha_1-1}\cdots x_n^{\alpha_n-1}&(x_1,\dots, x_n\geq 0)\\0&(\mathrm{Otherwise})\end{cases}$

で表されるような多次元の確率分布をディリクレ分布と言う。ただし，

• $x_n$ は，$x_1+\cdots +x_n=1$ という関係式によって，$x_1,\dots,x_{n-1}$ から定まる値。

• $\alpha_1,\cdots,\alpha_n$ はパラメータで $C$ は正規化定数。

各成分に相関係数を並べた行列を相関行列と言う。

確率変数 $Y$ が正規分布に従うとき，$e^Y$ が従う分布を対数正規分布と言う。

確率変数 $X$ に対して，モーメント母関数（積率母関数）を $M_X(t)=E[e^{tX}]$ で定義する。

確率（密度 or 質量）関数が，

ある関数 $g_i(\theta)$ ，$h_i(x)$

$(i=0,1,\dots,d)$ を用いて

$p(x\mid \theta)=g_0(\theta)h_0(x)\exp\left\{\displaystyle\sum_{i=1}^dg_i(\theta)h_i(x)\right\}$

と表せるような分布を指数型分布族（exponential family）と言う。

二つのベクトル $\overrightarrow{a}=(a_1,a_2,\cdots,a_n)$ と $\overrightarrow{b}=(b_1,b_2,\cdots,b_n)$ に対して

$\dfrac{a_1b_1+\cdots +a_nb_n}{\sqrt{a_1^2+\cdots +a_n^2}\sqrt{b_1^2+\cdots +b_n^2}}$

をコサイン類似度（またはコサイン距離）と言う。

「向き」に確率をのせた分布の代表例としてフォンミーゼスフィッシャー分布がある。

確率密度関数が

$f(x)=x^{n-1}\dfrac{e^{-\frac{x}{\mu}}}{\Gamma(n)\mu^n}\:(x\geq 0)$

で表される確率分布をガンマ分布と言う。 $\mu$ と $n$ は正のパラメータ。

$P(x)=\dbinom{x-1}{k-1}p^{k}(1-p)^{x-k}$（$x$ は非負整数）

で表される離散型確率分布を負の二項分布と言う。

確率密度関数が $f(r)=\dfrac{r}{\sigma^2}e^{-\frac{r^2}{2\sigma^2}}$ （$r\geq 0$ ）であるような連続型確率分布をレイリー分布と言う。

ベイズ推定とは「過去の経験」と「新たに得たデータ」をもとに不確実な事象を予測する手法である。

「$X$ の影響を除いた $Y$」と「$X$ の影響を除いた $Z$」の相関係数 $\rho_{YZ,X}$ は，

$\rho_{YZ,X}=\dfrac{\rho_{YZ}-\rho_{XY}\rho_{XZ}}{\sqrt{1-\rho^2_{XY}}\sqrt{1-\rho^2_{XZ}}}$

合計 $N$ 個のものの中に，当たりが $A$ 個入っている。この $N$ 個から $n$ 個選んだときに，当たりが何個あるか？

を表す分布を超幾何分布と言う（パラメータは $N,A,n$ の3つ）。

$0$ 以上 $1$ 以下の数字をランダムに独立に $n$ 個生成する。このとき，小さい方から $k$ 番目の数の期待値は $\dfrac{k}{n+1}$ となる。