統計学や機械学習において重要な「指数型分布族（exponential family）」は、多くの確率分布を統一的に表現できる便利な枠組みです。
正規分布やベルヌーイ分布、ポアソン分布など、幅広い分布がこの族に属します。
指数型分布族の定義、具体例、性質、応用について、まとめます。
指数型分布族の定義
指数型分布族に属する確率分布の確率密度関数（または確率質量関数）は、以下の形で表されます。
$$p(x; \theta) = h(x) \exp \left( \eta(\theta)^{T} T(x) – A(\theta) \right)$$
ここで
- \(x\) : 観測データ
- \(\theta\) : 分布のパラメータ
- \(\eta(\theta)\) : 自然パラメータ（canonical parameter）
- \(T(x)\) : 十分統計量（sufficient statistic）
- \(A(\theta)\) : 対数正規化関数（log-partition function）
- \(h(x)\) : 基底測度（base measure）
この形に書ける確率分布が指数型分布族に属します。
指数型分布族の具体例
指数型分布族に属する代表的な確率分布をいくつか紹介します。
ベルヌーイ分布（Bernoulli Distribution）
確率変数 \(X\) が成功確率 \(p\) のベルヌーイ分布に従う場合、確率質量関数は以下のとおりです。
$$p(x; p) = p^x (1 – p)^{1 – x}, \quad x \in \{0, 1\}$$
この式を指数型分布族の形に書き直します。
対数を取ります。
$$\log p(x; p) = x \log p + (1 – x) \log (1 – p)$$
\(x\) でまとめます。
$$\log p(x; p) = x \log \frac{p}{1 – p} + \log (1 – p)$$
指数関数の形に戻します。
$$p(x; \eta) = \exp \left( x \log \frac{p}{1 – p} + \log (1 – p) \right)$$
ここで
- \(\eta = \log \frac{p}{1 – p}\) （自然パラメータ）
- \(T(x) = x\)（十分統計量）
- \(A(\eta) = -\log(1 + e^{\eta})\)
- \(h(x)\) = 1
正規分布（Normal Distribution）
正規分布 \(\mathcal{N}(\mu, \sigma^2)\) の確率密度関数は以下のとおりです。
$$p(x; \mu, \sigma^2) = \frac{1}{\sqrt{2\pi \sigma^2}} \exp \left(-\frac{(x – \mu)^2}{2\sigma^2} \right)$$
以下のとおり、指数型分布族の形に書き直すことができます。
指数部を展開します。
$$-\frac{(x – \mu)^2}{2\sigma^2} = -\frac{x^2}{2\sigma^2} + \frac{\mu x}{\sigma^2} – \frac{\mu^2}{2\sigma^2}$$
この式を指数の形で表します。
$$p(x; \eta_1, \eta_2) = \exp \left( \eta_1 x + \eta_2 x^2 – A(\eta) \right)$$
ここで
- \(\eta_1 = \frac{\mu}{\sigma^2}\)
- \(\eta_2 = -\frac{1}{2\sigma^2}\)
- \(T(x) = (x, x^2)\)
- \(A(\eta) = \frac{\eta_1^2}{4\eta_2} – \frac{1}{2} \log(-2\eta_2)\)
- \(h(x) = 1\)
指数型分布族の性質
簡潔な表現と計算の容易さ
指数型分布族は共通の形を持つため、最尤推定やベイズ推論の計算が簡単になります。
特に、正規化関数 \(A(\theta)\) の導関数を使うことで、期待値や分散を簡単に求められます。
期待値の計算
一般に、指数型分布族では、以下の式が成り立ちます。
$$E[T(X)] = \frac{d A(\eta)}{d \eta}$$
ベルヌーイ分布では \(A(\eta) = \log(1 + e^\eta)\) なので、その導関数は以下のとおりです。
$$\frac{d A(\eta)}{d \eta} = \frac{e^\eta}{1 + e^\eta}$$
これは、\(p\) の定義と一致します。
$$E[T(X)] = p$$
つまり、ベルヌーイ分布の期待値 \(E[X]\) は 成功確率 \(p\) になります。
分散の計算
分散は、\(A(\eta)\) の 2階導関数 を使います。
$$\text{Var}[T(X)] = \frac{d^2 A(\eta)}{d \eta^2}$$
\(A(\eta) = \log(1 + e^\eta)\) の2階導関数は以下のとおりです。
$$\frac{d^2 A(\eta)}{d \eta^2} = \frac{e^\eta}{(1 + e^\eta)^2}$$
これも、ベルヌーイ分布の分散と一致します。
$$\text{Var}[X] = p(1 – p)$$
十分統計量の存在
指数型分布族に属する分布は、十分統計量 \(T(x)\) によってすべての情報を要約できる性質を持ちます。
例として、成功確率 \(p\) のベルヌーイ分布に従うデータ \(x_1, x_2, \dots, x_n\) を考えます。
$$p(x; p) = p^x (1 – p)^{1 – x}, \quad x \in \{0, 1\}$$
このとき、指数型分布族の形に書き直すと、
$$p(x; \eta) = \exp \left( x \eta + \log (1 – p) \right)$$
となります。
ここで、\(\eta = \log \frac{p}{1 – p}\) であり、十分統計量 \(T(x) = x\) です。
複数のデータがある場合、
$$T(X) = \sum_{i=1}^{n} x_i$$
が十分統計量になります。
つまり、データ \(x_1, x_2, …, x_n\) の個々の値をすべて保持する必要はなく、成功回数の合計 \(T(X)\) だけを知っていれば、\(p\) の推定に十分 ということです。
自然パラメータと対数正規化関数
自然パラメータ \(\eta(\theta)\) と対数正規化関数 \(A(\theta)\) を用いることで、期待値や分散が簡単に求められるため、推論がしやすくなります。
指数型分布族の応用
一般化線形モデル（GLM）
指数型分布族を用いることで、線形回帰やロジスティック回帰、ポアソン回帰などの一般化線形モデル（GLM）が統一的に扱えます。
ベイズ推論
指数型分布族は共役事前分布を持つため、ベイズ推論において解析的に解きやすい特徴があります。
まとめ
指数型分布族は、多くの確率分布を統一的に表現できる便利な枠組みです。ベルヌーイ分布、正規分布、ポアソン分布などがこの族に属し、十分統計量や自然パラメータを活用することで推論が容易になります。特に機械学習やベイズ統計での活用が進んでおり、その理解は重要です。
