Exponential Family メモ（指数分布族） - 英国でデータサイエンスを学ぶ

GLMの授業で少し絡んだので、備忘メモです。
何か間違いや勘違いがあればご指摘いただけると。

表記の仕方は色々とあるのでしょうが、Probability distribution function(確率密度関数)やProbability mass function(確率質量関数)が以下のように表される時、その確率分布はExponential Family(指数分布族)に属します。
$f(x;\ \theta, \phi) = exp \bigl\{ \frac{x \theta - A(\theta)}{\phi}+ B(x, \phi) \bigr\}$

ここで、
$\\ \theta \ :\rm{canonical \ parameter} \\ \phi \ : \rm {dispersion \ parameter}\\$
です。
また、 $\rm{Var}\left[ x \right] = \phi \rm{V} \left[ \mu \right]$ となる $\rm{V} \left[ \mu \right ]$ をvariance function と呼びます。

Exponential Family (指数分布族)：期待値、分散

$f(x;\ \theta, \phi) = \exp \bigl\{ \frac{x \theta - A(\theta)}{\phi}+ B(x, \phi) \bigr\}$
上記のように表現される時に、期待値は $E \left[x \right] = A'(\theta)$ となり、分散は $Var \left[ x \right] = A''(\theta)\phi$ となる。

Exponential Family ：期待値の計算

両辺を $\theta$ で微分する。

左辺

$\frac{\partial f(x;\ \theta, \phi)}{\partial \theta}$

右辺

${\begin{align} \frac{\partial \exp \bigl\{ \frac{x \theta - A(\theta)}{\phi}+ B(x, \phi) \bigr\} }{\partial \theta} &= \exp \bigl\{ \frac{x \theta - A(\theta)}{\phi}+ B(x, \phi) \bigr\} \frac{\left( x - A(\theta) \right)}{\phi} \\\ &= \frac{ \left( x - A(\theta) \right)}{\phi} f(x;\ \theta, \phi) \end{align} }$
ここで、これらの式を $x$ で積分する。

左辺

$\int \frac{\partial f(x;\ \theta, \phi)}{\partial \theta} = \frac{\partial }{\partial \theta} \int f(x;\ \theta, \phi)dx = \frac{\partial 1}{\partial \theta} = 0$

右辺

${\begin{align} \int \frac{ \left( x - A(\theta) \right)}{\phi} f(x;\ \theta, \phi) dx &= \frac{1}{\phi} \int xf(x)dx + \frac{A'(\theta)}{\phi} \int f(x)dx \\\ &= \frac{E \left[ x \right] - A'(\theta)}{\phi} \end{align} }$

期待値

よってこれらの計算から
$E\left[ x \right] = A'(\theta )$

Exponential Family ：分散の計算

両辺を $\theta$ で2回微分する。

左辺

$\frac{\partial^{2} f(x;\ \theta, \phi)}{\partial^{2} \theta}$

右辺

${\begin{align} \frac{\partial^{2} \exp \bigl\{ \frac{x \theta - A(\theta)}{\phi}+ B(x, \phi) \bigr\} }{\partial \theta^{2}} &= \bigl[ \left(\frac{x-A'(\theta)}{\phi} \right)^{2} - \frac{A''(\theta)}{\phi} \bigr] f(x;\ \theta, \phi) \end{align} }$

ここで、これらの式を $x$ で積分する。

左辺

$\int \frac{\partial^{2} f(x;\ \theta, \phi)}{\partial \theta^{2}} = \frac{\partial^{2} }{\partial \theta^{2}} \int f(x;\ \theta, \phi)dx = \frac{\partial^{2} 1}{\partial \theta^{2}} = 0$

右辺

${\begin{align} \int \bigl[ \left(\frac{x-A'(\theta)}{\phi} \right)^{2} - \frac{A''(\theta)}{\phi} \bigr] f(x;\ \theta, \phi) dx &= \frac{1}{\phi^{2}} \int \left( x - A'(\theta) \right)^{2} f(x;\ \theta, \phi) dx - \frac{A''( \theta) }{\phi} \int f(x;\ \theta, \phi) dx \\\ &= \frac{1}{\phi^{2}} \int \left( x - \rm{E}(x) \right)^{2} f(x;\ \theta, \phi)dx - \frac{A'' ( \theta }{\phi} \\\ &= \frac{\rm{Var} \left[x \right] }{\phi^{2}} - \frac{A'' ( \theta)}{\phi} \end{align} }$

期待値

よってこれらの計算から
$\rm{Var}\left[ x \right] = \phi A''(\theta )$

Exponential Family：正規分布

正規分布の場合、 $f(x;\ \theta, \phi)$ と記載を揃えると以下のようになる。
${\begin{align} f(x;\ \theta, \phi) &= \frac{1}{\sqrt{2 \pi \sigma^{2}}} \exp{\left( -\frac{(y- \mu)^{2}}{2 \sigma^{2}} \right) }\\\ &= \exp{ \left( -\frac{1}{2}\log{\left( 2 \pi \sigma^{2} \right)} \right)} \exp{\left( -\frac{(y - \mu)^{2}}{2 \sigma^{2}} \right) }\\\ &= \exp{ \left( -\frac{1}{2}\log{\left( 2 \pi \sigma^{2} \right)} \right)} \exp{\left( -\frac{y^{2} - 2y \mu + \mu^{2}}{2 \sigma^{2}} \right) }\\\ &= \exp{ \left( \frac{y \mu - \frac{\mu^{2}}{2}} {\sigma^{2}} - \frac{1}{2}\left( \frac{y^{2}}{\sigma^{2}} + \log{ \left( 2 \pi \sigma^{2}\right)} \right) \right)} \end{align} }$

これから、
$\phi = \sigma^{2}$
$\theta = \mu$
$\rm{V} (\mu) = 1$

なんか天下り的な計算で、ちゃんとわかってないんですよね。。。