正規分布についてのベイズ推論を考えましょう. 母数が つになることに気をつけましょう. 平均
, 精度
がともに未知の一次元ガウス分布を考えます.
\begin{equation}
N(x|\mu,\lambda^{-1})
= \sqrt{\dfrac{1}{2\pi}}\exp\left\{ \dfrac12\ln{\lambda} -\dfrac{\lambda}{2}x^2 + \lambda\mu x -\dfrac{1}{2}\lambda\mu^2\right\}
\end{equation}
により,
\begin{align*}
f(x)&=\sqrt{\dfrac{1}{2\pi}}, \\
\phi_1(\mu,\lambda)&= \ln{\lambda},\quad \phi_2(\mu,\lambda) =-\lambda,\quad
\phi_3(\mu,\lambda)= \lambda\mu,\quad \phi_4(\mu,\lambda) =-\frac12\lambda\mu^2,\\
g_1(x) &= \dfrac12, \quad g_2(x)=\dfrac12 x^2,\quad
g_3(x)=x,\quad g_4(x)=1
\end{align*}
なる指数型分布族です.
指数分布に対する事前分布と予測分布は前回記事で紹介しました.
wakabame.hatenablog.com
したがって, 事前分布はパラメータ より,
\begin{align*}
p(\lambda|v )
&= z(v)\exp\left\{v_1\ln{\lambda} -v_2\lambda +v_3\lambda\mu -\dfrac{v_4}{2}\lambda\mu^2 \right\},\\
z(v)^{-1}
&= \int_0^\infty \int \exp\left\{v_1\ln{\lambda} -v_2\lambda +v_3\lambda\mu -\dfrac{v_4}{2}\lambda\mu^2 \right\} \,d\mu d\lambda\\
&=\int_0^\infty \lambda^{v_1} e^{-v_2\lambda}
\int \exp\left\{v_2\lambda\mu -\dfrac{v_4}{2}\lambda\mu^2 \right\} \,d\mu \,d\lambda\\
&=\sqrt{\dfrac{2\pi}{v_4}} \int_0^\infty \lambda^{v_1-\frac12} e^{-(v_2-\frac{v_3^2}{2v_4})\lambda} \,d\lambda\\
&=\sqrt{\dfrac{2\pi}{v_4}}\dfrac{\Gamma(v_1+\frac12)}{v_2^{v_1+\frac12}}
\left(1 -\dfrac{v_3^2}{2v_2v_4}\right)^{-(v_1+\frac12)}
\end{align*}
と置けば事後分布は
\begin{equation}
p(\mu|\bar{X})=p(\mu|v+\hat{v})
\end{equation}
です. 予測分布は,
\begin{align*}
p(X_\ast|v)
&= \dfrac{f(X_\ast)z(v)}{z(v+g(X_\ast))}\\
&= \dfrac{\dfrac{1}{\sqrt{2\pi}}\sqrt{\dfrac{v_4}{2\pi}}\dfrac{v_2^{v_1+\frac12}}{\Gamma(v_1+\frac12)}
\left(1 -\dfrac{v_3^2}{2v_2v_4}\right)^{v_1+\frac12}}
{\sqrt{\dfrac{v_4+1}{2\pi}}\dfrac{(v_2+\frac12 X_\ast^2)^{v_1+1}}{\Gamma(v_1+1)}
\left(1 -\dfrac{(v_3+X_\ast)^2}{2(v_2+\frac12 X_\ast^2)(v_4+1)}\right)^{v_1+1}}\\
&= \dfrac{1}{\sqrt{2\pi}}\sqrt{\dfrac{v_4}{v_4+1}}\dfrac{\Gamma(v_1+1)}{\Gamma(v_1+\frac12)}
\left(v_2 -\dfrac{v_3^2}{2v_4}\right)^{v_1+\frac12}\\
&\quad \times \left\{ \left(v_2+\frac12 X_\ast^2\right)
\left(1 -\dfrac{(v_3+X_\ast)^2}{2(v_2+\frac12 X_\ast^2)(v_4+1)}\right)\right\}^{-(v_1+1)}.
\end{align*}
ここで,
\begin{align*}
&\left(v_2+\frac12 X_\ast^2\right)\left(1 -\dfrac{(v_3+X_\ast)^2}{2(v_2+\frac12 X_\ast^2)(v_4+1)}\right)\\
&\quad= \dfrac{1}{2(v_4+1)}(v_4X_\ast^2 -2v_3X_\ast +2v_2(v_4+1)-v_3^2)\\
&\quad= \left(v_2 -\dfrac{v_3^2}{2v_4}\right)
\left\{ 1+ \dfrac{v_4}{2(v_4+1)(v_2-\frac{v_3^2}{2v_4})}\left(X_\ast-\frac{v_3}{v_4}\right)^2\right\}
\end{align*}
と計算をしておくと,
\begin{align*}
p(X_\ast|v)
&= \dfrac{1}{\sqrt{2\pi}}\sqrt{\dfrac{v_4}{v_4+1}}\dfrac{\Gamma(v_1+1)}{\Gamma(v_1+\frac12)}
\left(v_2 -\dfrac{v_3^2}{2v_4}\right)^{-\frac12}\\
&\quad\times \left\{ 1+ \dfrac{v_4}{2(v_4+1)(v_2-\frac{v_3^2}{2v_4})}\left(X_\ast-\frac{v_3}{v_4}\right)^2\right\}^{-(v_1+1)}
\end{align*}
を得ます. これではよくわからないので, 次回記事ではこの意味を考えましょう.
