最尤推定

尤度

同一の正規分布から標本 ${\bf x}=\{x_1,\ldots,x_n\}$ が互いに独立に観察されたとします(独立同分布)。

この時の尤度関数は

$\begin{eqnarray} f({\bf x}|\mu,\sigma^2)&=&\prod_{i=1}^nf(x_i|\mu,\sigma^2)\\ &=&\prod_{i=1}^n\frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{1}{2\sigma^2}(x_i-\mu)^2\right)\tag{1}\\ \end{eqnarray}$

となります。
$(2)$ に対数をとります。

$\begin{eqnarray} \ln f({\bf x}|\mu,\sigma^2) &=& \ln \prod_{i=1}^n\frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{1}{2\sigma^2}(x_i-\mu)^2\right)\\ &=&\ln\left(\frac{1}{\sqrt{2\pi}}\right)+\ln\left(\frac{1}{\sigma}\right)+\sum_{i=1}^n-\frac{1}{2\sigma^2}(x_i-\mu)^2\\ &=&-\frac{n}{2}\ln2\pi-\frac{n}{2}\ln\sigma^2-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2\tag{2} \end{eqnarray}$

$(2)$ を $\mu$ で微分して $=0$ とおきます。

$\begin{eqnarray} &&\frac{\rm d}{{\rm d}{\mu}}\ln f({\bf x}|\mu,\sigma^2)=0\\ &&\Leftrightarrow \frac{\rm d}{{\rm d}{\mu}}\left(-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2\right)=0\\ &&\Leftrightarrow -\frac{1}{2\sigma^2}\frac{\rm d}{{\rm d}{\mu}}\sum_{i=1}^n(x_i-\mu)^2=0\\ &&\Leftrightarrow \sum_{i=1}^n(x_i-\mu)=0\\ &&\Leftrightarrow \mu=\frac{1}{2}\sum_{i=1}^nx_i\tag{3} \end{eqnarray}$

$(3)$ は標本平均と一致します。

$(2)$ を $\sigma^2$ で微分して $=0$ とおきます。

$\begin{eqnarray} &&\frac{\rm d}{{\rm d}{\sigma^2}}\ln f({\bf x}|\mu,\sigma^2)=0\\ &&\Leftrightarrow \frac{\rm d}{{\rm d}{\sigma^2}}\left(-\frac{n}{2}\ln\sigma^2-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2\right)=0\\ &&\Leftrightarrow \frac{\rm d}{{\rm d}{\sigma^2}}\left(-\frac{n}{2}\ln\sigma^2\right)-\frac{\rm d}{{\rm d}{\sigma^2}}\left(\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2\right)=0\\ &&\Leftrightarrow -\frac{n}{2\sigma^2}+\frac{1}{2\sigma^4}\sum_{i=1}^2(x_i-\mu)^2=0\\ &&\Leftrightarrow \sigma^2=\frac{1}{n}\sum_{i=1}^n(x_i-\mu)^2\tag{4} \end{eqnarray}$