最尤推定

尤度

確率 $\theta$ で成功するフリースローを $n$ 投して $x$ 回成功する確率は、二項分布より

$\begin{eqnarray} f(\theta|x)={}_n\mathrm{C}_x\theta^x(1-\theta)^{1-x}\tag{1} \end{eqnarray}$

となります。

データを定数として、母数を変数として計算した値を尤度といいます。
またその関数を尤度関数といいます。

最尤推定法では尤度が最も大きくなったときの変数の値を母数の推定として利用します。

$(1)$ を $\theta$ について最大化してみます。

$(1)$ に対数をとります。

$\begin{eqnarray} \ln f(\theta|x)&=&\ln {}_n\mathrm{C}_x\theta^x(1-\theta)^{1-x}\\ &=&\ln {}_n\mathrm{C}_x+\ln \theta^x+\ln(1-\theta)^{n-x}\\ &=&x\ln\theta+(n-x)\ln(1-\theta)+{\rm const.}\tag{2} \end{eqnarray}$

$(2)$ を対数尤度関数といいます。
$(2)$ を $\theta$ で微分して $=0$ とおきます。

$\begin{eqnarray} &&\frac{d}{d\theta}\ln f(\theta|x)=0\\ &&\Leftrightarrow \frac{d}{d\theta}x\ln\theta+\frac{d}{d\theta}(n-x)\ln(1-\theta)\\ &&\Leftrightarrow \frac{x}{\theta}-\frac{n-x}{1-\theta}=0\\ &&\Leftrightarrow \theta=\frac{x}{n}\tag{4} \end{eqnarray}$