PRML演習問題 4.7(基本) www

問題

ロジスティックシグモイド関数 $(4.59)$ が $\sigma(-a)=1-\sigma(a)$ を満たすことを示せ。
また、その逆関数が $\sigma(y)^{-1}=\ln\{y/(1-y)\}$ で与えられることを示せ。

参照

$\begin{eqnarray} \sigma(a)=\frac{1}{1+\exp(-a)}\tag{4.59} \end{eqnarray}$

解答

$\sigma(-a)$ を計算します。

$\begin{eqnarray} \sigma(-a)&=&\frac{1}{1+\exp(a)}\\ &=&\frac{\exp(-a)}{\exp(-a)+1}\\ &=&\frac{\exp(-a)+1-1}{\exp(-a)+1}\\ &=&1-\frac{1}{\exp(-a)+1}\\ &=&1-\sigma(a)\tag{1} \end{eqnarray}$

式 $(1)$ より、 $\sigma(-a)=1-\sigma(a)$ が示せました。

式 $(4.59)$ を $\sigma(a)=y$ とおいて、 $a$ について解きます。

$\begin{eqnarray} &&y=\frac{1}{1+\exp(-a)}\\ &&\Leftrightarrow y(1+\exp(-a))=1\\ &&\Leftrightarrow y+y\cdot\exp(-a)=1\\ &&\Leftrightarrow \exp(-a)=\frac{1-y}{y}\\ &&\Leftrightarrow -a=\ln \frac{1-y}{y}\\ &&\Leftrightarrow a=\ln \frac{y}{1-y}\tag{2} \end{eqnarray}$