シグモイド関数 - 機械学習基礎理論独習

定義

f:id:olj611:20210415174937p:plain:w300

$\begin{eqnarray} \sigma(x)&=&\frac{1}{1+\mathrm{e}^{-x}}\\ &=&\frac{1}{1+\exp({-x})}\tag{1}\\ \end{eqnarray}$

特徴としては
・0と1に漸近する
・ $(0, 1/2)$ に対して対象である
などがあります。

シグモイド関数の微分

シグモイド関数の微分が機械学習ではよく出てくるので、それを以下で示します。

$\begin{eqnarray} \frac{\rm d}{{\rm d}x}\sigma(x)&=&\frac{\rm d}{{\rm d}x}\frac{1}{1+\mathrm{e}^{-x}}\\ &=&\frac{\mathrm{e}^{-x}}{(1+\mathrm{e}^{-x})^2}\\ &=&\frac{1}{1+\mathrm{e}^{-x}}\frac{\mathrm{e}^{-x}}{1+\mathrm{e}^{-x}}\\ &=&\frac{1}{1+\mathrm{e}^{-x}}\frac{1+\mathrm{e}^{-x}-1}{1+\mathrm{e}^{-x}}\\ &=&\frac{1}{1+\mathrm{e}^{-x}}\left(1-\frac{1}{1+\mathrm{e}^{-x}}\right)\\ &=&\sigma(x)(1-\sigma(x))\tag{2} \end{eqnarray}$

偉人の名言

f:id:olj611:20210415174825p:plain:w300
今日なし得ることに全力を尽くせ。
しからば明日は一段の進歩あらん。
アイザック・ニュートン

動画

なし