機械学習基礎理論独習

誤りがあればご指摘いただけると幸いです。数式が整うまで少し時間かかります。リンクフリーです。

勉強ログです。リンクフリーです
目次へ戻る

PRML演習問題 5.8(基本)

PRML演習問題
問題

(4.88) ではロジスティックシグモイド活性化関数の微分は、関数の値そのもので表されることがわかった。
活性化関数が (5.59) で定義される \tanh である場合について、対応する結果を導け。

参考

\begin{eqnarray} \tanh (a)=\frac{e^a-e^{-a}}{e^a+e^{-a}}\tag{5.59} \end{eqnarray}

解答

商の微分公式を用いて、\tanh を微分します。

\begin{eqnarray} \tanh (a)'&=&\left(\frac{e^a-e^{-a}}{e^a+e^{-a}}\right)'\\ &=&\frac{(e^a-e^{-a})'(e^a+e^{-a})-(e^a-e^{-a})(e^a+e^{-a})'}{(e^a+e^{-a})^2}\\ &=&\frac{(e^a+e^{-a})^2-(e^a-e^{-a})^2}{(e^a+e^{-a})^2}\\ &=&\frac{(e^a+e^{-a})^2}{(e^a+e^{-a})^2}-\frac{(e^a-e^{-a})^2}{(e^a+e^{-a})^2}\\ &=&1-\tanh^2(a)\tag{1} \end{eqnarray}

補足

商の微分公式は、以下です。

\begin{eqnarray} \left(\dfrac{f}{g}\right)'=\dfrac{f'g-fg'}{g^2}\tag{2} \end{eqnarray}

目次へ戻る