PRML演習問題 3.1(基本) www - 機械学習基礎理論独習

問題

$\tanh$ 関数とロジスティックシグモイド関数 $(3.6)$ は次のように関係付けられることを示せ。

$\begin{eqnarray} \tanh(a)=2\sigma(2a)-1\tag{3.100} \end{eqnarray}$

さらに、次の形のロジスティックシグモイド関数の線形結合

$\begin{eqnarray} y(x,{\bf w})=w_0+\sum_{j=1}^Mw_j\sigma\left(\frac{x-\mu_j}{s}\right)\tag{3.101} \end{eqnarray}$

は次の形の $\tanh$ 関数の線形結合

$\begin{eqnarray} y(x,{\bf u})=u_0+\sum_{j=1}^Mu_j\tanh\left(\frac{x-\mu_j}{2s}\right)\tag{3.102} \end{eqnarray}$

と等価であることを示し、新しいパラメータ $\{u_0,\ldots,u_M\}$ ともとのパラメータ $\{w_0,\ldots,w_M\}$ を関係付ける式を求めよ。

参照

$\begin{eqnarray} \sigma(a)=\frac{1}{1+\exp(-a)}\tag{3.6} \end{eqnarray}$

解答

$\sinh(a),\cosh(a)$ を確認します。

$\begin{eqnarray} \sinh(a)=\frac{e^a - e^{-a}}{2}\tag{1} \end{eqnarray}$

$\begin{eqnarray} \cosh(a)=\frac{e^a + e^{-a}}{2}\tag{2} \end{eqnarray}$

$\tanh(a)$ を計算します。

$\begin{eqnarray} \tanh(a)&=&\frac{\sinh(a)}{\cosh(a)}\\ &=&\frac{e^a - e^{-a}}{e^a + e^{-a}}\\ &=&\frac{1 - e^{-2a}}{1 + e^{-2a}}\\ &=&\frac{2 - (1 + e^{-2a})}{1 + e^{-2a}}\\ &=&\frac{2}{1 + e^{-2a}} - 1\\ &=&2\sigma(2a)-1\tag{3} \end{eqnarray}$

式 $(3)$ より、式 $(3.100)$ が示せました。

$a_j=\dfrac{x-\mu_j}{2s}$ とおくと、式 $(3.101)$ は次のように書けます。

$\begin{eqnarray} y({\bf x},{\bf w})&=&w_0+\sum_{j=1}^Mw_j\sigma(2a_j)\\ &=&w_0+\sum_{j=1}^M\frac{w_j}{2}2\sigma(2a_j)\\ &=&w_0+\sum_{j=1}^M\frac{w_j}{2}(2\sigma(2a_j)-1+1)\\ &=&w_0+\sum_{j=1}^M\frac{w_j}{2}+\sum_{j=1}^M\frac{w_j}{2}(2\sigma(2a_j)-1)\\ &=&w_0+\sum_{j=1}^M\frac{w_j}{2}+\sum_{j=1}^M\frac{w_j}{2}\tanh(a_j)\tag{4} \end{eqnarray}$

式 $(4)$ と式 $(3.102)$ を比較すると、以下が成り立ちます。

$\begin{eqnarray} \left\{ \begin{array}{l} u_0=w_0+\displaystyle\sum_{j=1}^M\dfrac{w_j}{2}\\ u_j=\dfrac{w_j}{2}\ (j=1,\ldots,M) \end{array}\tag{5} \right. \end{eqnarray}$

式 $(5)$ より、 $\{u_0,\ldots,u_M\}$ と $\{w_0,\ldots,w_M\}$ の関係式が示せました。