PRML演習問題 4.4(基本) www - 機械学習基礎理論独習

問題

制約 ${\bf w}^\top{\bf w}=1$ を満たすようにラグランジュ乗数を利用し、
$(4.22)$ によって与えられるクラス分離規準を $\bf w$ に関して最大化すれば ${\bf w}\propto({\bf m}_2-{\bf m}_1)$ となることを示せ。

参照

$\begin{eqnarray} m_2-m_1={\bf w}^\top({\bf m}_2-{\bf m}_1)\tag{4.22} \end{eqnarray}$

解答

${\bf w}^\top{\bf w}=1\Leftrightarrow{\bf w}^\top{\bf w}-1=0$ の制約の下で、 ${\bf w}^\top({\bf m}_2-{\bf m}_1)$ を最大化します。
この時、ラグランジュ関数 $L$ は以下のようになります。

$\begin{eqnarray} L={\bf w}^\top({\bf m}_2-{\bf m}_1)-\lambda({\bf w}^\top{\bf w}-1)\tag{1} \end{eqnarray}$

$L$ を ${\bf w}$ で微分して、 $={\bf 0}$ とおきます。

$\begin{eqnarray} &&\frac{\partial}{\partial{\bf w}}L={\bf 0}\\ &&\Leftrightarrow\frac{\partial}{\partial{\bf w}}\left({\bf w}^\top({\bf m}_2-{\bf m}_1)-\lambda({\bf w}^\top{\bf w}-1)\right)={\bf 0}\\ &&\Leftrightarrow\frac{\partial}{\partial{\bf w}}{\bf w}^\top({\bf m}_2-{\bf m}_1)-\lambda\frac{\partial}{\partial{\bf w}}({\bf w}^\top{\bf w}-1)={\bf 0}\\ &&\Leftrightarrow({\bf m}_2-{\bf m}_1)-\lambda\cdot2{\bf w}={\bf 0}\\ &&\Leftrightarrow{\bf w}=-\frac{1}{2\lambda}({\bf m}_2-{\bf m}_1)\\ &&\Leftrightarrow{\bf w}\propto({\bf m}_2-{\bf m}_1)\tag{2} \end{eqnarray}$

式 $(2)$ より、 ${\bf w}\propto({\bf m}_2-{\bf m}_1)$ が示せました。