機械学習基礎理論独習

誤りがあればご指摘いただけると幸いです。数式が整うまで少し時間かかります。リンクフリーです。

勉強ログです。リンクフリーです
目次へ戻る

2次関数の平行移動

2次関数を平行移動すると、1次の項が消すことができます。
以下の関数fについて考えます。

\begin{eqnarray}
&&f({\bf x})=\frac{1}{2}{\bf x}^\top{\bf H}{\bf x}+{\bf a}^\top{\bf x}+{\rm const.}\tag{1}
\end{eqnarray}

ただし、{\bf H}\in\mathbb{R}^{n\times n},{\bf a},{\bf x}\in\mathbb{R}^N{\bf H}^\top={\bf H}とします。

{\bf p}だけ平行移動します。

\begin{eqnarray}
f({\bf x}-{\bf p})&=&\frac{1}{2}({\bf x}-{\bf p})^\top{\bf H}({\bf x}-{\bf p})+{\bf a}^\top({\bf x}-{\bf p})+{\rm const.}\\
&=&\frac{1}{2}({\bf x}^\top{\bf H}{\bf x}-2{\bf x}^\top{\bf H}{\bf p}+{\bf p}^\top{\bf H}{\bf p})+{\bf a}^\top{\bf x}-{\bf a}^\top{\bf p}+{\rm const.}\tag(1)\\
\end{eqnarray}

{\bf H}{\bf p}={\bf a}を満たすように{\bf p}を選びます。

\begin{eqnarray}
f({\bf x}-{\bf p})&=&\frac{1}{2}({\bf x}^\top{\bf H}{\bf x}-2{\bf x}^\top{\bf H}{\bf p}+{\bf p}^\top{\bf H}{\bf p})+{\bf a}^\top{\bf x}-{\bf a}^\top{\bf p}+{\rm const.}\\
&=&\frac{1}{2}{\bf x}^\top{\bf H}{\bf x}-{\bf x}^\top{\bf a}+\frac{1}{2}{\bf p}^\top{\bf a}+{\bf a}^\top{\bf x}-{\bf a}^\top{\bf p}+{\rm const.}\\
&=&\frac{1}{2}{\bf x}^\top{\bf H}{\bf x}-\frac{1}{2}{\bf p}^\top{\bf a}+{\rm const.}\tag{2}\\
\end{eqnarray}

(2)-\frac{1}{2}{\bf p}^\top{\bf a}は定数ですので、
平行移動により2次関数から1次の項が無くなったことが確認できました。

偉人の名言

f:id:olj611:20210409091934p:plain:w300
勉強して発明するんだ。
勉強しなくても頭のよくなる機械を。
野比のび太

参考文献

これなら分かる最適化数学

動画

目次へ戻る