機械学習基礎理論独習

誤りがあればご指摘いただけると幸いです。数式が整うまで少し時間かかります。リンクフリーです。

勉強ログです。リンクフリーです
目次へ戻る

基底による展開

正規直交系と正規直交基底

ベクトルの組{\bf u}_1,\ldots,{\bf u}_rは、各々が単位ベクトルであり、互いに直交するとき、すなわち、

\begin{eqnarray}
\langle{\bf u}_i,{\bf u}_j\rangle=\delta_{ij}\tag{1}
\end{eqnarray}

のとき、正規直交系であるといいます。
(1)\delta_{ij}クロネッカーのデルタ(i=jのとき1i\not=jのとき0をとる記号)です。

任意のベクトル{\bf x}n本のベクトル{\bf u}_1,\ldots,{\bf u}_nの線形結合によって一意的に表されるとき、
それらをその空間の基底であるといい、nをその空間の次元と呼びます。
n本のベクトルの正規直交系\{{\bf u}_1,\ldots,{\bf u}_n\}n次元空間\mathbb{R}^nの基底となり、正規直交基底と呼ばれます。

展開

与えられたベクトル{\bf x}を正規直交基底\{{\bf u}_i\},i=1,\ldots,nの線形結合

\begin{eqnarray}
{\bf x}=c_1{\bf u}_1+\cdots+c_n{\bf u}_n\tag{2}
\end{eqnarray}

で表すことを、{\bf x}\{{\bf u}_i\}による展開と呼びます。
(2)の2乗ノルムは次のようになります。

\begin{eqnarray}
 ||{\bf x}||^2&=&\langle{\bf x},{\bf x}\rangle\\
&=&\langle\sum_{i=1}^nc_i{\bf u}_i,\sum_{j=1}^nc_j{\bf u}_j\rangle\\
&=&\sum_{i=1}^n\sum_{j=1}^nc_ic_j\langle{\bf u}_i,{\bf u}_j\rangle\\
&=&\sum_{i=1}^n\sum_{j=1}^n\delta_{ij}c_ic_j\\
&=&\sum_{i=1}^nc_i^2\\
&=&c_1^2+\cdots+c_n^2\tag{3}
\end{eqnarray}

{\bf u}_i{\bf x}内積をとると、\{{\bf u}_i\}が正規直交系であるから、

\begin{eqnarray}
\langle{\bf u}_i,{\bf x}\rangle&=&\langle{\bf u}_i,c_1{\bf u}_1+\cdots+c_i{\bf u}_i+\cdots+c_n{\bf u}_n\rangle\\
&=&c_1\langle{\bf u}_i,{\bf u}_1\rangle+\cdots+c_i\langle{\bf u}_i,{\bf u}_i\rangle+\cdots+c_n\langle{\bf u}_i,{\bf u}_n\rangle\\
&=&c_i\langle{\bf u}_i,{\bf u}_i\rangle\\
&=&c_i\tag{4}
\end{eqnarray}

となります。
したがって、(2){\bf x}は次のように書けます。

\begin{eqnarray}
{\bf x}=\langle{\bf u}_1,{\bf x}\rangle{\bf u}_1+\cdots+\langle{\bf u}_n,{\bf x}\rangle{\bf u}_n\tag{5}
\end{eqnarray}

\{{\bf u}_i\}が基底であるから、展開の表現は一意的です。
また、(3)より、{\bf x}の2乗ノルムは次のように書けます。

\begin{eqnarray}
 ||{\bf x}||^2=\langle{\bf u}_1,{\bf x}\rangle^2+\cdots+\langle{\bf u}_n,{\bf x}\rangle^2\tag{6}
\end{eqnarray}

偉人の名言

f:id:olj611:20210828022934p:plain:w300
魔は自分の心に住むのである
大山康晴

参考書籍

線形代数セミナー p109-110

動画

目次へ戻る