問題
この演習問題では、帰納法を使って、射影されたデータの分散を最大化するような 次元部分空間の上への線形写像が、
データ共分散行列 (定義は ) の上位 個の固有値に属する 本の固有ベクトルにより定義されることを証明する。
節では、 に対してこの結果を証明した。
今度は.ある一般的な値 に対してこの結果が成り立つと仮定して、その下で 次元に対しでも成り立つことを示す。
これを行うため、最初に、射影されたデータの分散の、ベクトル に対する微分を とおく。
はデータ空間における新しい方向を定義する。
このとき、次の つの制約を同時に満足しなければならない。
ひとつは、 がすでに求めたベクトル と直交するという制約であり、
もうひとつは単位長さに規格化しておかなければならないという制約である。
この制約を取り込むためにラグランジュ乗数(⇒付録E)を使ってみよ。
そうして、新しいベクトル が の固有ベクトルであることを示すために、
ベクトル の正規直交性を利用せよ。
最後に、固有値が大きい順に並べられているときに、その固有ベクトル を に対応する固有ベクトルに選べば、
分散が最大化されることを示せ。
参照
解答
示すべきは
主部分空間の次元がのときは固有値が大きい方から個選び、それに対応する固有ベクトルが主部分空間の基底となる・・・(*)
です。
[証明]
帰納法を用います。
の場合は(*)を既に示してあります。
ここで一般的なに対しても(*)が成り立っていると仮定します。
この仮定の下で、第主成分を求めます。
は次の関係式が成り立ちます。
制約条件 の下で分散を最大化します。
ラグランジュの未定乗数法を用いると、ラグランジュ関数は以下のようになります。
をで微分して、とおきます。
式 の両辺に左からを掛けます。
式 を 式 に代入します。
この時、射影されたデータの分散は
仮定よりは固有値の大きい方個なので、
分散(式 )を最大にするためには、は番目に大きい固有値となります。
よって、は番目に大きい固有値に対応するベクトルです。
したがって、の場合に(*)が成り立つとき、の場合も(*)が成り立ちます。
以上より、一般的なの場合に(*)が成り立ちます。
[証明終わり]