問題
行列
は任意のベクトル を の列ベクトルで張られる空間の上に正射影することを示せ。
そしてこの結果を使って、最小二乗解 は図 で示した多様体 の上に
ベクトル を正射影することに対応していることを示せ。
参照
図
解答
を計算します。
式より、 は の列ベクトル の線形結合で表されます。
よって、式 は任意のベクトル を の列空間 に(正)射影することを示せました。
図 の は成分が のベクトルであるので、次のように書けます。
式 に式 を代入します。
式 は式 より、 の列空間 に射影されます。
これが正射影であることを示すためには、列空間 を張るベクトル と
ベクトル が直交することを示せばよいです。
を計算します。
式 の式変形については、補足にて説明します。
式 より、列空間 を張るベクトル とベクトル が直交することが示せたので、
最小二乗解 は列空間 の上にベクトル を正射影することに対応していることを示せました。
(問題文の「多様体 」を本解答では、「列空間 」として記載しております。)
補足
式 の式変形について、説明します。
は列空間 への射影になっており、 の張る空間が列空間 です。
なので、 を列空間 へ射影しても、 のままです。
よって、 が成り立ちます。
また、
となり、式 を比較すると、 は の第 列になっていることが分かるので、
が成り立ちます。