問題
ガウス分布に従う複数の目標変数 を持つ次の形の線形基底関数モデルを考える。
ただし、
である 入力基底ベクトル とそれに対応する目標ベクトル が訓練データ集合として与えられるとき、
パラメータ行列 の最尤推定解 のそれぞれの列が、等方性のノイズ分布に対する解の の形の式で与えられることを示せ。
これは共分散行列 にはよらないことに注意せよ。
さらに の最尤推定解が
で与えられることを示せ。
参照
解答
とおきます。
対数尤度関数 は以下のようになります。
式 を で微分して、 とおきます。
式 より、 の最尤推定解 のそれぞれの列が、 の形の式で与えられることが示せました。
については、PRML演習問題 2.34(標準) www と同じであるため、省略します。
補足
と の証明については、
ベクトルと行列に関する微分の公式導出をご覧ください。