問題 それぞれのデータ点 に重み要素 が割り当てられており、二乗和誤差関数がとなるデータ集合を考える。 このとき、この誤差関数を最小にする解 についての式を求めよ。 また、 ノイズの分散がデータに依存する場合、 データ点に重複がある場合に照らして…

問題 付録 に示したラグランジュ未定乗数法を用いて、正則化誤差関数 の最小化と、 正則化されていない二乗和誤差 の制約条件 下での最小化が等価であることを示せ。 そして、パラメータ と の関係を議論せよ。 参照 解答 正則化されていない二乗和誤差 の制…

問題 本章の周期関数の議論で、用いたいろいろな三角関数の公式は、次の関係を用いて容易に証明できる。ただし、 は の平方根である。 の結果をから証明せよ。 同様に、を用いて を証明せよ。 ただし、 は実部を示す。 最後に、 から、 を証明せよ。 ただし…

問題 この演習問題では、帰納法を使って、射影されたデータの分散を最大化するような 次元部分空間の上への線形写像が、 データ共分散行列 (定義は ) の上位 個の固有値に属する 本の固有ベクトルにより定義されることを証明する。 節では、 に対してこの結…

問題 フォン・ミーゼス分布 の 階と 階の導関数を求め、 さらに で であることを用いて、 分布は で最大になり、 で最小になることを示せ。 参照 解答 式 を で微分します。式 を で微分します。問題文より、 で なので、 で が成り立ちます。 よって、 とお…

問題 三角関数の公式 を用いて、 についての の解が となることを示せ。 参照 解答 式 を変形します。式 より、式 が示せました。

問題 ベータ分布 、ガンマ分布 、およびフォン・ミーゼス分布 を 指数型分布族の形 に変形し、これらの分布の自然パラメータを求めよ。 参照 解答 式 を変形します。式 と 式 を比較します。式 を式 に代入します。式 がベータ分布の指数型分布族の形であり…

問題 は、指数型分布族では、 の負の勾配が、 の期待値になることを示している。 の2階微分を取ることでを示せ。 参照 解答 式 より、以下が成り立ちます。式 を で微分します。式 より、式 が示せました。 参考リンク ヘッセ行列をベクトルによる微分で表す

問題 多変量ガウス分布は、指数型分布族の形式 に変形できることを示し、 - と同様に、 および の式を導出せよ。 参照 解答 式 の指数の中身 を変形します。式 を式 に代入します。式 のを式 の に当てはめると、以下のようになります。ーーーーーー↓ここか…