問題 で与えられるクラス問共分散行列と で与えられるクラス内共分散行列のそれぞれの定義と、 および 節で述べた目的値を使って、 二乗和誤差関数を最小化する表現 が の形で件けることを示せ。 参考 解答 先に を計算します。(後で使います) の左辺を変形…

問題 停留点 まわりでの誤差関数のテイラー展開 を考えることで、 停留点が誤差関数の局所的極小点であることの必要十分条件は、 で定義されるヘッセ行列 が正定値であることを示せ。 ただし、 である。 参照 解答 停留点 が誤差関数の局所的極小点であると…

問題 で定義される二次誤差関数を考える。 ここで、ヘッセ行列 が で与えられる固有方程式を持つとする。 このとき誤差一定の等高線は、方向が固有ベクトル であり、 長さが対応する固有値 の平方根の逆数であるような軸を持つ楕円であることを示せ。 参照 …

問題 固有方程式 を持つへッセ行列 を考える。 におけるベクトル を順々に固有ベクトル のそれぞれと等しくすることにより、 すべての固有値が正であるとき、そのときに限り は正定値であることを示せ。 参照 解答 題意を示すには、「すべての固有値が正であ…

問題 ソフトマックス活性化関数の微分の結果 を使って、 交差エントロピー誤差 の勾配が で与えられることを示せ。 参照 解答 をで偏微分します。 の4行目で とおきました。 の と を別々に計算します。ではを使いました。の2行目から3行目では、よりの項だ…

問題 ロジスティックシグモイド活性化関数を持つ出力ユニットの活性 に関する 誤差関数 の微分は、 を満たすことを示せ。 参考 解答 を で微分します。以上より、題意が示せました。

問題 出力が と解釈される多クラスニューラルネットワークモデルについて、 尤度を最適化することは、交差エントロピー誤差関数 を最小化することと等価であることを示せ。 参照 解答 問題が間違ているらしいです。(こちらを参照してください。) 本文(p235,p…

問題 ヘッセ行列 の対称性により、二次誤差関数 の独立成分の数は で与えられることを示せ。 参照 解答 で未知の変数は と です。 は対称性により未知の要素数は 個です。 の未知の要素数は 個なので、 二次誤差関数 の独立成分の数は 個です。

問題 ではロジスティックシグモイド活性化関数の微分は、関数の値そのもので表されることがわかった。 活性化関数が で定義される である場合について、対応する結果を導け。 参考 解答 商の微分公式を用いて、 を微分します。 補足 商の微分公式は、以下で…

問題 複数の目標変数を持ち、入力ベクトル を固定したときの目標変数の分布がという形のガウス関数であるような回帰問題を考える。 ここで、 は入力べクトル 、重みベクトル を持つ ニューラルネットワークの出力であり、 は目標値の想定されたガウスノイス…

問題 の形の 層ネットワーク関数で、隠れユニットの非線形活性化関数 が ロジスティックシグモイド関数で与えられるものを考える。これと等価なネットワーク、すなわち全く同じ関数を計算するが、 隠れユニットの活性化関数が で与えられるものが存在するこ…

問題 複数の出力を持つニューラルネットワークについて、条件付き分布 の尤度関数最大化は、 二乗和誤差関数 の最小化と等価であることを示せ。 参照 解答 観測値がそれぞれ独立であると仮定すると、条件付き分布 の尤度関数は以下のようになります。 より、…

問題 データ空間の次元数によらず、各クラスに一つずつデータが存在すれば、 つのデータ点だけから成るデータ集合でマージン最大の超半面を決定できることを示せ。 参照 解答 データが次の つ のみが与えられているとします。 このとき、 より、以下の式が成…

問題 等方共分散をもつ、つまり、共分散行列が ( は単位行列)で与えられるような ガウス基底を持つような Nadaraya-Watson モデルを考える。 入力変数 と、目標変数 はそれぞれ 次元であるとする。 このとき、条件付き密度 、条件付き期待値 、および条件付…

問題 入力に、分布 を持つノイズがある場合の二乗和誤差関数 を考える。 変分法を用いて、この誤差関数を関数 について最小化し最適な解は、 基底関数として を用いた展開 の形で与えられることを示せ。 参照 解答 は二乗和誤差の期待値を足しわせたものであ…

問題 節で紹介した最小二乗法線形回帰問題の双対表現を示せ。 また解のベクトル の要素 がベクトル の要素の線形結合で表されることを示せ。 それらの係数をベクトル として双対表現の双対表現がもともとの表現に戻ること、 をパラメータベクトルとして示せ…

問題 あらかじめ固定された集合 のすべての部分集合 の空間を考え、カーネル関数 は、 写像 によって定義される 次元の特徴空間における内積であることを示せ。 なお、 は の部分集合であり、部分集合 で指定される の各要素 は、以下で与えられるとする。こ…

問題 演習問題 で議論したモデルに対する予測分布 が次の形のスチューデントの 分布で与えられることを示し、 についての式を求めよ。 参照 解答 作成中

問題 節で、平均およひ精度(分散の逆数)がともに未知のガウス分布に対応する共役事前分布は 正規ガンマ分布であることを述べた。 この性質は、線形回帰モデルの条件付きガウス分布 の場合にも成り立つ。 尤度関数が で与えられるとき、 と の共役事前分布が…

問題 隠れマルコフモデルの周辺分布の表現 と を用いて、 スケーリングされた変数についての対応する結果 と を導け。 参照 解答 式 を計算します。式 より、式 が示せました。式 を計算します。式 より、式 が示せました。

問題 変分法を使って、 式の上にある汎関数の停留点が で与えられることを示せ。 また、制約 を使ってラグランジュ乗数を消去し、 最大エントロピー解がガウス分布 で与えられることを示せ。 参照 解答 PRML p56より、エントロピーを最大化するため、制約 の…

問題 の 乗を展開し、 に類似の結果を導き目標変数ベクトル の場合に 期待二乗損失を最小にする関数 がやはり の条件付き期待値で与えられることを示せ。 参照 解答 式 の を計算します。式 を式 に代入します。 を計算します。式 を式 に代入します。式 よ…

問題 単一の目標変数 の の二乗損失関数のベクトル値 で表される多変数の場合への以下の一般化について考える。変分法によって、この期待損失を最小化する関数 が で与えられることを示せ。 単一の目標変数 の場合はこの結果が に帰着されることを確かめよ。…

問題 線形動的システムにおける、 と に対する Mステップの方程式の結果 と を確かめよ。 参照 解答 PRML下巻 p361より、以下が成り立ちます。式 を で微分して、 とおきます。式 より、式 が示せました。式 を で微分して、 とおきます。式 より、式 が示せ…

問題 線形動的システムにおける、 と に対するMステップの方程式の結果 と を確かめよ。 参照 解答 PRML下巻 p362より、以下が成り立ちます。式 を で微分して、 とおきます。式 より、式 が示せました。式 を で微分して、 とおきます。式 より、式 が示せ…

問題 線形動的システムにおける、 と に対する M ステップの方程式の結果 と を確かめよ。 参照 解答 を で微分して、 とおきます。式 より、式 が示せました。 を で微分して、 とおきます。式 より、式 が示せました。 補足 の証明については、 ベクトルと…

問題 図 のグラフにおいて、ノード を根ノードとして積和アルゴリスムを実行すると 上の正しい周辺分布が得られる。 このことは において確かめられた。 では、 および についても正しい周辺分布が得られることを示せ。 同様に、このグラフにおいて秘和アル…

問題 木構造因子グラフにおいて、積和メッセージパッシングアルゴリズムを実行したとする。 因子 の変数 上の周辺分布が の形に書けることを示せ。 これは、この因子ノードに接続されるすべてのリンクに沿って入ってきたメッセージの積に、 局所的な因子 を…

問題 節において、因子グラフの変数ノード 上の周辺分布 が、 隣接因子ノードからこのノードに伝わるメッセージの積として の形で与えられることを示した。 に接続されるリンクを つ選んだとする。 周辺分布 はこの つのリンクに沿って入ってくるメッセージ…

問題 つの 状態離散変数 および を考える。 例えば である。 これらの変数上の同時分布 であって周辺分布 を最大にする値 と 周辺分布 を最大にする とを組み合わせると、 同時分布の確率が となる(すなわち となる)ようなものを作れ。 解答 以下の同時分布…