マルコフ確率場(マルコフネットワークまたは無向グラフィカルモデル)は、 変数に対応するノード集合とノード対を接続する無向リンク集合からなります。 条件付き独立性 無向グラフは有向グラフのようなhead-to-headのような分かりにくい現象は発生しません。…

周辺分布の推論 以下の図1の(b)において、を考えます。図1 図1の(b)の同時分布は次のように書けます。は以外の全ての変数で周辺化することによって求められます。ところで、式をそのまま計算するのは計算効率が悪いので、効率よく計算する式は以下で与えられ…

問題 図に示されるグラフにおいて、すべてのノードに対してを計算する推論問題を考える。 この問題を効率的に解くために節で議論したメッセージパッシングアルゴリズムが利用できることを示し、 どのメッセージがどのように修正されるかについて議論せよ。 …

問題 図に示されるグラフにおいて、つの隣接ノード上の同時分布がの形で表現されることを示せ。 参照 図 解答 をで周辺化したものが式であるので、 式からを取って周辺化をなくせば、となります。 よって、は以下の式で表せます。式より、式が示せました。

問題 ソフトマックス活性化関数 の微分が、 によって与えられることを示せ。 ここで、 は によって定義される。 参照 解答 を計算します。 のとき、となります。のとき、となります。 をまとめて書くと、以下のようになります。式 より、式 が示せました。

問題 で与えられるロジスティック回帰モデルのヘッセ行列が正定値行列であることを示せ。 ここでは、要素をとする対角行列であり、は、入力ベクトルに対するロジスティック回帰モデルの出力である。 したがって、誤差関数はの凸関数であり、唯一の最小解を持…

問題 ロジスティックシグモイドの微分に対する結果を使って、 ロジスティック回帰モデルに対する誤差関数の微分が、で与えられることを示せ。 参照 解答 を計算します。式より、式が示せました。

問題 で定義されるロジスティックシグモイド関数の微分に対する関係を検証せよ。 参照 解答 式をで微分します。式より、式が示せました。 関連リンク PRML演習問題 4.7(基本) www

問題 を成分とする任意の正方行列はという形に書けることを示せ。 ただし、とはそれぞれ対称行列と反対称行列の成分でありおよびがすべてのについて成り立つ。 さてここで、次元における高次の多項式の次の項を考えると、となり、反対称行列の寄与が消えるこ…

問題 ガウス分布の分散の推定値において、最尤推定値を真の平均の値で置き換えよう。 この推定量は期待値が真の分散となる性質を持つことを示せ。 参照 解答 を計算します。式より、題意が示せました。

問題 とを使ってを示せ。 ただし、とは平均、分散のガウス分布から生成されたデータ点を表し、 はのときでそれ以外はであるとする。 これからとを証明せよ。 参照 解答 との同時分布は、以下の式で表せます。を計算します。のとき、式が成り立つので、式と式…