問題 ヘッセ行列 の対称性により、二次誤差関数 の独立成分の数は で与えられることを示せ。 参照 解答 で未知の変数は と です。 は対称性により未知の要素数は 個です。 の未知の要素数は 個なので、 二次誤差関数 の独立成分の数は 個です。

問題 ではロジスティックシグモイド活性化関数の微分は、関数の値そのもので表されることがわかった。 活性化関数が で定義される である場合について、対応する結果を導け。 参考 解答 商の微分公式を用いて、 を微分します。 補足 商の微分公式は、以下で…

問題 複数の目標変数を持ち、入力ベクトル を固定したときの目標変数の分布がという形のガウス関数であるような回帰問題を考える。 ここで、 は入力べクトル 、重みベクトル を持つ ニューラルネットワークの出力であり、 は目標値の想定されたガウスノイス…

問題 の形の 層ネットワーク関数で、隠れユニットの非線形活性化関数 が ロジスティックシグモイド関数で与えられるものを考える。これと等価なネットワーク、すなわち全く同じ関数を計算するが、 隠れユニットの活性化関数が で与えられるものが存在するこ…

問題 複数の出力を持つニューラルネットワークについて、条件付き分布 の尤度関数最大化は、 二乗和誤差関数 の最小化と等価であることを示せ。 参照 解答 観測値がそれぞれ独立であると仮定すると、条件付き分布 の尤度関数は以下のようになります。 より、…

問題 データ空間の次元数によらず、各クラスに一つずつデータが存在すれば、 つのデータ点だけから成るデータ集合でマージン最大の超半面を決定できることを示せ。 参照 解答 データが次の つ のみが与えられているとします。 このとき、 より、以下の式が成…

問題 等方共分散をもつ、つまり、共分散行列が ( は単位行列)で与えられるような ガウス基底を持つような Nadaraya-Watson モデルを考える。 入力変数 と、目標変数 はそれぞれ 次元であるとする。 このとき、条件付き密度 、条件付き期待値 、および条件付…