はじめに 本記事は備忘録用です。 私はiPadに吸い出したpdfをwindowsからコピーして、Kindleで読むことがあるのですが、 その時のコピー方法です。 手順 1: LightningケーブルをwindowsとiPadに挿す。2: iTunesを起動する。3: iTunes上でiPadのアイコンを押…

問題 で与えられるクラス問共分散行列と で与えられるクラス内共分散行列のそれぞれの定義と、 および 節で述べた目的値を使って、 二乗和誤差関数を最小化する表現 が の形で件けることを示せ。 参考 解答 先に を計算します。(後で使います) の左辺を変形…

問題 停留点 まわりでの誤差関数のテイラー展開 を考えることで、 停留点が誤差関数の局所的極小点であることの必要十分条件は、 で定義されるヘッセ行列 が正定値であることを示せ。 ただし、 である。 参照 解答 停留点 が誤差関数の局所的極小点であると…

問題 で定義される二次誤差関数を考える。 ここで、ヘッセ行列 が で与えられる固有方程式を持つとする。 このとき誤差一定の等高線は、方向が固有ベクトル であり、 長さが対応する固有値 の平方根の逆数であるような軸を持つ楕円であることを示せ。 参照 …

問題 固有方程式 を持つへッセ行列 を考える。 におけるベクトル を順々に固有ベクトル のそれぞれと等しくすることにより、 すべての固有値が正であるとき、そのときに限り は正定値であることを示せ。 参照 解答 題意を示すには、「すべての固有値が正であ…

問題 ソフトマックス活性化関数の微分の結果 を使って、 交差エントロピー誤差 の勾配が で与えられることを示せ。 参照 解答 をで偏微分します。 の4行目で とおきました。 の と を別々に計算します。ではを使いました。の2行目から3行目では、よりの項だ…

問題 ロジスティックシグモイド活性化関数を持つ出力ユニットの活性 に関する 誤差関数 の微分は、 を満たすことを示せ。 参考 解答 を で微分します。以上より、題意が示せました。

問題 出力が と解釈される多クラスニューラルネットワークモデルについて、 尤度を最適化することは、交差エントロピー誤差関数 を最小化することと等価であることを示せ。 参照 解答 問題が間違ているらしいです。(こちらを参照してください。) 本文(p235,p…

問題 ヘッセ行列 の対称性により、二次誤差関数 の独立成分の数は で与えられることを示せ。 参照 解答 で未知の変数は と です。 は対称性により未知の要素数は 個です。 の未知の要素数は 個なので、 二次誤差関数 の独立成分の数は 個です。

問題 ではロジスティックシグモイド活性化関数の微分は、関数の値そのもので表されることがわかった。 活性化関数が で定義される である場合について、対応する結果を導け。 参考 解答 商の微分公式を用いて、 を微分します。 補足 商の微分公式は、以下で…

問題 複数の目標変数を持ち、入力ベクトル を固定したときの目標変数の分布がという形のガウス関数であるような回帰問題を考える。 ここで、 は入力べクトル 、重みベクトル を持つ ニューラルネットワークの出力であり、 は目標値の想定されたガウスノイス…

問題 の形の 層ネットワーク関数で、隠れユニットの非線形活性化関数 が ロジスティックシグモイド関数で与えられるものを考える。これと等価なネットワーク、すなわち全く同じ関数を計算するが、 隠れユニットの活性化関数が で与えられるものが存在するこ…

問題 複数の出力を持つニューラルネットワークについて、条件付き分布 の尤度関数最大化は、 二乗和誤差関数 の最小化と等価であることを示せ。 参照 解答 観測値がそれぞれ独立であると仮定すると、条件付き分布 の尤度関数は以下のようになります。 より、…

問題 データ空間の次元数によらず、各クラスに一つずつデータが存在すれば、 つのデータ点だけから成るデータ集合でマージン最大の超半面を決定できることを示せ。 参照 解答 データが次の つ のみが与えられているとします。 このとき、 より、以下の式が成…

問題 等方共分散をもつ、つまり、共分散行列が ( は単位行列)で与えられるような ガウス基底を持つような Nadaraya-Watson モデルを考える。 入力変数 と、目標変数 はそれぞれ 次元であるとする。 このとき、条件付き密度 、条件付き期待値 、および条件付…

問題 入力に、分布 を持つノイズがある場合の二乗和誤差関数 を考える。 変分法を用いて、この誤差関数を関数 について最小化し最適な解は、 基底関数として を用いた展開 の形で与えられることを示せ。 参照 解答 は二乗和誤差の期待値を足しわせたものであ…

パーセプトロンの収束定理の証明 特徴空間上の学習データ は線形分離可能とします。 に を乗算します。パーセプトロンの誤り訂正の過程で正しく識別できなかった学習パターンを順にとします。 ということは、 は正しく識別できなかった 番目のパターンを表し…

バッチ手法・逐次学習 すべての訓練データ集合を一度に処理する最尤推定のような方法はバッチ手法と呼ばれます。 バッチ手法の問題点は、大規模なデータ集合に対して計算に時間がかかるという点です。データ集合が大規模なときには、データ点を一度に つだけ…

問題 この演習問題では、パーセプトロンの学習アルゴリズムの双対表現を導く。 パーセプトロンでの更新則 を用いて、訓練後の重みベクトル が、ベクトル (ただし )の線形結合で表されることを示せ。 この線形結合の係数を として、パーセプトロンの学習アル…

問題 節で紹介した最小二乗法線形回帰問題の双対表現を示せ。 また解のベクトル の要素 がベクトル の要素の線形結合で表されることを示せ。 それらの係数をベクトル として双対表現の双対表現がもともとの表現に戻ること、 をパラメータベクトルとして示せ…

やりたい事 データが与えられたときに予測をしたいのですが、 そのためには、データにフィットする曲線を求めればよさそうです。 出力値が入力値の関数で表せるならば、新たな入力に対して予測ができます。 単なる点推定ではなく、不確実性を表現できると予…

問題 あらかじめ固定された集合 のすべての部分集合 の空間を考え、カーネル関数 は、 写像 によって定義される 次元の特徴空間における内積であることを示せ。 なお、 は の部分集合であり、部分集合 で指定される の各要素 は、以下で与えられるとする。こ…

問題 演習問題 で議論したモデルに対する予測分布 が次の形のスチューデントの 分布で与えられることを示し、 についての式を求めよ。 参照 解答 作成中

問題 節で、平均およひ精度(分散の逆数)がともに未知のガウス分布に対応する共役事前分布は 正規ガンマ分布であることを述べた。 この性質は、線形回帰モデルの条件付きガウス分布 の場合にも成り立つ。 尤度関数が で与えられるとき、 と の共役事前分布が…

順序対 一般に、二つのもの から作られた対 なるものを、 と とから作られた順序対という。 二つの順序対 と とが等しいのは かつ がともに成立する場合に限るものと定める。 と が等しいことをと書く。また でないことをで表す。二つのもの から作られた集…

ド・モルガンの法則 差集合と和集合，共通節分について，次の関係がある．定理 3.1 ド・モルガンの法則 集合 について、次式が成り立つ。[証明] 補集合 数学のいろいろな分野では、一つの基礎になる集合を固定して、その集合の元についてのみ考察することが…