概要 このシリーズの目標、ユークリッド距離の定義、距離空間の定義 このシリーズの目標 ・ハーン・バナッハの定理 ・開写像定理 ・閉グラフ定理 ・一様有界性の定理 ユークリッド距離 上の 点 ・ ・ ・ (対称性) ・ (三角不等式) 上の距離 が満たす上記の性…

概要 補題6の証明、補題7の証明 補題6 を 上の測度とする。 に対し、" の への制限 " をとおく。このとき、 も 上の測度となる。証明 は明らか。 (i) (ii) とすると、 となるから、これは、 が劣加法性を満たすことを示している。□ 補題7 を 上の測度、 は -…

概要 補題1の証明、可測集合の定義、補題2の証明 補題1 ： 上の測度とする。 ならば、 が成り立つ。 証明 とおく。 となっている。 の劣加法性より 可測集合の定義 を 上の測度とする。 が -可測(または可測) であるとは、 に対し、 が成り立つことである。 …

概要 ±∞を含む計算の約束、測度の定義、測度の例 ±∞を含む計算の約束 ではない集合 つまり、 測度の定義 に対し、 が以下を満たすとき (i) (ii) (劣加法性) は 上の測度という。 例1(ディラック測度) 例2(計数測度) を の要素の個数

概要 定理3の証明 定理3 可測集合列 は単調減少とし、 とする。 このとき、 が成り立つ。 証明 まず、 は単調減少だから に対し、 は下に有界な単調減少数列 が存在。 と は互いに素な可測集合 ここで、 だから、 より かつ よって、 より(移項ができて) さ…

はじめに 本記事は数の落とし子さんが作成した動画を清書した記事の目次です。 数の落とし子さんに無断で、自身の勉強用としてまとめております。 記事で自分自身による説明は青色で記載します。 もし、怒られた場合、関連記事を全て非公開にいたします。 ル…

概要 完備距離空間の定義、定理1の証明 完備距離空間の定義 を距離空間とする。 任意のコーシー列 が収束列となるとき、 は完備距離空間という。 定理1 実数全体の集合 は距離 のもとで完備距離空間である。 証明 をコーシー列とする。 補題 より、 は有界列…

はじめに 本記事は備忘録用です。 私はiPadに吸い出したpdfをwindowsからコピーして、Kindleで読むことがあるのですが、 その時のコピー方法です。 手順 1: LightningケーブルをwindowsとiPadに挿す。2: iTunesを起動する。3: iTunes上でiPadのアイコンを押…

問題 で与えられるクラス問共分散行列と で与えられるクラス内共分散行列のそれぞれの定義と、 および 節で述べた目的値を使って、 二乗和誤差関数を最小化する表現 が の形で件けることを示せ。 参考 解答 先に を計算します。(後で使います) の左辺を変形…

問題 停留点 まわりでの誤差関数のテイラー展開 を考えることで、 停留点が誤差関数の局所的極小点であることの必要十分条件は、 で定義されるヘッセ行列 が正定値であることを示せ。 ただし、 である。 参照 解答 停留点 が誤差関数の局所的極小点であると…

問題 で定義される二次誤差関数を考える。 ここで、ヘッセ行列 が で与えられる固有方程式を持つとする。 このとき誤差一定の等高線は、方向が固有ベクトル であり、 長さが対応する固有値 の平方根の逆数であるような軸を持つ楕円であることを示せ。 参照 …

問題 固有方程式 を持つへッセ行列 を考える。 におけるベクトル を順々に固有ベクトル のそれぞれと等しくすることにより、 すべての固有値が正であるとき、そのときに限り は正定値であることを示せ。 参照 解答 題意を示すには、「すべての固有値が正であ…

問題 ソフトマックス活性化関数の微分の結果 を使って、 交差エントロピー誤差 の勾配が で与えられることを示せ。 参照 解答 をで偏微分します。 の4行目で とおきました。 の と を別々に計算します。ではを使いました。の2行目から3行目では、よりの項だ…

問題 ロジスティックシグモイド活性化関数を持つ出力ユニットの活性 に関する 誤差関数 の微分は、 を満たすことを示せ。 参考 解答 を で微分します。以上より、題意が示せました。

問題 出力が と解釈される多クラスニューラルネットワークモデルについて、 尤度を最適化することは、交差エントロピー誤差関数 を最小化することと等価であることを示せ。 参照 解答 問題が間違ているらしいです。(こちらを参照してください。) 本文(p235,p…

問題 ヘッセ行列 の対称性により、二次誤差関数 の独立成分の数は で与えられることを示せ。 参照 解答 で未知の変数は と です。 は対称性により未知の要素数は 個です。 の未知の要素数は 個なので、 二次誤差関数 の独立成分の数は 個です。

問題 ではロジスティックシグモイド活性化関数の微分は、関数の値そのもので表されることがわかった。 活性化関数が で定義される である場合について、対応する結果を導け。 参考 解答 商の微分公式を用いて、 を微分します。 補足 商の微分公式は、以下で…

問題 複数の目標変数を持ち、入力ベクトル を固定したときの目標変数の分布がという形のガウス関数であるような回帰問題を考える。 ここで、 は入力べクトル 、重みベクトル を持つ ニューラルネットワークの出力であり、 は目標値の想定されたガウスノイス…

問題 の形の 層ネットワーク関数で、隠れユニットの非線形活性化関数 が ロジスティックシグモイド関数で与えられるものを考える。これと等価なネットワーク、すなわち全く同じ関数を計算するが、 隠れユニットの活性化関数が で与えられるものが存在するこ…

問題 複数の出力を持つニューラルネットワークについて、条件付き分布 の尤度関数最大化は、 二乗和誤差関数 の最小化と等価であることを示せ。 参照 解答 観測値がそれぞれ独立であると仮定すると、条件付き分布 の尤度関数は以下のようになります。 より、…

問題 データ空間の次元数によらず、各クラスに一つずつデータが存在すれば、 つのデータ点だけから成るデータ集合でマージン最大の超半面を決定できることを示せ。 参照 解答 データが次の つ のみが与えられているとします。 このとき、 より、以下の式が成…

問題 等方共分散をもつ、つまり、共分散行列が ( は単位行列)で与えられるような ガウス基底を持つような Nadaraya-Watson モデルを考える。 入力変数 と、目標変数 はそれぞれ 次元であるとする。 このとき、条件付き密度 、条件付き期待値 、および条件付…

問題 入力に、分布 を持つノイズがある場合の二乗和誤差関数 を考える。 変分法を用いて、この誤差関数を関数 について最小化し最適な解は、 基底関数として を用いた展開 の形で与えられることを示せ。 参照 解答 は二乗和誤差の期待値を足しわせたものであ…

パーセプトロンの収束定理の証明 特徴空間上の学習データ は線形分離可能とします。 に を乗算します。パーセプトロンの誤り訂正の過程で正しく識別できなかった学習パターンを順にとします。 ということは、 は正しく識別できなかった 番目のパターンを表し…

バッチ手法・逐次学習 すべての訓練データ集合を一度に処理する最尤推定のような方法はバッチ手法と呼ばれます。 バッチ手法の問題点は、大規模なデータ集合に対して計算に時間がかかるという点です。データ集合が大規模なときには、データ点を一度に つだけ…

問題 この演習問題では、パーセプトロンの学習アルゴリズムの双対表現を導く。 パーセプトロンでの更新則 を用いて、訓練後の重みベクトル が、ベクトル (ただし )の線形結合で表されることを示せ。 この線形結合の係数を として、パーセプトロンの学習アル…

問題 節で紹介した最小二乗法線形回帰問題の双対表現を示せ。 また解のベクトル の要素 がベクトル の要素の線形結合で表されることを示せ。 それらの係数をベクトル として双対表現の双対表現がもともとの表現に戻ること、 をパラメータベクトルとして示せ…

やりたい事 データが与えられたときに予測をしたいのですが、 そのためには、データにフィットする曲線を求めればよさそうです。 出力値が入力値の関数で表せるならば、新たな入力に対して予測ができます。 単なる点推定ではなく、不確実性を表現できると予…

問題 あらかじめ固定された集合 のすべての部分集合 の空間を考え、カーネル関数 は、 写像 によって定義される 次元の特徴空間における内積であることを示せ。 なお、 は の部分集合であり、部分集合 で指定される の各要素 は、以下で与えられるとする。こ…

問題 演習問題 で議論したモデルに対する予測分布 が次の形のスチューデントの 分布で与えられることを示し、 についての式を求めよ。 参照 解答 作成中