MAP推定とリッジ回帰 MAP推定とリッジ回帰の関係という記事で 事前分布を平均は、共分散行列は等方的な分布としたときに についてMAP推定することと、 二乗和誤差関数と二次正則化項の和を最小化することが等価であることを示しました。これを利用して、リッ…

周辺尤度 一般に、観測データ、パラメータのとき、の事後分布は以下の式で表されます。のを周辺尤度といい、モデルからデータが出現する尤もらしさを表しています。 をについて解きます。事後分布を求める時は、この周辺尤度は無視されますが、この記事では…

ハミルトニアンモンテカルロ法の導入の理由 HMC法(ハミルトニアンモンテカルロ法)はMH法(メトロポリスヘイスティング法)と比べて圧倒的に受容率の高いサンプリング手法です。 低次元であればMH法でも使えますが、10次元ぐらいになると、受容率の低さ故使い物…

条件付きガウス分布 とした、同時ガウス分布があります。 は以下のようにブロック化されているとします。この時、以下の条件付き分布の式が成り立ちます。を以下で示します。は対象行列です。また、が成り立ちます。 は対象行列です。また、が成り立ちます。…

点と平面の距離 点から平面に下した垂線との交点との距離を求めます。は平面上の点なのでは符号付距離なので絶対値を付けます。 偉人の名言 失敗を恐れるな。失敗することではなく、低い目標を掲げることが罪である。 大きな挑戦では、失敗さえも輝きとなる…

周辺ガウス分布 とした、同時ガウス分布があります。 は以下のようにブロック化されているとします。この時、以下の周辺分布の式が成り立ちます。を以下で示します。をで周辺化すると、になります。のの中身を計算します。をに関係した項を処理してから、積…

予測分布とは、新たな入力値に対するの分布のことです。が予測分布です。予測分布はの条件付き同時分布をについて周辺化することにより求まります。を変形します。の式変形ですが が与えられた下で、が独立であることと が与えられた下で、が独立であること…

以前、MAP推定とリッジ回帰という記事では、事前分布の平均を、共分散行列は等方的な分布としましたが、 今回の記事ではそのような仮定は設けません。 MAP推定 尤度が多次元ガウス分布なので、共役事前分布として多次元ガウス分布とします。 平均を、共分散…

最小二乗法の復習 個のデータが与えられています。 で、と表します。線形回帰モデルは以下のよう表されるとします。ただし、です。 また、を以下のようにおきます。この時、目的関数を以下のように定義します。目的関数を最小化したをと表すととなります。 …

正則化 目的関数に正則化項を加えることにより、過学習を防ぐことができます。 一般的な正則化項を用いて目的関数を表してみます。(1)において、の時をラッソ回帰、の時をリッジ回帰というのでした。 異なるの値に対する正則化関数のグラフを示します。 正則…

等高線 2変数関数を考えます。 平面上で関数値が一定の軌跡を等高線()と呼びます。 例として、のグラフと等高線と以下に示します。 等高線と勾配ベクトルは垂直 点での関数値をとすると、点は上にある。 点の近くにあって、その等高線上にある点を考えます。…

この記事は最尤推定と最小二乗法の続きの記事です。 MAP推定 MAP推定とは事後分布を最大するようなパラメータを点推定することです。 事後分布を求めるために事前分布を定めます。 尤度が多次元ガウス分布なので、共役事前分布として多次元ガウス分布としま…

エントロピーの定義 エントロピーは以下のように定義されます。エントロピーは確率分布の「乱雑さ」を表す指標として知られています。 エントロピーの例1 となるような確率分布のエントロピーを計算してみます。同様にして、となるような確率分布のエントロ…

最尤推定 個のデータが与えられています。 で、まとめてと表します。線形回帰モデルは以下のよう表されるとします。ただし、です。目標変数がと加法性のガウスノイズの和で表される場合を考えます。は期待値がで精度(分散の逆数)がのガウス分布に従う確率変…

はじめに 混合ガウス分布の最尤推定の記事で、混合ガウス分布の説明はしております。 使用する変数などはそちらをご覧ください。 また、本記事は混合ガウス分布の最尤推定に一般のEMアルゴリズムを適用する内容となっておりますので、 一般のEMアルゴリズム…

一般のEMアルゴリズムについて説明します。 導入 全ての観測データの集合をで表します。 全ての潜在変数の集合をで表します。 全てのモデルパラメータの集合をで表します。 この時、対数尤度は以下のようになります。今、の最適化は難しいが、 完全データの…

この記事では決定木に関する用語などを説明します。 決定木とは 決定木とは木構造のモデルのことであり、 特に分類問題で用いられる決定木は分類木と呼ばれ、回帰問題で用いられる決定木は回帰木と呼ばれます。 分類木 例を挙げて説明します。 N組の学習デー…

混合ガウス分布モデルの確率変数 今回登場する確率変数の紹介です。 観測データを とします。 EMアルゴリズム同様、潜在変数 を潜り込ませます。 混合比率 、 ガウス分布の平均、 ガウス分布の精度 です。 精度行列は分散共分散行列の逆行列のことです。計算…

L1正則化 目的関数に正則化項としてL1ノルムを加えたものをL1正則化と言います。ラッソ回帰とも言います。 は正則化から外すことも多い為、今回は外します。 目的関数は以下のようになります。 最適化 この目的関数の最適化はL1ノルムがあり、解析的に解くの…

過学習と正則化 過学習とはモデルがデータに適合しすぎてしまうことを言います。過学習を防ぐために目的関数に正則化項(罰則項)を加えて最適化します。 このことを正則化と言います。この記事では加える正則化項がL2ノルムなのでL2正則化といいます。リッジ…