ガウス過程回帰モデル 観測される目標変数の値に含まれるノイズを考えます。ここで、です。 は番目の観測値に加えられるノイズで、それぞれの観測値に対して独立で、ガウス分布に従うとします。ここで、はノイズの精度を表す超パラメータです。 ノイズは各デ…

線形回帰再訪 線形回帰モデルにおいて予測分布を考えます。線形回帰モデルは以下であるとします。の事前分布は等方的なガウス分布とします。とします。 は以下のように表せます。より、はを定数行列で線形変換したものですので、 もまたガウス分布に従います…

RBF(動径基底関数) RBF(動径基底関数)はからの動径に依存する以下のような形式をもったものがよく利用されます。関数補間では、が与えられたときに、となるように、目的変数の値を正確に再現することの できる滑らかな関数を求めることが目的です。 次のよう…

特徴空間への写像を考える 実際にカーネル置換を行うためには、カーネル関数として有効なものを構成する必要があります。 特徴空間への写像を考え、これをもとに、対応するカーネルを構成することです。ここでは基底関数です。 カーネル関数を直接定義 カー…

線形回帰モデルの双対表現 線形回帰における正則化最小二乗法の目的関数は次式でした。 を で微分して、 とおきます。 で は以下のようにおきました。 を使う代わりに、 で表現し直すことにします。 これは双対表現と呼ばれます。 は は固定値なので、単に …