機械学習基礎理論独習

誤りがあればご指摘いただけると幸いです。リンクフリーです。

間違いがあれば、ご指摘いただけると幸いです。リンクフリーです
目次へ戻る

目次

このページをブックマークしておくと便利かもしれません。
予約投稿している記事は予約投稿日時が来るまで見れません。

K-means法

主成分分析(KL展開)

アンサンブル学習

単純ベイズ分類器(ナイーブベイズ)

  • 記事無し

テンプレートマッチング

  • 記事無し

カーネル法

  • 記事なし

フィッシャーの線形判別

最適化

  • 記事無し

参考リンク

Python基礎(かなり基礎的な内容となります)


積分近似 - 複合台形公式

台形公式

区間[a,b]上の関数f(x)積分を考えます。

\begin{eqnarray}
I=\int_a^bf(x){\rm d}x\tag{1}
\end{eqnarray}

補間多項式の記事で求めた補間多項式g(x)を用いて、積分近似してみます。

\begin{eqnarray}
J &=& \int_a^bg(x){\rm d}x\\
&=&\int_a^b\sum_{n=1}^Nf(x_n)l_n(x){\rm d}x\\
&=&\sum_{n=1}^Nf(x_n)\int_a^bl_n(x){\rm d}x\\
&=&\sum_{n=1}^Nf(x_n)w_n\tag{2}
\end{eqnarray}

(2)w_nは以下のようにおきました。

\begin{eqnarray}
w_n=\int_a^bl_n(x){\rm d}x\tag{3}
\end{eqnarray}

w_nf(x)によらない定数ですが、計算が大変なため、求めません。

Iの近似のためのJの計算式をニュートン・コーツの公式といいます。
ニュートン・コーツの公式でN=2の場合を台形公式といいます。

関数f(x)\ (a\leq x \leq b)に対する台形公式は、次のように書けます。

\begin{eqnarray}
J=\frac{b-a}{2}(f(a)+f(b))\tag{4}
\end{eqnarray}

(4)を示します。

[証明]
N=2のとき、x_1=a,x_2=bで、以下が成り立ちます。

\begin{eqnarray}
&&l_1(x)=\frac{x-a}{b-a}\\
&&l_2(x)=\frac{x-b}{a-b}\tag{5}
\end{eqnarray}

w_1(x)を求めます。

\begin{eqnarray}
w_1(x)&=&\int_a^bl_1(x){\rm d}x\\
&=&\int_a^b\frac{x-a}{b-a}{\rm d}x\\
&=&\frac{1}{b-a}\left[\frac{1}{2}x^2-ax\right]^b_a\\
&=&\frac{1}{b-a}\left(\frac{1}{2}b^2-ab-\frac{1}{2}a^2+a^2\right)\\
&=&\frac{1}{b-a}\left(\frac{1}{2}(b-a)^2\right)\\
&=&\frac{b-a}{2}\tag{6}
\end{eqnarray}

w_2(x)を求めます。

\begin{eqnarray}
w_2(x)&=&\int^b_al_2(x){\rm d}x\\
&=&\int_a^b\frac{x-b}{a-b}{\rm d}x\\
&=&\frac{1}{a-b}\left[\frac{1}{2}x^2-bx\right]^b_a\\
&=&\frac{1}{a-b}\left(\frac{1}{2}b^2-b^2-\frac{1}{2}a^2+ab\right)\\
&=&\frac{1}{a-b}\left(-\frac{1}{2}(a-b)^2\right)\\
&=&\frac{b-a}{2}\tag{7}
\end{eqnarray}

(6),(7)ニュートン・コーツの公式より

\begin{eqnarray}
J&=&f(a)w_1+f(b)w_2\\
&=&\frac{b-a}{2}(f(a)+f(b))\tag{8}
\end{eqnarray}

となります。

[証明終わり]

台形公式のイメージは以下の図です。

f:id:olj611:20210430121121p:plain:w400

複合台形公式

区間[a,b]N等分し、各区間に対して台形公式を用いる方法を複合台形公式といいます。
N等分点をa=x_1 < \cdots < x_N=bとおきます。このとき、複合台形公式は

\begin{eqnarray}
J=\frac{b-a}{2(N-1)}\sum_{n=2}^N(f(x_{n-1})+f(x_n))\tag{9}
\end{eqnarray}

となります。

N=4のときの複合台形公式のイメージは以下の図です。

f:id:olj611:20210430121507p:plain:w400

複合台形公式の実験

次の関数f(x)区間[-1,1]で複合台形公式を使って積分を近似してみます。

\begin{eqnarray}
f(x)=\frac{1}{\cos x}+\frac{1}{1+x^2}\tag{10}
\end{eqnarray}

(10)のグラフは下図のようになります。

f:id:olj611:20210430130605p:plain:w400

先に解析解Iを計算してみます。

\begin{eqnarray}
I&=&\int^1_{-1}f(x){\rm d}x\\
&=&\int^1_{-1}\left(\frac{1}{\cos x}+\frac{1}{1+x^2}\right){\rm d}x\\
&=&\left[\tan^{-1}x+\ln\left(\tan x+\frac{1}{\cos x}\right)\right]^1_{-1}\\
&=&4.023178668561932\cdots\tag{11}
\end{eqnarray}

次にプログラムを使って、近似解JNを変更して求めてみました。
青の点線が解析解でオレンジ色が近似解です。横軸がNで、縦軸が解析解及び近似解の値です。

f:id:olj611:20210430135037p:plain:w400

Nが大きくなると、IJは近い値を取ることが分かります。

偉人の名言

f:id:olj611:20210430125309p:plain:w300
あせってはいけません。
ただ、牛のように、図々しく進んで行くのが大事です。
夏目漱石

参考文献

モンテカルロ統計計算

動画

なし

目次へ戻る