機械学習基礎理論独習

誤りがあればご指摘いただけると幸いです。数式が整うまで少し時間かかります。リンクフリーです。

勉強ログです。リンクフリーです
目次へ戻る

基本方針と予定

目次へ戻る

以下の内容は予告なしに変更します。

本ブログを立ち上げた経緯

元々Youtubeに私が機械学習で勉強したことを上げていたのですが、
動画作成後に誤植に気づくことが多く、困っていました。
ブログなら修正や追加が簡単にできるので、本ブログをたちげました。

基本方針

本ブログは主に機械学習の基礎理論についての記事を書きます。
万人に対する分かりやすさはあまり意識していません。自分用にまとめている感じです。
機械学習に関する基礎理論に関する記事が多めです。でも実装やライブラリを使った実装もやると思います。
アルゴリズムを自前実装する記事は【Python実装】と書きます。
実装する際に機械学習のライブラリを使う場合は【Python実装 - [ライブラリ]使用】と書きます。
プログラムの実装の記事は理論の記事とは分けたいと思います。プログラムに興味がない人もいると思うので。
機械学習に関連した数学の記事も書きます。数学の記事と機械学習の記事のカテゴリ分けは割といい加減かもしれません。

偉人の名言について

記事には最後に「偉人の名言」を載せています。
これは読み手と自分自身のやる気を上げるためです。
書籍紹介の記事には、偉人の名言は載せないようにしています。

理解度

記事にしているものは基本的に理解しているつもりです。
でも、間違っている箇所も多々あると思いますので、書籍で確認するのが一番かと思います。
不安な箇所や自分の意見は「~と思います」という風に書いています。

予約投稿

予約投稿しているのは、ブログは毎日投稿した方がよいと聞いたことがあり、SEO対策になるらしいからです。
予約投稿している記事は予約投稿日時が来るまで見れません。

書き方

日本語は見出しを除いて太字を使わないようにします。シンプルにしたいので。
式変形はやや丁寧を心がけます。丁寧にやりすぎるとあまりにも長くなるので。

期待値と内積の表記

期待値は、{\mathbb E}[x]と書いたり、\langle x\rangleと書きます。
内積は、基本的に{\bf a}^\top{\bf x}と書きますが、\langle {\bf a},{\bf x}\rangleと書く場合もあります。

言葉

話し言葉(です/ます)で書きます。

理解できていない箇所(不明点など)

PRML下巻 p94の図8.25の具体例を考えたい(これ調べたけど、ほぼ触れられていない)。きちんと理解したい。

予定 - 並びに意味はありません。備忘録みたいなものです。しょっちゅう更新します。

この記事の式(24)(29)は見直した方がよいと思う。PRML(13.22),(13.23)と異なるため。
「凸計画問題と最適化」の記事で、続わかパタp294のA.3の定理の説明を省いてしまったので追記する

ソフトマックス関数の計算上の注意(ゼロつく1参照)
ラプラス近似
ガウス過程による分類
ベイズロジスティック回帰
アンサンブル学習(AdaBoost,ランダムフォレスト)
動画化してあるニューラルネットワークを見直して記事にする。
ボックスミュラー法(逆関数法)
NUTS(No-Uturn Sampler)
重点サンプリング
パーセプトロンの収束定理の証明(わかりやすいパターン認識)
ナイーブベイズ
kNN法(アルゴリズムベイズ決定誤り率)

Pythonによる機械学習入門の写経
テイラー展開(1変数,多変数,sin,cos,e^x)
ラグランジュの未定乗数法(不等式制約) ← わかりやすく図と具体例を用いて書きたい

SVM回帰
RVM分類
最小二乗法による分類(うまくいかない理由も示す)
カーネル主成分分析

混合多項分布に一般のEMアルゴリズムを適用
線形回帰のエビデンス近似にEMアルゴリズムを適用
変分線形回帰
変分ロジスティック回帰
崩壊型ギブスサンプリングの例
CNN,RNN

書籍紹介(PRML、はじめてのパターン認識、マセマの本)
ノンパラメトリックベイズ

目次へ戻る

目次へ戻る