機械学習基礎理論独習

誤りがあればご指摘いただけると幸いです。数式が整うまで少し時間かかります。リンクフリーです。

勉強ログです。リンクフリーです
目次へ戻る

目次

このページをブックマークしておくと便利かもしれません。
予約投稿している記事は予約投稿日が来るまで見れません。

系列データ  グラフィカルモデル  K-means法  EMアルゴリズム  変分推論  サンプリング  確率的主成分分析  主成分分析  ベイズ統計  
共役事前分布と事後分布  確率分布  決定木  アンサンブル学習  単純ベイズ分類器(ナイーブベイズ)  部分空間法  kNN法(k最近傍法)  カーネル法  
関連ベクトルマシン  サポートベクトルマシン  線形回帰  フィッシャーの線形判別  ロジスティック回帰  パーセプトロン  
ニュートラルネットワーク  最適化  微分積分  線形代数  線形代数の基礎  統計学  
数理論理学  集合論  位相空間  測度論  フーリエ解析  力学  解析力学  画像処理  
コンピュータグラフィックス  順運動学と逆運動学  Blender  WebGL2  ベジェ曲線  数学他(用語など)  
C++  JavaScript  書籍紹介  アニメーション  Python基礎  C#  はてなブログ  PRML演習問題  

予約投稿

系列データ

グラフィカルモデル

K-means法

EMアルゴリズム

変分推論

サンプリング

主成分分析

確率的主成分分析

ベイズ統計

共役事前分布と事後分布

確率分布

決定木

アンサンブル学習

単純ベイズ分類器(ナイーブベイズ)

  • 記事無し

部分空間法

  • 記事無し

kNN法(k最近傍法)

カーネル法

関連ベクトルマシン

サポートベクトルマシン

線形回帰

フィッシャーの線形判別

ロジスティック回帰

パーセプトロン

ニュートラルネットワーク

  • 記事無し

最適化

微分積分

線形代数

線形代数の基礎

統計学

数理論理学

  • 記事無し

集合論

***2023/01/05勉強再開***

位相空間

測度論

フーリエ解析

力学

  • 記事無し

解析力学

画像処理

コンピュータグラフィックス

順運動学と逆運動学

Blender

WebGL2

ベジェ曲線

数学他(用語など)

C++

JavaScript

書籍紹介

アニメーション

Python基礎(かなり基礎的な内容となります)

C#(初心者です)

はてなブログ

PRML演習問題

解いた問題数:
リンク概要最新見直し日見直し回数備考
1.1(基本) www二乗和誤差関数----/--/--0--
1.2(基本) www正則化された二乗和誤差関数----/--/--0--
1.3(標準)ベイズの基本問題----/--/--0--
1.4(標準) www確率変数の変数変換----/--/--0--
1.5(基本)分散の基本問題----/--/--0--
1.6(基本)変数が独立の時の共分散----/--/--0--
1.7(標準) www1変数ガウス分布の正規化確認----/--/--0--
1.8(標準) www1変数ガウス分布の平均----/--/--0--
1.9(基本) wwwガウス分布のモード----/--/--0--
1.10(基本) www変数が独立の時の平均と共分散----/--/--0--
1.11(基本)1変数ガウス分布最尤推定----/--/--0--
1.12(標準) www積の1変数ガウス分布における期待値----/--/--0--
1.13(基本)1変数ガウス分布の分散----/--/--0--
1.14(標準)2次形式の係数行列----/--/--0--
1.15(難問) www - 未着手----/--/--0--
1.16(難問) - 未着手----/--/--0--
1.17(標準) wwwガンマ関数----/--/--0--
1.18(標準) www単位球の体積----/--/--0--
1.19(標準)球の体積と立方体の体積の比----/--/--0--
1.21(標準)ベイズ誤り確率----/--/--0--
1.23(基本)損失行列----/--/--0--
1.25(基本) www期待損失を最小化最小化する {\bf y}({\bf x})変分法による導出----/--/--0--
1.26(基本)期待損失を最小化する {\bf y}({\bf x}) の導出----/--/--0--
1.28(基本)エントロピー----/--/--0--
1.29(基本) wwwエントロピー----/--/--0--
1.30(標準)KLダイバージェンス----/--/--0--
1.31(標準) wwwエントロピー----/--/--0--
1.34(標準) www最大エントロピー解がガウス分布となることの証明----/--/--0見直す
1.35(基本) www1変数ガウス分布エントロピー----/--/--0--
1.37(基本)エントロピー----/--/--0--
1.39(難問) - 未着手エントロピー相互情報量----/--/--0--
1.40(基本)イェンセンの不等式----/--/--0--
1.41(基本) www相互情報量----/--/--0--
2.1(基本) wwwベルヌーイ分布の平均と分散----/--/--0--
2.2(標準)ベルヌーイ分布の別の表現----/--/--0--
2.3(標準) www二項定理と二項分布の正規化確認----/--/--0--
2.4(標準)二項分布の平均と分散2023/01/070--
2.5(標準) wwwベータ分布の正規化確認----/--/--0--
2.6(基本)ベータ分布の平均と分散とモード----/--/--0--
2.7(標準)二項分布のパラメータ \mu の事後平均----/--/--0--
2.8(基本)同時確率の平均と分散----/--/--0--
2.9(難問) www - 未着手ディレクレ分布の正規化確認----/--/--0--
2.10(標準)ディリクレ分布の平均と分散と共分散----/--/--0--
2.11(基本) wwwディリクレ分布の期待値----/--/--0--
2.12(基本)一様分布の正規化確認と平均と分散----/--/--0--
2.13(標準)多変数ガウス分布のKLダイバージェンス----/--/--0--
2.15(標準)多変数ガウス分布エントロピー----/--/--0--
2.16(難問) www - 未着手----/--/--0--
2.17(基本) www多変数ガウス分布の精度行列は対象行列としてよいことの証明----/--/--0--
2.18(難問) - 未着手----/--/--0--
2.19(標準)対象行列の逆行列固有値固有ベクトルによる表現----/--/--0--
2.20(標準) www正定値行列の必要十分条件----/--/--0--
2.21(基本)実対称行列の独立なパラメータ数----/--/--0--
2.22(基本)対称行列の逆行列----/--/--0--
2.24(標準) www分割された行列の逆行列に関する公式----/--/--0--
2.26(標準)ウッドベリーの公式----/--/--0--
2.27(基本)変数が独立の時の平均と共分散行列----/--/--0--
2.28(難問) www - 未着手----/--/--0--
2.29(標準)ガウス分布の同時分布の精度行列の逆行列----/--/--0--
2.30(基本)(2.108) の導出----/--/--0--
2.32(難問) www - 未着手----/--/--0--
2.33(難問) - 未着手----/--/--0--
2.34(標準) www多変量ガウス分布の共分散行列の最尤推定----/--/--0--
2.38(基本)ガウス分布の平均の事後分布の平均と分散----/--/--0--
2.39(標準)ガウス確率変数の事後分布の逐次更新----/--/--0--
2.40(標準) www多変数ガウス分布の事後分布----/--/--0--
2.41(基本)ガンマ分布の正規化確認----/--/--0--
2.42(標準)ガンマ分布の平均と分散とモード----/--/--0--
2.46(基本) wwwスチューデントのt分布の導出----/--/--0--
2.47(基本) www\nu\rightarrow\infty の極限でのt分布----/--/--0--
2.51(基本) wwwピタゴラスの定理三角関数の加法定理の証明----/--/--0--
2.53(基本)フォン・ミゼース分布の \theta_0最尤推定----/--/--0--
2.54(基本)フォン・ミゼース分布の最大値と最小値を取る \theta----/--/--0解答が不完全
2.56(標準) wwwベータ分布、ガンマ分布、フォン・ミゼース分布の指数型分布族の形----/--/--0--
2.57(基本)多変量ガウス分布の指数型分布族の形----/--/--0--
2.58(基本)\ln g({\boldsymbol\eta}) の負のヘッセ行列----/--/--0--
2.59(基本)正規化に関する問題----/--/--0--
3.1(基本) www\tanh 関数とロジスティックシグモイド関数----/--/--0--
3.2(標準)最小二乗解と正射影----/--/--0--
3.3(基本)重み付き二乗和誤差関数----/--/--0--
3.5(基本) www正則化の意味----/--/--0--
3.6(基本) www目標値がベクトルの線形回帰モデルの最尤推定----/--/--0--
3.7(基本)ベイズ線形回帰モデルの \bf w の事後分布の導出----/--/--0--
3.8(標準) wwwベイズ線形回帰モデルの \bf w の事後分布の逐次更新----/--/--0--
3.9(標準)ベイズ線形回帰モデルの \bf w の事後分布の逐次更新----/--/--0--
3.10(標準) wwwベイズ線形回帰モデルの予測分布の導出2021/11/101--
3.11(標準)データ増加時の線形回帰モデルに関する不確かさ----/--/--0--
3.12(標準)ベイズ線形回帰モデルの共役事前分布----/--/--0解答作成中
3.13(標準)ベイズ線形回帰モデルの予測分布----/--/--0解答作成中
3.15(基本) www2E({\bf m}_N)=N の導出----/--/--0--
3.16(標準)ベイズ線形回帰モデルの対数エビデンス関数 p({\bf t}|\alpha,\beta) の導出----/--/--0--
3.17(基本)ベイズ線形回帰モデルの対数エビデンス関数 p({\bf t}|\alpha,\beta) の導出----/--/--0--
3.18(標準) wwwベイズ線形回帰モデルの誤差関数の導出----/--/--0--
3.19(標準)ベイズ線形回帰モデルの \bf w に関する積分----/--/--0--
3.20(標準) wwwベイズ線形回帰モデルの対数周辺尤度関数の \alpha に関する最大化----/--/--0丁寧に書く
3.21(標準)ベイズ線形回帰モデルの対数周辺尤度関数の \alpha に関する最大化----/--/--0丁寧に書く
3.22(標準)ベイズ線形回帰モデルの対数周辺尤度関数の \beta に関する最大化2021/11/091なし
4.4(基本) wwwクラス分離規準の \bf wに関する最大化----/--/--0--
4.5(基本)フィッシャーの判別規準----/--/--0--
4.6(基本)フィッシャーの判別規準における二乗
和誤差関数を最小化する別の表現
----/--/--0--
4.7(基本) wwwロジスティックシグモイド関数の基本性質----/--/--0--
4.12(基本) wwwロジスティックシグモイド関数微分----/--/--0--
4.13(基本) wwwロジスティック回帰モデルに対する誤差関数の微分----/--/--0--
4.15(標準)ロジスティック回帰モデルのヘッセ行列----/--/--0--
4.17(基本) wwwソフトマックス活性化関数の微分2023/01/271--
4.18(基本)多クラスロジスティック回帰の誤差関数の勾配の導出----/--/--0--
5.1(標準) www活性化関数にシグモイド関数tanh関数を使うことは等価であることの証明----/--/--0--
5.2(基本) www尤度関数最大化と二乗和誤差関数最小が等価であることの証明----/--/--0--
5.3(標準)目標変数がガウス分布の時の誤差関数と分散共分散行列の最尤解----/--/--0--
5.5(基本)多クラスニューラルネットワーク最尤推定----/--/--0--
5.6(基本)ロジスティックシグモイド活性化関数を持つ誤差関数の微分----/--/--0--
5.8(基本)tanh関数の微分----/--/--0--
5.10(基本) www全ての固有値が正であることはヘッセ行列が正定値であることの必要十分条件である証明----/--/--0--
5.11(標準) www二次近似された誤差関数の等高線が楕円である証明----/--/--0--
5.12(標準) www停留点が二次近似された誤差関数の局所的極小点であることの必要十分条件がヘッセ行列が正定値であることの証明----/--/--0--
5.13(基本)二次誤差関数の独立成分の数----/--/--0--
6.1(標準) www線形回帰の双対表現----/--/--0作成中
6.2(標準)パーセプトロンの双対表現----/--/--0
6.3(基本)一般的な非線形カーネルを用いた最近傍法----/--/--0--
6.4(基本)固有値が正で少なくとも 1 つ負の要素を持つ 2\times 2 の行列----/--/--0--
6.5(基本) www有効なカーネルの公式 (6.13),(6.14) の証明----/--/--0--
6.6(基本)有効なカーネルの公式 (6.15),(6.16) の証明----/--/--0--
6.7(基本) www有効なカーネルの公式 (6.17),(6.18) の証明----/--/--0--
6.11(基本)ガウスカーネルが無限次元の特徴ベクトルの内積で表されることの証明----/--/--0--
6.12(標準) www集合におけるカーネル関数----/--/--0--
6.17(標準) www変分法を用いたNadaraya-Watsonモデルの定式化----/--/--0--
6.18(基本)ガウス基底を持つNadaraya-Watsonモデル----/--/--0--
6.24(基本)成分が正の対角行列は正定値行列である証明----/--/--0--
6.25(基本) wwwガウス過程による分類モデルのニュートン-ラフソン法による逐次更新式----/--/--0見直す
6.26(基本)ガウス過程による分類モデルに対する事後分布----/--/--0--
6.27(難問) - 未着手ガウス過程による分類モデルのラプラス近似による対数尤度関数----/--/--0--
7.2(基本)制約式 (7.5) の右辺の 1 を正数 \gamma で置き換える----/--/--0--
7.3(標準)2つのデータで、超平面は決定可能----/--/--0--
7.4(標準) wwwマージン最大の超平面のマージン----/--/--0--
7.5(標準)マージン最大の超平面のマージン----/--/--0--
7.6(基本)ロジスティック回帰モデルの負の対数尤度----/--/--0--
7.7(基本)SVM回帰モデルの双対問題の導出----/--/--0--
7.8(基本) wwwSVM回帰モデルの訓練データの性質----/--/--0--
7.9(基本)RVM回帰モデルの {\bf w} の事後分布----/--/--0--
7.10(標準) wwwRVM回帰モデルの周辺尤度2021/11/241--
7.11(標準)RVM回帰モデルの周辺尤度----/--/--0---
7.12(標準) wwwRVM回帰モデルの対数周辺尤度の最大化(エビデンス近似)----/--/--0---
7.13(標準)RVM回帰モデルで {\boldsymbol\alpha},\betaの事前分布がガンマ分布の時の事後分布の最大化----/--/--0---
7.14(標準)RVM回帰モデルの予測分布----/--/--0---
7.15(標準) wwwRVM回帰モデルの対数周辺尤度の書き換え----/--/--0---
7.16(基本)RVM回帰モデルの対数周辺尤度の停留点----/--/--0---
8.1(基本) www有向グラフの同時分布の規格化確認----/--/--0--
8.2(基本) www有向閉路----/--/--0--
8.3(標準)条件付き独立の計算----/--/--0--
8.4(標準)同時分布の計算----/--/--0--
8.5(基本) wwwRVMの有向グラフ----/--/--0--
8.8(基本) www条件付き独立----/--/--0--
8.9(基本) wwwマルコフブランケット2021/11/301--
8.10(基本)有向分離----/--/--0--
8.12(基本) www無向グラフの個数----/--/--0--
8.15(標準) www2つの隣接ノード上の同時分布----/--/--0--
8.16(標準)メッセージパッシングアルゴリズム----/--/--0--
8.17(標準)メッセージパッシングアルゴリズム----/--/--0--
8.20(基本) www積和アルゴリズムにおいてメッセージの双方向伝達が可能であることの証明----/--/--0--
8.21(標準) www積和アルゴリズムにおける 1 つの因子に関連する変数集合全体上の周辺分布----/--/--0書き足す。本家も参考にする。
8.23(標準)周辺分布が接続するリンクのメッセージの積で表せることの証明----/--/--0--
8.24(標準)積和アルゴリズムにおける 1 つの因子に関連する変数集合全体上の周辺分布----/--/--0--
8.25(標準)積和アルゴリズムの具体例(図 8.51 )----/--/--0--
8.27(標準)周辺分布 p(x), p(y) を最大する \hat{x},\hat{y} の同時分布が p(\hat{x},\hat{y})=0 となる例----/--/--0--
9.3(基本) www混合ガウスモデルの潜在変数に関する周辺化----/--/--0--
9.4(基本)潜在変数を含むモデルのMステップ----/--/--0--
9.5(基本)混合ガウスモデルの有向グラフ----/--/--0--
9.6(標準)混合要素の共分散行列が制限されている時のEM方程式----/--/--0--
9.7(基本) www混合ガウスモデルの完全データ対数尤度関数の最大化----/--/--0--
9.8(基本) www混合ガウスモデルの {\boldsymbol\mu}_k のMステップ----/--/--0--
9.9(基本)混合ガウスモデルの {\bf\Sigma}_k,\pi_k のMステップ----/--/--0--
9.10(標準)混合分布の条件付き密度----/--/--0--
9.12(基本) www混合分布の平均と共分散----/--/--0--
9.14(基本)混合ベルヌーイモデルの潜在変数に関する周辺化----/--/--0--
9.15(基本) www混合ベルヌーイモデルの {\boldsymbol\mu}_k のMステップ----/--/--0--
9.16(基本)混合ベルヌーイモデルの \pi_k のMステップ----/--/--0--
9.20(基本) wwwベイズ線形回帰モデルの \alpha のMステップ----/--/--0--
9.21(標準)ベイズ線形回帰モデルの \beta のMステップ----/--/--0--
9.22(標準)RVM回帰モデルのMステップ2021/11/301--
9.23(標準) wwwRVM回帰モデルの2つの異なる手法による更新式が等価であることの証明2021/11/301--
9.24(基本)対数尤度の分解----/--/--0--
9.25(基本) www対数尤度と下界の勾配----/--/--0--
10.1(基本) www対数周辺尤度の分解----/--/--0--
10.2(基本)近似された因子分布の平均----/--/--0--
10.6(標準)\alpha ダイバージェンス----/--/--0--
10.7(標準) www1変数ガウス分布の変分近似----/--/--0--
10.9(標準)1変数ガウス分布の精度の変分事後分布の期待値の逆数----/--/--0--
10.10(基本) wwwモデルの事後分布の近似分解----/--/--0--
10.12(標準)ベイズ混合ガウス分布{\bf Z} の変分事後分布----/--/--0--
10.13(標準) wwwベイズ混合ガウス分布{\boldsymbol\mu}_k{\bf\Lambda}_k の変分事後分布----/--/--0--
10.14(標準)ベイズ混合ガウス分布{\boldsymbol\mu}_k{\bf\Lambda}_k の変分事後分布に関する期待値----/--/--0--
10.15(基本)変分混合ガウス分布の混合係数の期待値----/--/--0--
10.16(標準) www変分ガウス混合モデルの下界----/--/--0--
10.17(難問)変分ガウス混合モデルの下界----/--/--0--
10.18(難問) - 未着手----/--/--0--
10.21(基本)混合モデルの同値なパラメータの設定数----/--/--0--
10.26(難問) - 着手中エビデンス近似に \beta も含めた変分近似----/--/--0--
12.1(標準) www一般の M,D における分散最大化による主成分分析の定式化----/--/--0--
12.2(標準)一般の M,D における誤差最小化による主成分分析の定式化----/--/--0--
12.3(基本)(12.30)固有ベクトルの規格化確認----/--/--0--
12.8(標準) www確率的主成分分析モデルの事後分布 p({\bf z}|{\bf x}) の導出----/--/--0--
12.9(基本)確率的主成分分析モデルの {\boldsymbol\mu}_{\rm ML}----/--/--0--
12.10(標準)確率的主成分分析モデルの {\boldsymbol\mu}_{\rm ML} が最大値を与える証明----/--/--0--
12.15(標準) www確率的主成分分析モデルの {\bf W},\ \sigma^2 のMステップ----/--/--0--
12.16(難問) - 未着手欠損データにおける確率的主成分分析のEMアルゴリズム----/--/--0--
12.18(基本)因子分析モデルの独立なパラメータ数----/--/--0--
12.20(標準)因子分析モデルの {\boldsymbol\mu}_{\rm ML}{\boldsymbol\mu}_{\rm ML} が最大値を与える証明----/--/--0--
12.21(標準)因子分析モデルの p({\bf z}|{\bf x}) とEステップ----/--/--0--
12.22(標準)因子分析モデルの対数尤度関数の期待値とMステップ----/--/--0--
12.23(基本) www混合確率的主成分分析モデルの有向グラフ----/--/--0--
12.24(難問) - 未着手スチューデント t 分布のEMアルゴリズム----/--/--0--
13.1(基本) wwwマルコフモデルの条件付き独立性----/--/--0--
13.2(標準)マルコフモデルの条件付き独立性----/--/--0--
13.3(基本)状態空間モデルの p({\bf x}_1,\ldots,{\bf x}_N)マルコフ性を持たないことの証明----/--/--0--
13.5(標準)HMMの {\boldsymbol\pi},{\bf A} のMステップ----/--/--0--
13.7(基本)ガウス出力密度をもつHMMの {\boldsymbol\mu},{\bf\Sigma} のMステップ----/--/--0--
13.9(標準) www有向分離基準を用いたHMMの条件付き独立性の証明----/--/--0--
13.10(難問) - 未着手確率の加法・乗法定理を用いたHMMの条件付き独立性の証明----/--/--0--
13.13(標準) wwwHMMの積和アルゴリズム\alpha メッセージ----/--/--0丁寧に書く
13.14(標準)HMMの積和アルゴリズム\beta メッセージ----/--/--0丁寧に書く
13.15(標準)HMMのスケーリングを施した周辺確率 \gamma({\bf z}_n),\ \xi({\bf z}_{n-1},{\bf z}_n)----/--/--0--
13.16(難問) - 着手中Viterbiアルゴリズムフォワードメッセージパッシングの導出----/--/--0--
13.18(難問) - 未着手input-output HMMのフォワードーバックワードアルゴリズム再帰式の導出----/--/--0--
13.20(標準) wwwLDSの p({\bf z}_n)----/--/--0
13.32(標準) wwwLDSの {\boldsymbol\mu}_0,{\bf P}_0 のMステップ----/--/--0
13.33(標準)LDSの {\bf A},{\bf\Gamma} のMステップ----/--/--0
13.34(標準)LDSの {\bf C},{\bf\Sigma} のMステップ----/--/--0

回転行列をオイラー角に変換

X,Y,Z軸回りの回転行列

まず基本的なことを確認しておきます。
X,Y,Z軸回りの行列を {\bf R}_x,{\bf R}_y,{\bf R}_z とすると、以下のようになります。

\begin{eqnarray}
&&{\bf R}_x(\theta)=
\begin{pmatrix}
1 & 0 & 0\\
0 & \cos\theta & -\sin\theta\\
0 & \sin\theta & \cos\theta
\end{pmatrix}\tag{1}\\
&&{\bf R}_y(\theta)=
\begin{pmatrix}
\cos\theta & 0 & \sin\theta\\
0 & 1 & 0\\
\sin\theta & 0 & \cos\theta
\end{pmatrix}\tag{2}\\
&&{\bf R}_z(\theta)=
\begin{pmatrix}
\cos\theta &  -\sin\theta & 0\\
\sin\theta &  \cos\theta & 0\\
0 & 0 & 1
\end{pmatrix}\tag{3}
\end{eqnarray}

オイラー角とは

3つの角度と回転軸の種類でオイラー角は定義されます。
X,Y,Z軸回りの回転角度をそれぞれ \theta_x,\ \theta_y,\ \theta_z とします。
例えば、種類がXYZの場合、オイラー角の表す回転行列は以下のようになります。

\begin{eqnarray}
{\bf R}_{xyz} = {\bf R}_z(\theta_z){\bf R}_y(\theta_y){\bf R}_x(\theta_x) = 
\begin{pmatrix}
  \cos\theta_{y}\cos\theta_{z} & \sin\theta_{x}\sin\theta_{y}\cos\theta_{z} - \cos\theta_{x}\sin\theta_{z} & \cos\theta_{x}\sin\theta_{y}\cos\theta_{z} + \sin\theta_{x}\sin\theta_{z} \\
  \cos\theta_{y}\sin\theta_{z} & \sin\theta_{x}\sin\theta_{y}\sin\theta_{z} + \cos\theta_{x}\cos\theta_{z} & \cos\theta_{x}\sin\theta_{y}\sin\theta_{z} -\sin\theta_{x}\cos\theta_{z} \\
  -\sin\theta_{y} & \sin\theta_{x}\cos\theta _{y} & \cos\theta_{x}\cos\theta_{y}
\end{pmatrix}\tag{4}
\end{eqnarray}

注意すべきは、右からXYZになっていることです。
Blenderで確認しましたが、右から掛けているようです。
左からそのままの順番で、{\bf R}_x{\bf R}_y{\bf R}_z とする立場もあるようなので注意が必要です。

回転行列をオイラー角に変換

ここも書こうと思いましたが、参考リンクと同じになるだけなのでやめておきます。
順番がXYZの場合は、参考リンクの「回転行列からオイラー角」の「回転順ZYX」参照してください。

目次へ戻る