機械学習基礎理論独習

誤りがあればご指摘いただけると幸いです。数式が整うまで少し時間かかります。リンクフリーです。

勉強ログです。リンクフリーです
目次へ戻る

線形代数

2次形式の最大値、最小値

2次形式の最大値、最小値 対象行列に対する単位ベクトルに対する2次形式を考えます。 ※ベクトルが単位ベクトルでないと、いくらでも2次形式の値を大きく(小さく)できるため、を単位ベクトルで考えているのだと思います。 の固有値をとし、対応する単位固有ベ…

固有値と固有ベクトル

対象行列 に対して、となる を固有値と呼び、 を固有ベクトルと呼びます。 式 は次のように書き直せます。これは に関する連立1次方程式であり、これが の解を持つのは、 係数行列の行列式が になることです。 すなわち、です。これを固有方程式と呼びます。…

ラグランジュの未定乗数法 - 等式制約

1つの等式制約 変数の関数の最大値、最小値は、に制約がなければ、を解いて得られます。に制約がある場合は、ラグランジュ乗数を導入したを考え、これをで微分してとおきます。式と式を連立させて解けば、とを定めることができます。 この解法をラグランジュ…

最小2次近似

最小2次近似の定義 本のベクトルの正規直交系 に対しては、ベクトル を式 のように展開できるとは限りません。しかし、が最小になるように展開係数 を定めることができます。 そのような係数による展開を最小2次近似といいます。 係数の導出 式 は次のように…

基底による展開

正規直交系と正規直交基底 ベクトルの組は、各々が単位ベクトルであり、互いに直交するとき、すなわち、のとき、正規直交系であるといいます。 のはクロネッカーのデルタ(のとき、のときをとる記号)です。任意のベクトルが本のベクトルの線形結合によって一…

1次形式と2次形式と双1次形式

1次形式 定数ベクトルと変数ベクトルに対して、をの1次形式と呼びます。 をで微分すると、次のようになります。これはベクトルの形で次のように書けます。 2次形式 定数の対象行列と変数ベクトルに対して、をの2次形式と呼びます。を対象行列と限定するのは…

内積とノルム

内積 ベクトル の内積 を次のように定義します。これは次の性質を持ちます。 (i) 対称性 (ii) 線形性 は任意の実数 (iii) 等号はの時のみ 正値性 ノルム ベクトル のノルム を次のように定義します。ノルムが1のベクトルを単位ベクトルといいます。 ノルムは…

線形写像と行列

線形写像 次元空間 から 次元空間 への写像 が線形写像であるとは、 任意の と任意の実数 に対して、となることです。線形写像 によってベクトル がベクトル に対応するとします。 ベクトル は成分 を縦に並べた列ベクトル( と略記)であるとすると、と書けま…

ムーア・ぺンローズ型一般逆行列

ムーア・ぺンローズ型一般逆行列 行列が特異値分解されている時、(ムーア・ペンローズ型)一般逆行列(疑似逆行列)を次の行列と定義します。が正則であれば、これはと一致します。これを以下で証明します。[証明][証明終わり]特異値分解のときのように以下の行…

特異値と特異値分解

特異値 任意の 行列 に対して、となる正数 を特異値と呼び、 次元ベクトル を左特異ベクトル、 次元ベクトル を右特異ベクトル、合わせて特異ベクトルと呼びます。 の第2式の両辺に を左から掛け、第1式の両辺に を左から掛けるととなることが分かります。 …

固有値とスペクトル分解

固有値と固有ベクトル を の対象行列とするとき、となる 組の固有値と呼ぶ実数 と固有ベクトルと呼ぶ でないベクトル が存在します。 個の固有値 は固有方程式と呼ぶ 次方程式の解として与えられます。 そして、固有値に対応する固有ベクトル は正規直交系に…

射影(直交射影)

線形写像 から への線形写像はある 行列 で表されます。 これを定める基本的な方法は、 に1つの正規直交基底 を定め、 それぞれの像 を指定することです。 この時、 は次のように書けます。 は超大事です。今後多用します。実際、 に を掛けると となります…

2次関数の平行移動

2次関数を平行移動すると、1次の項が消すことができます。 以下の関数について考えます。ただし、でとします。だけ平行移動します。を満たすようにを選びます。のは定数ですので、 平行移動により2次関数から1次の項が無くなったことが確認できました。 偉人…

ウッドベリーの公式

ウッドベリーの公式 ウッドベリーの公式は逆行列を求めることのできるとても便利な公式です。で が存在するとき、以下が成り立ちます。以下証明です。 偉人の名言 「これをやりにおれは生まれてきた」と思えることだけを考えていればよい。 ヘミングウェイ …

点と平面の距離

点と平面の距離 点から平面に下した垂線との交点との距離を求めます。は平面上の点なのでは符号付距離なので絶対値を付けます。 偉人の名言 失敗を恐れるな。失敗することではなく、低い目標を掲げることが罪である。 大きな挑戦では、失敗さえも輝きとなる…

目次へ戻る