はじめに 3次ベジェ曲線の最適化を考えていたら、「スカラー値関数の積をベクトルで微分」を計算する機会がありました。 その際計算にてこずったので、計算結果を残すことにしました。 目標は を計算することにします。 単純な関数をベクトルで微分 単純な微…

はじめに 直線探索でタイトルのような微分をする必要があったため、一応別記事にした。 導出 の合成関数 の微分を求める。 の場合で求める。式 の連鎖率は以下の図で考えるとよいです。 の場合は、式 が内積の形になっていることを考慮して以下のように書け…

はじめに まず、機械学習で使うベクトルや行列の微分を使った公式の導出(@Dynikon様の記事)を読んでください。 文章中の はPRMLの式番号です。 以下、公式の導出です。 を で微分します。 の固有値を とします。式 の左辺 を計算します。 を三角化します。式…

定義 ソフトマックス関数はロジスティック回帰やニューラルネットワークで使われます。ソフトマックス関数は ベクトルを受け取って、 ベクトルを返す関数です。 ただし、以下の関係式が成り立ちます。特徴としては ・ ・ などがあります。 シグモイド関数と…

ヘッセ行列の定義 関数のヘッセ行列は以下で定義されます。上記のヘッセ行列の行列式はヘシアンまたはヘッシアンと呼ばれます。 また、ヘッセ行列は対象行列です。 ヘッセ行列をベクトルの微分で表す Matrix calculus- Wikipediaによると、ヘッセ行列はベク…

定義 ベクトルや行列のスカラーについての微分を考える必要があることがあります。以下で、 「ベクトルのスカラーによる微分」、「行列のスカラーの行列による微分」、 「スカラーのベクトルによる微分」、「スカラーの行列による微分」、「ベクトルのベクト…

定義 シグモイド関数はロジスティック回帰やニューラルネットワークで使われます。特徴としては ・0と1に漸近する ・に対して対象である などがあります。 シグモイド関数の微分 シグモイド関数の微分が機械学習ではよく出てくるので、それを以下で示します…

点 から 動かしたときの の増加量は です。テイラーの定理よりとなります。 の2次以上の項を無視すると、となります。ここで、以下のようにおきます。よりは の時に最大となり、 の時に最小となります。よって、勾配ベクトルと同じ方向へ点を動かすと関数値…

等高線 2変数関数を考えます。 平面上で関数値が一定の軌跡を等高線()と呼びます。 例として、のグラフと等高線と以下に示します。 等高線と勾配ベクトルは垂直 点での関数値をとすると、点は上にある。 点の近くにあって、その等高線上にある点を考えます。…