最小二乗法の復習 個のデータが与えられています。 で、と表します。線形回帰モデルは以下のよう表されるとします。ただし、です。 また、を以下のようにおきます。この時、目的関数を以下のように定義します。目的関数を最小化したをと表すととなります。 …

正則化 目的関数に正則化項を加えることにより、過学習を防ぐことができます。 一般的な正則化項を用いて目的関数を表してみます。(1)において、の時をラッソ回帰、の時をリッジ回帰というのでした。 異なるの値に対する正則化関数のグラフを示します。 正則…