最適化に関する用語 - 機械学習基礎理論独習

数理最適化の用語は散らかっているような気がするので、私が気になるものだけまとめてみたいと思います。

この意味での共役勾配法が、「最適化手法入門」、「これならわかる最適化入門」の共役勾配法と一致するか調べる。

反復ごとに目的関数値が小さくなるようにする方法を降下法とよぶ。

最適化手法入門 p56

最急降下法や共役勾配法のように、関数値と勾配のみを用いる(逆に言うと、ヘッセ行列やその近似行列の情報を用いない)
最適化手法を総称して勾配法と呼ぶ。

最適化手法入門 p60

最急降下法とは、 $-\nabla f({\bf x}_k)$ を探索方向 ${\bf d}_k$ とする解法である。

最適化手法入門 p59

探索方向 ${\bf d}_k$ が決められた後にステップ幅 $\alpha_k$ を適切に調整する操作の事を直線探索と呼ぶ。

最適化手法入門 p57

バックトラッキング（backtracking）は、制約充足問題の解を探索する戦略の一種で、力まかせ探索を改良したもの。「バックトラック」という用語は、アメリカの数学者デリック・ヘンリー・リーマー（英語版）が1950年代に作った造語である。

最適化手法入門