2次形式の最大値、最小値

$n\times n$ 対象行列 ${\bf A}$ に対する単位ベクトル ${\bf v}$ に対する2次形式 $\langle{\bf v},{\bf A}{\bf v}\rangle$ を考えます。
※ベクトル ${\bf v}$ が単位ベクトルでないと、いくらでも2次形式 $\langle{\bf v},{\bf A}{\bf v}\rangle$ の値を大きく(小さく)できるため、 ${\bf v}$ を単位ベクトルで考えているのだと思います。
${\bf A}$ の固有値を $\lambda_1\geq\cdots\geq\lambda_n$ とし、対応する単位固有ベクトルの正規直交系を $\{{\bf u}_i\},i=1,\ldots,n$ とします。
任意の単位ベクトル ${\bf v}$ は、 ${\bf v}=\sum_{i=1}^nc_i{\bf u}_i,\sum_{i=1}^nc_i^2=1$ と展開できるから、次のように書き直せます。

$\begin{eqnarray} \langle{\bf v},{\bf A}{\bf v}\rangle&=&\langle\sum_{i=1}^nc_i{\bf u}_i,{\bf A}\sum_{j=1}^nc_j{\bf u}_j\rangle\\ &=&\sum_{i=1}^n\sum_{j=1}^nc_ic_j\langle{\bf u}_i,{\bf A}{\bf u}_j\rangle\\ &=&\sum_{i=1}^n\sum_{j=1}^nc_ic_j\langle{\bf u}_i,\lambda_j{\bf u}_j\rangle\\ &=&\sum_{i=1}^n\sum_{j=1}^nc_ic_j\lambda_j\langle{\bf u}_i,{\bf u}_j\rangle\\ &=&\sum_{i=1}^n\sum_{j=1}^nc_ic_j\lambda_j\delta_{ij}\\ &=&\sum_{i=1}^nc_i^2\lambda_i\\ &=&c_1^2\lambda_1+\cdots+c_n^2\lambda_n\\ &\leq&c_1^2\lambda_1+\cdots+c_n^2\lambda_1\tag{1}\\ &=&\lambda_1(c_1^2+\cdots+c_n^2)\\ &=&\lambda_1\sum_{i=1}^2c_i^2\\ &=&\lambda_1 \end{eqnarray}$

式 $(1)$ で等式が成り立つのは、 $c_1=1,c_2=\cdots=c_n=0$ のとき、すなわち ${\bf v}={\bf u}_1$ のときです。

同様に、式 $(1)$ の不等号の向きを変えた次式も成り立ちます。

$\begin{eqnarray} \langle{\bf v},{\bf A}{\bf v}\rangle&=&\sum_{i=1}^nc_i^2\lambda_i\\ &\geq&\lambda_n\sum_{i=1}^2c_i^2\tag{2}\\ &=&\lambda_n \end{eqnarray}$

式 $(2)$ で等式が成り立つのは、 $c_n=1,c_1=\cdots=c_{n-1}=0$ のとき、すなわち ${\bf v}={\bf u}_n$ のときです。

以上より、対象行列 ${\bf A}$ の単位ベクトル ${\bf v}$ に対する2次形式 $\langle{\bf v},{\bf A}{\bf v}\rangle$ の最大値、最小値は
それぞれ ${\bf A}$ の最大固有値 $\lambda_1$ 、最小固有値 $\lambda_n$ に等しく、
その ${\bf v}$ に対応する単位固有ベクトルは ${\bf u}_1,{\bf u}_n$ です。

$\{{\bf u}_i\}$ に直交する単位ベクトルの2次形式の最大値、最小値

次に、 ${\bf u}_1$ に直交する単位ベクトル ${\bf v}$ を考えます。
${\bf u}_1$ に直交する任意の単位ベクトル ${\bf v}$ は ${\bf v}=\sum_{i=2}^nc_i{\bf u}_i$ と展開できます。
したがって、2次形式 $\langle{\bf v},{\bf A}{\bf v}\rangle$ は次のように書けます。

$\begin{eqnarray} \langle{\bf v},{\bf A}{\bf v}\rangle&=&\langle\sum_{i=2}^nc_i{\bf u}_i,{\bf A}\sum_{j=2}^nc_j{\bf u}_j\rangle\\ &=&\sum_{i=2}^n\sum_{j=2}^nc_ic_j\langle{\bf u}_i,{\bf A}{\bf u}_j\rangle\\ &=&\sum_{i=2}^n\sum_{j=2}^nc_ic_j\langle{\bf u}_i,\lambda_j{\bf u}_j\rangle\\ &=&\sum_{i=2}^n\sum_{j=2}^nc_ic_j\lambda_j\langle{\bf u}_i,{\bf u}_j\rangle\\ &=&\sum_{i=2}^n\sum_{j=2}^nc_ic_j\lambda_j\delta_{ij}\\ &=&\sum_{i=2}^nc_i^2\lambda_i\\ &\leq&\lambda_2\sum_{i=2}^2c_i^2\tag{3}\\ &=&\lambda_2 \end{eqnarray}$

式 $(3)$ で等号が成り立つのは、 $c_2=1,c_3=\cdots=c_n=0$ のとき、すなわち ${\bf v}={\bf u}_2$ のときです。

ゆえに、 ${\bf u}_1$ に直交する単位ベクトル ${\bf v}$ に対して、 $\langle{\bf v},{\bf A}{\bf v}\rangle$ は
2番目に大きい固有値に対する単位固有ベクトル ${\bf v}={\bf u}_2$ のとき、最大値 $\lambda_2$ をとります。

以下、同様に考えて、
${\bf u}_1,\ldots,{\bf u}_{m-1}$ に直交する単位ベクトル ${\bf v}$ に対して、 $\langle{\bf v},{\bf A}{\bf v}\rangle$ は
$m$ 番目に大きい固有値に対する単位固有ベクトル ${\bf v}={\bf u}_m$ のとき、最大値 $\lambda_m$ をとります。
最小値についても同様であり、
${\bf u}_{m+1},\ldots,{\bf u}_n$ に直交する単位ベクトル ${\bf v}$ に対して、 $\langle{\bf v},{\bf A}{\bf v}\rangle$ は
$m$ 番目に小さい固有値に対する単位固有ベクトル ${\bf v}={\bf u}_m$ のとき、最小値 $\lambda_m$ をとります。