Σの積について - 機械学習基礎理論独習

はじめに

$\Sigma$ の積ってなんかややこしくないですか？ってことで、解説していきます。
以下、 $a_i,b_i\in{\mathbb R}\ (i =1,\ldots,n)$ とします。

$\left(\displaystyle\sum_{i=1}^na_i\right)^2=\displaystyle\sum_{i=1}^na_i^2+2\displaystyle\sum_{1\leq i < j \leq n}a_ia_j$

この式の説明の前に、 $n$ に具体的な数値を代入して、式が成り立つことを確認してみます。
$n=2$ のとき、これが成り立っているか確認してみます。

$\begin{eqnarray} (a_1+a_2)^2&=&(a_1+a_2)(a_1+a_2)\\ &=&a_1a_1+a_1a_2+a_2a_1+a_2a_2\\ &=&a_1^2+a_2^2+2a_1a_2\\ &=&\displaystyle\sum_{i=1}^2a_i^2+2\displaystyle\sum_{1\leq i < j \leq 2}a_ia_j \end{eqnarray}$

$n=3$ のとき、これが成り立っているか確認してみます。

$\begin{eqnarray} (a_1+a_2+a_3)^2&=&(a_1+a_2+a_3)(a_1+a_2+a_3)\\ &=&a_1a_1+a_1a_2+a_1a_3+a_2a_1+a_2a_2+a_2a_3+a_3a_1+a_3a_1+a_3a_2+a_3a_3\\ &=&a_1^2+a_2^2+a_3^3+2a_1a_2+2a_1a_3+2a_2a_3\\ &=&\displaystyle\sum_{i=1}^3a_i^2+2\displaystyle\sum_{1\leq i < j \leq 3}a_ia_j \end{eqnarray}$

では、説明していきます。
左辺 $\left(\displaystyle\sum_{i=1}^na_i\right)^2$ を展開してみます。

$\begin{eqnarray} \left(\displaystyle\sum_{i=1}^na_i\right)^2&=&\left(\displaystyle\sum_{i=1}^na_i\right)\left(\displaystyle\sum_{i=1}^na_i\right)\\ &=&\displaystyle\sum_{i=1}^n\displaystyle\sum_{j=1}^na_ia_j\tag{1}\\ &=&\displaystyle\sum_{i=1}^na_i^2+\displaystyle\sum_{i=1}^n\displaystyle\sum_{j=1,j\not=i}^na_ia_j\\ &=&\displaystyle\sum_{i=1}^na_i^2+2\displaystyle\sum_{i=1}^n\displaystyle\sum_{j=i + 1}^na_ia_j\\ &=&\displaystyle\sum_{i=1}^na_i^2+2\displaystyle\sum_{1\leq i < j \leq n}a_ia_j\\ \end{eqnarray}$

式 $(1)$ は以下の図1の表の中身(赤色で囲った部分)を足し合わせたものになっています。
それを対角成分と対角成分を除いた箇所で分けて和を取ります。
図1
f:id:olj611:20220216190331p:plain:w800

$\left(\displaystyle\sum_{i=1}^na_i\right)\left(\displaystyle\sum_{i=1}^nb_i\right)=\displaystyle\sum_{i=1}^na_ib_i+\displaystyle\sum_{1\leq i \leq n,1\leq j \leq n,i\not=j}a_ib_j$

左辺 $\left(\displaystyle\sum_{i=1}^na_i\right)\left(\displaystyle\sum_{i=1}^nb_i\right)$ を展開します。

$\begin{eqnarray} \left(\displaystyle\sum_{i=1}^na_i\right)\left(\displaystyle\sum_{i=1}^nb_i\right)&=&\sum_{i=1}^n\sum_{j=1}^na_ib_j\tag{2}\\ &=&\sum_{i=1}^na_ib_i+\sum_{i=1}^n\sum_{j=1,j\not=i}^na_ib_j\\ &=&\sum_{i=1}^na_ib_i+\sum_{1\leq i \leq n,1\leq j \leq n,i\not=j}a_ib_j \end{eqnarray}$

式 $(2)$ は以下の図2の表の中身(赤色で囲った部分)を足し合わせたものになっています。
それを対角成分と対角成分を除いた箇所で分けて和を取ります。

図2
f:id:olj611:20220216192829p:plain:w700

結論

総和の積を見やすく分解するとよい。
特に対角成分とそれ以外に分けると見やすい。