決定木とは

この記事では決定木に関する用語などを説明します。

決定木とは木構造のモデルのことであり、
特に分類問題で用いられる決定木は分類木と呼ばれ、回帰問題で用いられる決定木は回帰木と呼ばれます。

分類木

例を挙げて説明します。
N組の学習データ $({\bf x}_1,y_1),\ldots,({\bf x}_N,y_N)$ が与えれているとします。
${\bf x}_i\in\mathbb{R}^2$ であるとします。
3クラスあると想定し、 ${\bf C}=\{c_1, c_2,c_3\}$ として $y_i\in{\bf C}$ のようにクラスが与えられているとします。
この時、分類木では以下の図のように分類できます。

f:id:olj611:20210304094934p:plain f:id:olj611:20210304095604p:plain

$x_1<\theta_1$ を満たすデータは $c_1$ であり、
$x_2\geq\theta_1$ かつ $x_2<\theta_2$ を満たすデータは $c_2$ であり、
$x_1\geq\theta_1$ かつ $x_2\geq\theta_2$ を満たすデータは $c_3$ であることを表しています。