分類および回帰木の背後にある数学

13

誰でもCARTの分類の背後にある数学のいくつかを説明できますか？2つの主要な段階がどのように発生するかを理解したいと思っています。たとえば、データセットでCART分類器をトレーニングし、テストデータセットを使用してその予測パフォーマンスをマークしましたが、

ツリーの初期ルートはどのように選択されますか？
各ブランチはなぜ、どのように形成されますか？

15列23クラスの40万件のレコードであるデータセットは、混同マトリックスから100％の精度を達成します。データセットで10倍の交差検証を使用します。誰かがCART分類の段階を説明するのを手伝ってもらえたら本当にうれしいです。

— G Gr
ソース

23

CARTおよびアルゴリズムのような決定木は、特定のターゲットクラスに対して可能な限り純粋なサブセットを取得するために、トレーニングセットの再帰的なパーティション分割を通じて機能します。ツリーの各ノードは、特定のテストセットによって分割された特定のレコードセット関連付けられています。例えば、連続的な属性で分割試験することによって誘導することができる。レコードのセットは、ツリーの左ブランチと右ブランチにつながる2つのサブセットに分割されます。 $T$ $A$ $A \le x$ $T$

$T_l = \{ t \in T: t(A) \le x \}$

そして

$T_r = \{ t \in T: t(A) > x \}$

同様に、カテゴリフィーチャを使用して、その値に応じて分割を誘導できます。たとえば、各ブランチはテストによって誘導されます。 $B$ $B = \{b_1, \dots, b_k\}$ $i$ $B = b_i$ 。

決定木を誘導する再帰アルゴリズムの除算ステップでは、各機能のすべての可能な分割を考慮し、選択した品質尺度（分割基準）に従って最適な分割を見つけようとします。データセットが次のスキームで誘導される場合

A_{1}, \dots, A_{m}, C

$A_1, \dots, A_m, C$

ここで、は属性で、はターゲットクラスです。すべての候補の分割が生成され、分割基準によって評価されます。上記のように、連続属性とカテゴリ属性の分割が生成されます。最適なスプリットの選択は、通常、不純物測定によって実行されます。親ノードの不純物は、分割によって減少する必要があります。してみましょうレコードのセットに誘導し、分割すること不純物対策の使用になり分割基準、です。 $A_j$ $C$ $(E_1, E_2, \dots, E_k)$ $E$ $I(\cdot)$

△ = 私 （ E ） - \sum_{私 = 1}^{k} \frac{| E_{私} |}{| E |} 私 （ E_{私} ）

$\Delta = I(E) - \sum_{i=1}^{k}\frac{|E_i|}{|E|}I(E_i)$

標準的な不純物の尺度は、シャノンエントロピーまたはジニ指数です。より具体的には、CARTは次のようにセットに対して定義されているGiniインデックスを使用します。みましょうレコードの割合もクラスの $E$ $p_j$ $E$ $c_j$ 次いで、

p_{j} = \frac{| {t \in E ： t [C] = c_{j}} |}{| E |}

$p_j = \frac{|\{t \in E:t[C] = c_j\}|}{|E|}$

G 私 n 私 （ E ） = 1 - \sum_{j = 1}^{Q} p_{j}^{2}

$\mathit{Gini}(E) = 1 - \sum_{j=1}^{Q}p_j^2$

Q

$Q$ クラスの数です。

すべてのレコードが同じクラスに属している場合、不純物が0になります。

例として、我々は記録のバイナリクラス設定されていることを言わせてクラス分布がどこにあるか -以下は、のために良い分割である $T$ $(1/2, 1/2)$ $T$

良い分割

$T_l$ $(1,0)$ $T_r$ $(0,1)$ $T_l$ $T_r$ $|T_l|/|T| = |T_r|/|T| = 1/2$ $\Delta$

△ = 1 - 1 / 2^{2} - 1 / 2^{2} - 0 - 0 = 1 / 2

$\Delta = 1 - 1/2^2 - 1/2^2 - 0 - 0 = 1/2$

$\Delta$ 悪い分割

△ = 1 - 1 / 2^{2} - 1 / 2^{2} - 1 / 2 （ 1 - （ 3 / 4 ）^{2} - （ 1 / 4 ）^{2} ） - 1 / 2 （ 1 - （ 1 / 4 ）^{2} - （ 3 / 4 ）^{2} ） = 1 / 2 - 1 / 2 （ 3 / 8 ） - 1 / 2 （ 3 / 8 ） = 1 / 8

$\Delta = 1 - 1/2^2 - 1/2^2 - 1/2 \bigg( 1 - (3/4)^2 - (1/4)^2 \bigg) - 1/2 \bigg( 1 - (1/4)^2 - (3/4)^2 \bigg) = 1/2 - 1/2(3/8) - 1/2(3/8) = 1/8$

最初の分割が最適な分割として選択され、アルゴリズムが再帰的に進行します。

決定木を使用して新しいインスタンスを分類するのは簡単です。実際、ルートノードからリーフへのパスをたどれば十分です。レコードは、到達する葉の過半数クラスで分類されます。

この図の正方形を分類したいとします

2つのフィーチャデータセット

$A,B,C$ $C$ $A$ $B$

誘導された決定木としては、次のものが考えられます。ここに画像の説明を入力してください

レコードが円でラベル付けされた葉の上にある場合、レコードの正方形は決定ツリーによって円として分類されることは明らかです。

このおもちゃの例では、レコードがツリーによって誤分類されないため、トレーニングセットの精度は100％です。上記のトレーニングセットのグラフィック表示では、ツリーが新しいインスタンスを分類するために使用する境界（灰色の破線）を確認できます。

決定木に関する多くの文献がありますが、大ざっぱな紹介文を書き留めたかっただけです。もう1つの有名な実装はC4.5です。

— シモーネ
ソース

1

素晴らしい図！

— Cam.Davidson.Pilon

ありがとう、残念ながら、エディターはPDF形式でのアップロードをサポートしていないようです。それらはベクトルでした。

— シモーネ

2

私はCARTの専門家ではありませんが、オンラインで無料で入手できる「統計学習の要素」という本を試すことができます（CARTについては第9章を参照）。この本は、CARTアルゴリズムの作成者の1人（Friedman）によって書かれたと思います。

— ビット単位
ソース

それはたくさん助けました！+1ブリリアントファインド！

— G Gr

@GarrithGraham問題ありません、この無料の本は「よく知られた秘密」だと思いました。

— ビット単位