相互作用の深さはGBMで何を意味しますか？

30

Rのgbmの相互作用の深さパラメーターについて質問がありました。これはnoobの質問かもしれませんが、謝罪しますが、ツリーの末端ノードの数を示すと思われるパラメーターは、基本的にX-wayを示します予測子間の相互作用？仕組みを理解しようとしています。さらに、2つの異なる変数が単一の因子に結合されている場合を除き、同じデータセットに対して2つの異なる因子変数を含むデータセットがある場合、かなり異なるモデルが得られます（たとえば、因子1のXレベル、因子2のYレベルX * Y係数）。後者は前者よりもかなり予測可能です。相互作用の深さが増すとこの関係が生まれると考えていました。

r machine-learning boosting gbm

— トーマス
ソース

22

前の答えは両方とも間違っています。パッケージGBMは、interaction.depthパラメータをツリーで実行する必要がある分割の数として使用します（単一ノードから開始）。各分割により、ノードの合計数が3増加し、端末ノードの数が2増加するため（ノード {左ノード、右ノード、NAノード}）、ツリー内のノードの合計数はなり、終端ノードの数。これは、関数の出力を見て確認できます。 $\to$ $3*N+1$ $2*N+1$ pretty.gbm.tree

ユーザーは実際に深さが結果のツリーの深さであることを期待しているため、動作はかなり誤解を招きます。そうではない。

— ランダム
ソース

ここでNとは何ですか：多数のノード、interaction.depthまたは他の何か？

— ジュリアン

これは、単一のノード（相互作用の深さ）から開始する多数の分割です。

— ランダム

1

各分割は、端末ノードの総数を1だけ増やすと思うので、ツリーに1つの分割のみがあり、2つの端末ノードがある場合、前の端末ノードの1つで分割を実行し、3つの端末今ノード。増分は1です。これは正しいですか、何か誤解していませんか？

— リリーロング

1

@LilyLongすぐにはわかりませんが、gbmは実際にはノードを3つに分割し、3番目の子グループNA値（つまり、指定された値と直接比較できないもの）をグループ化します。つまり、各分割により、ノードの数が2つ増えます。パッケージは、この3番目の子の作成を避けるために最後に使用してから進化した可能性があるため、pretty.gbm.tree関数を実行して、これを再確認してください。

— ランダム

2

Rのgbmの相互作用の深さパラメーターについて質問がありました。これはnoobの質問かもしれませんが、謝罪しますが、ツリーの末端ノードの数を示すと思われるパラメーターは、基本的にX-wayを示します予測子間の相互作用？

interact.depthとターミナルノードの数の間のリンク

1つinteraction.depthは、分割ノードの数と見なされます。interaction.depthkにおける固定がk + 1つのを有するノードになり 、端末ノード我々は持っているので、（NAノードを省略）：

私 n t e r a c t 私 o n 。 d e p t h = ＃ {T e r m 私 n a l N o d e s} + 1

$interaction.depth=\#\{Terminal Nodes\}+1$

interact.depthと相互作用順序の間のリンク

interaction.depth相互作用の順序との間のリンクはより退屈です。

interact.depthで推論する代わりに、Jと呼ばれる末端ノードの数で推論しましょう。

例： J = 4ターミナルノード（interaction.depth = 3）があるとします。

ルートで最初の分割を行い、次にルートの左ノードで2番目の分割を行い、ルートの右ノードで3番目の分割を行います。このツリーの相互作用の順序は2になります。
ルートで最初の分割を行い、次にルートの左（それぞれ右）ノードで2番目の分割を行い、この左（それぞれ右）ノードで3番目の分割を行います。このツリーの相互作用の順序は3です。

P \leq m 私 n （ J - 1 、 n ）

$P\leq min(J-1,n)$

— エティエンヌ・キンツラー
ソース

1

前の答えは正しくありません。

切り株は、interaction.depthが1になります（2つの葉があります）。ただし、interaction.depth = 2は3つのリーフを提供します。

だから：NumberOfLeaves = interact.depth + 1

— アレクセイゴール
ソース

0

実際、前の答えは間違っています。

\begin{aligned} N & = 2^{（ K + 1 ）} - 1 \\ L & = 2^{K} \end{aligned}

$\begin{align*} N &= 2^{(K+1)} - 1\\ L &= 2^K \end{align*}$

$2^k$

N = \sum_{k = 0}^{K} 2^{k} ）

$N = \sum_{k=0}^K 2^k)$

次と同等です：

N = 2^{（ K + 1 ）} - 1

$N = 2^{(K+1)} - 1$

— マリオン・アゾライ
ソース

0

あなたが試すことができます

テーブル= 1））

一意の予測値が2つしかないことを確認してください。interact.depth = 2は、3つの異なる予測値を取得します。そして、自分を納得させてください。

— StatPhD
ソース

これが質問にどのように答えるかは明らかではありません。

— マイケルR.チャーニック