相互作用は回帰のコンテキストでのみ有用ですか？

私は常に、回帰という文脈で相互作用という用語を読みました。また、knnやsvmなどの異なるモデルとの相互作用も考慮する必要がありますか？

ある場合は、またはさらに多くの機能をしてすることができます言う便利な相互作用を見つけるための通常の方法は何か観測を？すべての組み合わせを試しますか？または、意味のある組み合わせのみを使用しますか？100 $50$$100$$1000$

式には相互作用自体が含まれていないため、回帰モデルでは相互作用が明示的に必要です。より正確には、回帰モデルは常に入力で線形になりますが、相互作用は特徴の非線形の組み合わせです。$X_i * X_j$

これを確認する最も簡単な方法は、XOR-Problemを使用することです。相互作用のない回帰モデルでは、非線形の組み合わせが必要であるため、これを解決できません。

一方、KNNとSVM（および他の多くのモデル）は、汎用関数近似器です。つまり、入力を線形的に組み合わせるだけでなく、可能な非線形の方法でも組み合わせることができます。十分なレイヤーまたは適切なカーネルが与えられれば、基本的に、必要なときに自分の相互作用を「作成」できます。ただし、特定の相互作用が重要であることがわかっている、または予期している場合でも、それらを入力として使用して、モデルを正しい方向に導くことができます。

同様に、ツリーベースのモデルは、相互作用のみで構成されると解釈できます。基本的に、ツリーベースのモデルの分割は、以前のすべての変数との特定の相互作用を作成します。

したがって、どの相互作用を使用するかを決定するために、十分に「強力な」モデル（つまり、汎用関数近似器であるもの）では、それらを必要とせず、モデルに独自の魔法をかけることができます。他のモデルでは異なります。CHAIDや段階的回帰など、決定を導くために利用できるいくつかの手法があります。CHAIDは多数の機能でも機能します。段階的な回帰の場合、可能な相互作用の数が失われる可能性があります。あなたが持っている場合ことを考えると特徴がある（双方向だけでなく、より高次の相互作用だけでなく、を数える）の相互作用の可能性が。2 $N$$2^N$

番号。

実際、多項式カーネルを備えたSVMは、すべての機能間のすべての（高次）相互作用を追加していると考えることができます。たとえば、2つの機能場合、2次多項式のSVMはます。（x 2 1、x 2 2、x 1 x 2$(x_1,x_2)$$(x_1^2,x_2^2,x_1x_2)$

SVMはカーネルトリックと呼ばれます。これは、計算の複雑さが大幅に軽減され、暗黙的に多項式基底展開が行われるためです。10個のフィーチャの10次多項式展開について考えます。手動で展開すると、列になります。しかし、カーネルトリックを使用すると、簡単に実行できます。$10^{10}$

そのため、相互作用だけが他のモデルで広く使用されています。インタラクションに追加することで、他のモデルは機能エンジニアリングでより多くを試みます。2つの列の乗算の代わりに、より複雑な特徴が導出されます。

調整済みR二乗を改善する相互作用、尤度回帰のBIC（代替としてAICcなど）、VIF、およびANOVAのF統計。後者は、部分確率を使用して非寄与と判断される個々のパラメーターなし。

また、質問ではありませんが非常に重要なのは、再パラメーター化により、個々の変数の影響とそれらの相互作用の両方を著しく改善できることです。ただし、BIC、AIC、およびその他の可能性の品質測定は、調整されたR二乗、VIF、およびそのような目的のためのANOVAのF統計を残して、さまざまな再弁別を比較するために有効ではありません。