重回帰の変数の数を減らす

時間の経過に伴うインデックスファンドの動作を予測するために重回帰で使用できる数百の金融変数の値で構成される大きなデータセットがあります。できるだけ多くの予測力を維持しながら、変数の数を10程度に減らしたいと思います。 追加：元の変数の経済的意味を維持するために、削減された変数のセットは元の変数セットのサブセットである必要があります。したがって、たとえば、私は元の変数の線形結合または集計に終わるべきではありません。

これを行う方法についてのいくつかの（おそらくナイーブな）考え：

1. 各変数を使用して単純な線形回帰を実行し、値が最大の10を選択します。もちろん、組み合わされた10個の最良の個々の変数が10個の最良のグループになるという保証はありません。$R^2$
2. 主成分分析を実行し、最初のいくつかの主軸との関連が最も大きい10個の元の変数を見つけようとします。

変数は実際にはネストされていないため、階層回帰を実行できないと思います。組み合わせが多すぎるため、10個の変数の可能なすべての組み合わせを試すことは、計算上実行不可能です。

重回帰で変数の数を減らすというこの問題に取り組むための標準的なアプローチはありますか？

これは、標準的なアプローチがあるという十分に一般的な問題であるように思われます。

非常に役立つ答えは、標準的な方法に言及しているだけでなく、それがどのようにそしてなぜ機能するかの概要も提供するものでしょう。または、標準的なアプローチが1つではなく、長所と短所が異なる複数のアプローチがある場合、非常に役立つ答えは、長所と短所を説明するものです。

以下のwhuberのコメントは、最後の段落の要求が広すぎることを示しています。代わりに、主なアプローチのリストを、おそらくそれぞれの非常に簡単な説明とともに、良い答えとして受け入れます。条件が決まったら、自分の詳細を掘り下げることができます。

この問題は通常サブセット選択と呼ばれ、かなり多くの異なるアプローチがあります。関連記事の概要については、 Google Scholarをご覧ください。

方法1は機能しません。方法2は、方法に応じて希望があります。説明された分散の降順で主成分を入力することをお勧めします。より解釈可能なアプローチは、変数クラスタリングを実行し、各クラスターを（Yを使用せずに）単一のスコアに減らし、モデルをクラスタースコアで近似することです。

Rによるデータマイニングの第5章で、著者は最も有用な予測子を選択するいくつかの方法を示しています。（バイオインフォマティクスのコンテキストでは、各サンプル行には12,000以上の列があります！）

彼はまず、統計的分布に基づいていくつかのフィルターを使用します。たとえば、すべて同じような平均とsdを持つ6ダースの予測子がある場合、それらの1つを保持するだけで問題を回避できます。

次に、ランダムフォレストを使用して、どのフォレストが最も有用な予測子であるかを見つける方法を示します。これは自己完結型の抽象的な例です。良い予測変数が5つ、悪い予測変数が5つあることがわかります。コードは、ベスト3を維持する方法を示しています。

set.seed(99)

d=data.frame(
  y=c(1:20),
  x1=log(c(1:20)),
  x2=sample(1:100,20),
  x3=c(1:20)*c(11:30),
  x4=runif(20),
  x5=-c(1:20),
  x6=rnorm(20),
  x7=c(1:20),
  x8=rnorm(20,mean=100,sd=20),
  x9=jitter(c(1:20)),
  x10=jitter(rep(3.14,20))
  )

library(randomForest)
rf=randomForest(y~.,d,importance=T)
print(importance(rf))
#         %IncMSE IncNodePurity
# x1  12.19922383    130.094641
# x2  -1.90923082      6.455262
# ...

i=importance(rf)
best3=rownames(i)[order(i[,"%IncMSE"],decreasing=T)[1:3]]
print(best3)
#[1] "x1" "x5" "x9"

reduced_dataset=d[,c(best3,'y')]

著者の最後のアプローチは、階層的クラスタリングアルゴリズムを使用して、類似した予測子をたとえば30グループにクラスター化することです。30の多様な予測子が必要な場合は、それらの30グループのそれぞれから1つをランダムに選択します。

以下は、上記と同じサンプルデータを使用して、10列のうち3列を選択するコードです。

library(Hmisc)
d_without_answer=d[,names(d)!='y']
vc=varclus(as.matrix(d_without_answer))
print(cutree(vc$hclust,3))
# x1  x2  x3  x4  x5  x6  x7  x8  x9 x10 
#  1   2   1   3   1   1   1   2   1   3 

私のサンプルデータはこのアプローチにまったく適していません。これは、5つの優れた予測子と5つが単なるノイズであるためです。すべての10個の予測をわずかに相関していた場合y、および（金融ドメイン内に十分に可能である）を一緒に使用する場合であっても良くあることのチャンスがあったが、これは良いアプローチかもしれません。

LASSOのような、パラメーターのベクトルの1つのノルムを最小化するソリューションを選択して最小二乗を正則化する方法の使用を検討する場合があります。これは、パラメーターベクトルの非ゼロエントリの数を最小限に抑える効果があることがわかります。LASSOは一部の統計界で人気がありますが、圧縮センシングの世界では他の多くの関連する方法が検討されています。