変数は線形回帰モデルで重要ですか？

サンプルと変数の観測を含む線形回帰モデルがあり、知りたいです。

1. 特定の変数がモデルに含まれたままになるのに十分重要であるかどうか。
2. 別の変数（観測値付き）をモデルに含める必要があるかどうか。

どの統計が役立ちますか？どうすれば最も効率的に取得できますか？

通常、統計的有意性は、変数をモデルに含める必要があるかどうかを判断するための適切な基準ではありません。統計的検定は、変数を選択するのではなく、仮説を検定するために設計されました。多くの教科書が統計的検定を使用した変数選択について論じていることを知っていますが、これは一般に悪いアプローチです。理由のいくつかについては、ハレルの本「回帰モデリング戦略」を参照してください。最近では、AIC（または類似のもの）に基づく変数選択が通常推奨されます。

私はロブのコメントに2番目です。ますます好まれる代替案は、すべての変数を含めてそれらを0に向かって縮小することです。Tibshirani、R.（1996）を参照してください。なげなわによる回帰収縮と選択。

http://www-stat.stanford.edu/~tibs/lasso/lasso.pdf

パート1では、F検定を探しています。各モデルフィットから残差二乗和を計算し、F統計を計算します。これを使用して、F分布または自分で生成したその他のnull分布からp値を見つけることができます。

ロブの答えに対する別の投票。

「相対的に重要な」文献にはいくつかの興味深いアイデアもあります。この研究は、多数の候補予測子のそれぞれにどの程度の重要性が関連付けられているかを判断する方法を開発します。ベイジアンとフリークエンティストの方法があります。引用とコードについては、Rの「relaimpo」パッケージを確認してください。

私もロブの答えが好きです。また、RではなくSASを使用する場合は、PROC GLMで実行されるモデルにPROC GLMSELECTを使用できますが、他の一部のモデルでも同様に機能します。見る

FlomとCassellは、さまざまなグループで発表されました。最近では、NESUG 2009で発表されています。