回帰モデルから用語を削除する場合

以下が理にかなっている場合、誰でもアドバイスできますか？

4つの予測子を持つ通常の線形モデルを扱っています。最下位の用語を削除するかどうかは、2つの考えに基づいています。それはだ -値が0.05以上少ないです。私はこれらの線に沿ってそれをドロップすることに賛成しました：この用語の推定値に（例えば）この変数のサンプルデータの四分位範囲を掛けると、この用語を維持することがモデル全体に​​及ぼす臨床効果に何らかの意味を与えます。この数は非常に低く、臨床設定で変数を測定するときに変数が取ることができる典型的な日中の値の範囲にほぼ等しいため、臨床的に重要ではないと見なし、したがってより節約的なモデルを提供するためにドロップすることができますドロップすると、調整されたが少し減少します。R $p$$R^2$

節約の願いを理解したことはありません。節約を求めると、統計的推論のすべての側面（回帰係数のバイアス、標準誤差、信頼区間、P値）が破壊されます。変数を保持する正当な理由は、これにより信頼区間およびその他の量の精度が保持されることです。このように考えてください。通常の重回帰では、残差の不偏推定量は2つしか開発されていません。（1）事前に指定された（大きな）モデルからの推定、および（2）見かけ上の（減少した）回帰自由度の自由度（GDF）。GDFは、最終的な「重要な」パラメーターの数よりも候補パラメーターの数にはるかに近くなります。

これを考える別の方法があります。5つの治療を比較するためにANOVAを行い、4 df F検定を取得したとします。次に、何らかの理由で、t検定を使用した処理間のペアワイズの違いを見て、いくつかの処理を結合または削除することにしました（これは、4つのダミー変数でP、AIC、BIC、Cpを使用して段階的な選択を行うことと同じです）。結果の1、2、または3 dfのF検定では、タイプIエラーが増大します。4 dfの元のF検定には、完全な多重度調整が含まれていました。

変数の選択に関するこれらの回答はすべて、変数の観測コストが0であることを前提としています。

そして、それは真実ではありません。

特定のモデルの変数の選択の問題には選択が含まれる場合と含まれない場合がありますが、将来の動作に対する影響には選択が含まれます。

どの大学のラインマンがNFLで最高の成績を収めるかを予測する問題について考えてみましょう。あなたはスカウトです。あなたは、NFLの現在のラインマンのどの資質が彼らの成功を最も予測するかを考慮しなければなりません。500個の数量を測定し、将来必要になる数量の選択タスクを開始します。

あなたは何をするべきか？500個すべてを保持する必要がありますか？いくつか（天文学的な兆候、生まれた曜日）を排除すべきですか？

これは重要な質問であり、学術的ではありません。データの観測にはコストがかかります。費用対効果のフレームワークでは、変数の値が低いため、一部の変数は将来観測する必要がないことが示唆されています。

変数を保持する理由は、少なくとも2つ考えられます。1）OTHER変数のパラメーターに影響します。2）小さいという事実自体が臨床的に興味深い

約1を確認するには、モデル内の変数がある場合とない場合のモデルから、各人の予測値を見ることができます。これら2つの値セットの散布図を作成することをお勧めします。大きな違いがない場合、それはこの理由に対する議論です

2の場合、可能な変数のリストにこの変数が含まれている理由を考えてください。理論に基づいていますか？他の研究では大きな効果サイズが見つかりましたか？

最近の最も一般的なアドバイスは、2つのモデルのAICを取得し、AICの低いモデルを使用することです。したがって、フルモデルの-20のAICがあり、最も弱い予測子を持たないモデルのAICが-20より大きい場合、フルモデルを保持します。一部の人は、差が3未満であれば、より単純な差を維持すると主張するかもしれません。AICが相互に3以内にある場合、BICを使用して「結び付け」を解除できるというアドバイスを好みます。

Rを使用している場合、AICを取得するコマンドは...ですAIC。

ここには、90年代前半からのモデリングに関する教科書があり、重要でない予測子をすべて削除することを提案しています。しかし、これは本当に、予測子がモデルに追加またはモデルから減算する複雑性とは無関係にドロップすることを意味します。また、他の事柄が説明されていることを考慮して、勾配の大きさではなく、説明された変動性が重要であるANOVAについてのみです。AICの使用に関する最新のアドバイスでは、これらの要素を考慮しています。重要ではない場合でも、重要でない予測変数を含める必要があるのには、あらゆる種類の理由があります。たとえば、他の予測変数との相関の問題がある場合がありますが、それは比較的単純な予測変数である場合があります。最も簡単なアドバイスが必要な場合は、AICを使用し、BICを使用して同点を解消し、3の差を平等のウィンドウとして使用します。

このモデルを何に使用していますか？節約は重要な目標ですか？

状況によってはもっとpar約的なモデルが好まれますが、par約自体が良いことだとは思いません。節約的なモデルはより簡単に理解および伝達でき、節約は過剰適合を防ぐのに役立ちますが、多くの場合、これらの問題は大きな懸念ではないか、別の方法で対処できます。

逆方向からアプローチし、回帰式に追加の項を含めると、追加の項自体が重要ではなく、モデルの適合性があまり改善されない場合でも、いくつかの利点があります。は制御する重要な変数ですが、他の変数もそうです。もちろん、変数を除外する他の非常に重要な実質的な理由があります。たとえば、結果によって引き起こされる可能性があります。

あなたの言葉遣いから、それはあなたがその予測値が低いので、あなたが最後の予測子を落とす傾向があるかのように聞こえます。その予測変数の大幅な変更は、応答変数の大幅な変更を意味しません。その場合、予測子を含める/ドロップするためのこの基準が好きです。これは、AICまたはBICよりも実際的な現実に基づいており、この調査の対象者に説明しやすいものです。