多重線形回帰の最小観測数

多重線形回帰を行っています。21の観測値と5つの変数があります。私の目的は、変数間の関係を見つけることです

1. データセットは重回帰を実行するのに十分ですか？

2. t検定の結果、3つの変数が有意ではないことが明らかになりました。重要な変数を使用して回帰を再度実行する必要がありますか（または、最初の回帰で結論を得るには十分ですか）？私の相関行列は次のとおりです

          var 1   var 2    var 3   var 4   var 5     Y
   var 1   1.0     0.0       0.0   -0.1    -0.3    -0.2
   var 2   0.0     1.0       0.4    0.3    -0.4    -0.4
   var 3   0.0     0.4       1.0    0.7    -0.7    -0.6
   var 4  -0.1     0.3       0.7    1.0    -0.7    -0.9
   var 5  -0.3    -0.4      -0.7   -0.7    1.0      0.8
   Y      -0.2    -0.4      -0.6   -0.9    0.8      1.0
   

var 1と​​var 2は継続変数であり、var 3から5はカテゴリー変数であり、yは私の従属変数です。

私の従属変数に対する最も影響力のある要素は私のデータ制限のために私の回帰変数にも含まれていないため、文献で考慮されてきた重要な変数について言及する必要があります。この重要な変数なしで回帰を行うことはまだ意味がありますか？

これが私の信頼区間です

    Varibales   Regression Coefficient  Lower 95% C.L.  Upper 95% C.L.
    Intercept   53.61                       38.46        68.76
    var 1       -0.39                      -0.97         0.19
    var 2       -0.01                      -0.03         0.01
    var 3        5.28                      -2.28         12.84
    var 4       -27.65                     -37.04       -18.26
    **var 5      11.52                      0.90         22.15**

一般的な経験則（Frank Harrellの本 『Regression Modeling Strategies』に基づくもの）は、妥当なパワーで妥当なサイズの効果を検出できると予想される場合、推定されるパラメーター（共変量）あたり10〜20の観測が必要です。Harrellは、PCAなどの「次元削減」（共変量の数をより妥当なサイズに下げる）の多くのオプションについて説明していますが、最も重要なことは、結果に信頼性を持たせるために次元削減を行う必要があることです応答変数を見ることなく。上記で示唆したように、重要な変数のみを使用して再度回帰を行うことは、ほとんどすべての場合において悪い考えです。

ただし、関心のあるデータセットと共変量のセットに悩まされているため、この方法で重回帰を実行することは本質的に間違っているとは思いません。最良のことは、完全なモデルから結果をそのまま受け入れることだと思います（ポイントの推定値と信頼区間を見て、重要な影響が実際に「大きい」と推定されるかどうかを確認することを忘れないでください世界の感覚、および重要でない効果が実際に重要な効果よりも小さいと推定されるかどうか）。

あなたの分野が重要だと考える予測因子なしで分析を行うことが理にかなっているかどうかについては、私にはわかりません。それは、モデルに基づいてどのような推論を行いたいかによって異なります。狭義では、回帰モデルはまだ明確に定義されていますが（「この応答に対するこれらの予測子の限界効果は何ですか？」）、同じ分野の誰かが分析が意味をなさないだけであることを正しく言うかもしれません。持っている予測子が既知の予測子（それが何であれ）と相関していないこと、またはその既知の予測子がデータに対して一定またはほぼ一定であることを知っている場合は、少し役立ちます。少なくとも、次のように言うことができます。よく知られている予測子以外の何かが応答に影響を与えます。

一般的な質問に対する答えは、主な要因が（1）共変量の数（2）推定値と残差の分散であるという多くの要因に依存するということです。小さなサンプルでは、​​0からの差を検出する能力がありません。そのため、回帰パラメーターの推定分散を調べます。回帰に関する私の経験から、5つの変数を持つ21の観測は、変数を除外するのに十分なデータではありません。だから私は変数を捨てるのが速くなく、重要であると思われる変数に夢中になりすぎないでしょう。最良の答えは、より多くのデータが得られるまで待つことです。時々それは言うのは簡単ですが、行うのは難しいです。どの変数が選択されるかを確認するために、ステップワイズ回帰、フォワードおよびバックワード回帰を調べます。共変量が高度に相関している場合、選択されている変数のセットが非常に異なる可能性があります。モデル選択手順をブートストラップすると、データの変化に対する変数選択の感度が明らかになります。共変量の相関行列を計算する必要があります。たぶんフランク・ハレルがこれに対応します。彼は変数選択の本当の専門家です。これらの21のデータポイントのみに基づいて最終的なモデルを選択するべきではないという点で、彼は少なくとも私に同意すると思います。