重回帰における予測変数の重要性：部分対標準化係数

部分モデルと線形モデルの係数との正確な関係と、因子の重要性と影響を説明するためにどちらか一方のみを使用すべきかどうか疑問に思っています。$R^2$

私が知る限りsummary、係数の推定値を取得しanova、各因子の平方和を取得します-1つの因子の平方和を平方和と残差の合計で割った割合は部分（次のコードはにあります）。$R^2$R

library(car)
mod<-lm(education~income+young+urban,data=Anscombe)
    summary(mod)

Call:
lm(formula = education ~ income + young + urban, data = Anscombe)

Residuals:
    Min      1Q  Median      3Q     Max 
-60.240 -15.738  -1.156  15.883  51.380 

Coefficients:
              Estimate Std. Error t value Pr(>|t|)    
(Intercept) -2.868e+02  6.492e+01  -4.418 5.82e-05 ***
income       8.065e-02  9.299e-03   8.674 2.56e-11 ***
young        8.173e-01  1.598e-01   5.115 5.69e-06 ***
urban       -1.058e-01  3.428e-02  -3.086  0.00339 ** 
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 26.69 on 47 degrees of freedom
Multiple R-squared:  0.6896,    Adjusted R-squared:  0.6698 
F-statistic: 34.81 on 3 and 47 DF,  p-value: 5.337e-12

anova(mod)
Analysis of Variance Table

Response: education
          Df Sum Sq Mean Sq F value    Pr(>F)    
income     1  48087   48087 67.4869 1.219e-10 ***
young      1  19537   19537 27.4192 3.767e-06 ***
urban      1   6787    6787  9.5255  0.003393 ** 
Residuals 47  33489     713                      
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

「若い」（0.8）と「都市」の係​​数のサイズ（-0.1、前者の約1/8、「-」を無視）は、説明された分散（「若い」〜19500と「都市」〜 6790、つまり約1/3）。

そのため、因子の範囲が他の因子の範囲よりもはるかに広い場合、それらの係数を比較するのは難しいと仮定したため、データをスケーリングする必要があると考えました。

Anscombe.sc<-data.frame(scale(Anscombe))
mod<-lm(education~income+young+urban,data=Anscombe.sc)
summary(mod)

Call:
lm(formula = education ~ income + young + urban, data = Anscombe.sc)

Residuals:
     Min       1Q   Median       3Q      Max 
-1.29675 -0.33879 -0.02489  0.34191  1.10602 

Coefficients:
              Estimate Std. Error t value Pr(>|t|)    
(Intercept)  2.084e-16  8.046e-02   0.000  1.00000    
income       9.723e-01  1.121e-01   8.674 2.56e-11 ***
young        4.216e-01  8.242e-02   5.115 5.69e-06 ***
urban       -3.447e-01  1.117e-01  -3.086  0.00339 ** 
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.5746 on 47 degrees of freedom
Multiple R-squared:  0.6896,    Adjusted R-squared:  0.6698 
F-statistic: 34.81 on 3 and 47 DF,  p-value: 5.337e-12

anova(mod)
Analysis of Variance Table

Response: education
          Df  Sum Sq Mean Sq F value    Pr(>F)    
income     1 22.2830 22.2830 67.4869 1.219e-10 ***
young      1  9.0533  9.0533 27.4192 3.767e-06 ***
urban      1  3.1451  3.1451  9.5255  0.003393 ** 
Residuals 47 15.5186  0.3302                      
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1    

ただし、実際には違いはありません。部分的なと係数のサイズ（現在は標準化された係数です）はまだ一致していません。$R^2$

22.3/(22.3+9.1+3.1+15.5)
# income: partial R2 0.446, Coeff 0.97
9.1/(22.3+9.1+3.1+15.5)
# young:  partial R2 0.182, Coeff 0.42
3.1/(22.3+9.1+3.1+15.5)
# urban:  partial R2 0.062, Coeff -0.34

「ヤング」の部分は「アーバン」の3倍なので、「ヤング」は「アーバン」の3倍の分散を説明すると言ってもいいでしょうか。$R^2$「ヤング」の係数が「都市」の係​​数の3倍ではないのはなぜですか（記号を無視）。

この質問の答えは、最初のクエリに対する答えも教えてくれると思います：因子の相対的な重要性を示すために、部分的なまたは係数を使用する必要がありますか？（影響の方向を無視-記号-とりあえず。）$R^2$

編集：

部分イータ2乗は、私が部分と呼んだものの別名です。etasq {heplots}は、同様の結果を生成する便利な関数です。$R^2$

etasq(mod)
          Partial eta^2
income        0.6154918
young         0.3576083
urban         0.1685162
Residuals            NA

要するに、同じ分析では部分的なと標準化された係数の両方を使用しないのは、それらが独立していないからです。通常、標準化された係数を使用して関係を比較する方がモデル定義に容易に関連するため（つまり）、通常はより直感的であると主張します。部分、本質的には、予測変数と従属変数（dv）の間の一意の共有分散の割合です（したがって、最初の予測変数では、部分相関）。さらに、非常に小さな誤差での近似の場合、すべての係数の部分 Y = β X 、R 2 、R 、X 1、Y 。x 2。。。x n R $R^2$$Y = \beta X$$R^2$$r_{x_1y.x_2...x_n}$$R^2$ 1になる傾向があるため、予測子の相対的な重要性を識別するのに役立ちません。

---

エフェクトサイズの定義

• 標準化された係数、 - 標準化された変数（平均= 0、標準偏差= 1）でモデルを推定することから得られた係数。$\beta_{std}$$\beta$

• 部分予測モデルを制約付きモデルに追加することによって説明される残差変動の割合（予測モデルのない完全モデル）。と同じ：$R^2$

  • モデル内の他のすべての予測変数を制御する、予測変数と従属変数の間の偏相関の二乗。。$R_{partial}^2 = r_{x_iy.X\setminus x_i}^2$
  • 部分予測子からのタイプIIIの二乗和と予測子に起因する二乗和の割合とエラー SS 効果/（SS 効果 + SSの誤差$\eta^2$$\text{SS}_\text{effect}/(\text{SS}_\text{effect}+\text{SS}_\text{error})$

• R $\Delta R^2$制約付きモデルと完全モデルの間のの差。に等しい：$R^2$

  • 二乗半部分相関 yX$r_{x_i(y.X\setminus x_i)}^2$
  • SSの効果/ SS 合計R $\eta^2$タイプIIIの平方和の - 質問で部分として計算したもの。$\text{SS}_\text{effect}/\text{SS}_\text{total}$$R^2$

これらはすべて密接に関連していますが、変数間の相関構造の処理方法が異なります。この違いをもう少しよく理解するために、相関が 3つの標準化された（平均= 0、sd = 1）変数あるます。当社は、かかる従属変数としてと予測因子として。すべての効果サイズ係数を相関関係で表現するので、相関構造がそれぞれによってどのように処理されるかを明確に見ることができます。最初に、OLSを使用して推定された回帰モデルの係数をリストします。係数の式： 、R 、X 、Y、R 、X 、Z、rはY 、Z xは、Y 、Z 、X = β Y Y + β Z Z β Y = R 、X 、Y - 、R Y 、Z、R 、Z $x,y,z$$r_{xy}, r_{xz}, r_{yz}$$x$$y$$z$$x=\beta_{y}Y+\beta_{z}Z$R2

$$\begin{align}\beta_{y} = \frac{r_{xy}-r_{yz}r_{zx}}{1-r_{yz}^2}\\ \beta_{z}= \frac{r_{xz}-r_{yz}r_{yx}}{1-r_{yz}^2}, \end{align}$$ 予測子 の平方根は次のようになります。$R_\text{partial}^2$

$$\sqrt{R^2_{xy.z}} = \frac{r_{xy}-r_{yz}r_{zx}}{\sqrt{(1-r_{xz}^2)(1-r_{yz}^2)}}\\ \sqrt{R^2_{xz.y}} = \frac{r_{xz}-r_{yz}r_{yx}}{\sqrt{(1-r_{xy}^2)(1-r_{yz}^2)}}$$

次式で与えられます。$\sqrt{\Delta R^2}$

$$\sqrt{R^2_{xyz}-R^2_{xz}}= r_{y(x.z)} = \frac{r_{xy}-r_{yz}r_{zx}}{\sqrt{(1-r_{yz}^2)}}\\ \sqrt{R^2_{xzy}-R^2_{xy}}= r_{z(x.y)}= \frac{r_{xz}-r_{yz}r_{yx}}{\sqrt{(1-r_{yz}^2)}}$$

これらの違いは分母であり、および、予測子間の相関関係のみが含まれます。ほとんどのコンテキスト（弱相関予測子の場合）では、これら2つのサイズは非常に似ているため、決定が解釈にあまり影響を与えないことに注意してください。また、従属変数と同様の相関強度を持ち、あまり強く相関していない予測変数がの比率は比率と同様になります。$\beta$$\sqrt{\Delta R^2}$ βST$\sqrt{ R_\text{partial}^2}$$\beta_{std}$

コードに戻ります。anovaR の関数はデフォルトでタイプIの二乗和を使用しますが、上記の部分はタイプIIIの二乗和に基づいて計算する必要があります（相互作用がない場合、タイプIIの二乗和に相当すると思います）モデルに存在します）。違いは、説明されたSSが予測子間でどのように分割されるかです。タイプI SSでは、最初の予測子には説明されたすべてのSSが割り当てられ、2番目は「残りSS」のみ、3番目は残りSSのみです。したがって、コールに変数を入力する順序はそれぞれのSSを変更します。これはおそらく、モデル係数を解釈するときに必要なものではありません。$R^2$lm

R Anovaのcarパッケージからの呼び出し でタイプIIの平方和を使用する場合、anovaの値は係数の値に等しくなります（）。これは、これらの量が実際に密接に結びついており、独立して評価されるべきではないことを示しています。あなたの例では正方形のタイプII合計を起動するに置き換えると。相互作用項を含める場合は、係数と部分Rテストを同じにするために、タイプIIIの二乗和に置き換える必要があります（呼び出す前に、使用する和をコントラストに変更することを忘れないでください）。部分的なt F （1 、n ）= t 2（n ）R 2 p R $F$$t$$F(1,n) = t^2(n)$anova(mod)Anova(mod, type = 2)options(contrasts = c("contr.sum","contr.poly"))Anova(mod,type=3)$R^2$変数SSを変数SSで除算し、残差SSを加えたものです。これにより、etasq()出力からリストしたものと同じ値が得られます。これで、anovaの結果（部分）と回帰係数のテストと値は同じになります。$p$$R^2$

---

クレジット

• 部分相関の式は、ttnphnsの回答にあります：重回帰または偏相関係数？そして2つの関係

• ここで見つけた半偏相関の公式：https : //www3.nd.edu/~rwilliam/stats1/x92.pdf
• すべての予測変数の部分は完全に適合するために1であるため、それらの相対的な重要性を比較するのに役立たないという観察は、この質問に対するコメントでアメーバによって提供されました。$R^2$

他のいくつかの回答とコメントですでに説明したように、この質問は少なくとも3つの混乱に基づいていました。

1. 関数anova()は、予測子の順序に依存するシーケンシャル（タイプIとも呼ばれる）二乗和（SS）分解を使用します。回帰係数とその有意性の検定に対応する分解はタイプIII SSであり、パッケージから関数を使用して取得できます。$t$Anova()car

2. タイプIII SS分解を使用する場合でも、各予測子の部分は標準化された係数の2乗と等しくなりません。2つの異なる予測変数に対するこれらの値の比率も異なります。両方の値は効果の大きさ（または重要度）の測定値ですが、それらは異なる、非等価の測定値です。彼らはほとんどの場合定性的に同意するかもしれませんが、そうする必要はありません。β S T $R^2$$\beta_\mathrm{std}$

3. 部分R 2乗と呼ばれるものは、部分R 2乗ではありません。部分的なはとして定義されます 対照的に、は、 "eta squared"（ANOVAから用語を借りる）、または二乗された半部分相関、あるいはおそらく半部分（両方の式ではタイプIIIの方法で理解されます）。この用語はあまり標準的ではありません。それは重要性のさらに別の可能な尺度です。SS 効果/（SS 効果 + SS エラー）SS 効果/ SS 合計R 2 SS $R^2$$\text{SS}_\text{effect}/(\text{SS}_\text{effect}+\text{SS}_\text{error})$$\text{SS}_\text{effect}/\text{SS}_\text{total}$$R^2$$\text{SS}_\text{effect}$

これらの混乱が明らかにされた後、予測子の効果の大きさまたは重要性の最も適切な尺度は何かという疑問が残ります。

---

Rには、relaimpo相対的な重要性のいくつかの尺度を提供するパッケージがあります。

library(car)
library(relaimpo)
mod <- lm(education~income+young+urban, data=Anscombe)
metrics <- calc.relimp(mod, type = c("lmg", "first", "last", "betasq", "pratt", "genizi", "car"))

Anscombe質問と同じデータセットを使用すると、次のメトリックが生成されます。

Relative importance metrics: 

              lmg      last      first    betasq       pratt     genizi        car
income 0.47702843 0.4968187 0.44565951 0.9453764  0.64908857 0.47690056 0.55375085
young  0.14069003 0.1727782 0.09702319 0.1777135  0.13131006 0.13751552 0.13572338
urban  0.07191039 0.0629027 0.06933945 0.1188235 -0.09076978 0.07521276 0.00015460

これらの指標のいくつかはすでに議論されています：

• betasqは、標準化された係数の2乗であり、で得た値と同じですlm()。
• first各予測変数と応答の間の二乗相関です。これは、がタイプI SSの場合、この予測子が最初にあるときにモデル。'income'の値（0.446）は、出力に基づく計算と一致します。他の値は一致しません。SS $\text{SS}_\text{effect}/\text{SS}_\text{total}$$\text{SS}_\text{effect}$anova()
• lastこの予測子が最後にモデルに追加されたときの増加です。これは、がタイプIII SSの場合、です。上記では「半部分的な」と呼びました。「urban」の値（0.063）は、出力に基づく計算と一致します。他の値は一致しません。SS 効果/ SS 合計SS 効果R $R^2$$\text{SS}_\text{effect}/\text{SS}_\text{total}$$\text{SS}_\text{effect}$$R^2$anova()

パッケージは現在、部分的なを提供していないことに注意してください（ただし、著者によると、将来[パーソナルコミュニケーション]に追加される可能性があります）。とにかく、他の方法で計算することは難しくありません。$R^2$

さらに4つのメトリックrelaimpoがあり、パッケージrelaimpoを手動でインストールするともう1つ（5番目）が使用可能になります。。私はオンラインでRを実行していますが、Rにアクセスできないため、誰かが手動でインストールできる場合はrelaimpo、完全性のために上記の出力にこのメトリックを追加してください。

2つのメトリクスはpratt、ネガティブ（悪い）になる可能性がありgenizi、かなりあいまいです。

2つの興味深いアプローチがlmgありcarます。

最初は、予測子のすべての可能な順列に対する平均です（ここでははtype私）。リンデマンとメレンダとゴールドによる1980年の本から来ています。SS $\text{SS}_\text{effect}/\text{SS}_\text{total}$$\text{SS}_\text{effect}$

2つ目は（Zuber＆Strimmer、2011）で紹介されており、多くの魅力的な理論的特性があります。予測子が最初に標準化され、次にZCA /マハラノビス変換で白色化された（つまり、再構築エラーを最小限に抑えながら白色化された）後、標準化係数が2乗されます。

注「都市」から「若い」の寄与の割合は約であることをで（この試合多かれ少なかれ私たちは標準化係数とsemipartial相関関係を参照）、それはですで。この大きな違いの理由は私には明らかではありません。878 ：$2:1$lmg$878:1$car

書誌：

1. UlrikeGrömpingのWebサイトでの相対的な重要性に関する参照 -彼女はの著者ですrelaimpo。

2. Grömping、U。（2006）。Rの線形回帰の相対的重要性：パッケージrelaimpo。Journal of Statistical Software 17、1号。

3. Grömping、U。（2007）。分散分解に基づく線形回帰における相対的重要性の推定量。アメリカの統計学者61、139-147。

4. Zuber、V.およびStrimmer、K.（2010）。CARスコアを使用した高次元回帰および変数選択。遺伝学および分子生物学における統計的応用10.1（2011）：1-27。

5. Grömping、U。（2015）。回帰モデルにおける変数の重要性。Wiley Interdisciplinary Reviews：計算統計、7（2）、137-152。（有料壁の後ろ）

あなたが書いた：

私の質問は、部分的なR²または係数を使用して、各要因が結果に与える影響を示す必要がありますか？

ここで2つのことを混同しないことが重要です。まず、モデルの仕様の問題があります。lmアルゴリズムは、OLSの仮定が満たされていることを前提としています。とりわけ、これは、偏りのない推定では、モデルから重要な変数が失われないことを意味します（他のすべてのリグレッサと相関しない場合を除き、まれです）。
そのため、モデルを見つける際に、R²または調整されたR²への追加の影響は当然のことです。たとえば、調整されたR²の改善が止まるまで、リグレッサを追加するのが適切であると考えるかもしれません。このような段階的な回帰手順には興味深い問題がありますが、これはトピックではありません。いずれにせよ、モデルを選択した理由があると思います。

ただし、R²へのこの追加の影響は、独立変数に対するリグレッサの実際の影響または完全な影響と同一ではありません。正確にはマルチコリネリティーのためです。相関しています。そのため、実際の影響は正しく表示されません。

また、別の問題があります。推定値は、他のすべてのリグレッサーが存在する完全なモデルに対してのみ有効です。このモデルはまだ正しくないため、影響についての議論は無意味です。または正しいので、リグレッサーを削除して、OLSメソッドを使用しても成功しません。

だから：あなたのモデルとOLSの使用は適切ですか？そうである場合、推定値はあなたの質問に答えます-それらは、回帰変数/従属変数に対する変数の影響の文字通りの最良の推測です。
そうでない場合、最初の仕事は正しいモデルを見つけることです。このために、部分的なR²を使用する方法があります。モデルの仕様または段階的回帰の検索は、このフォーラムで多くの興味深いアプローチを生み出します。何が機能するかはデータによって異なります。

線形回帰係数と偏相関の違いについては、例えばこれを読むことができます。

しかし、この質問で表明された混乱は別の性質のようです。これは、この統計パッケージまたはその統計パッケージで使用されるデフォルトの平方和のタイプに関するものと思われます（トピック、このサイトで繰り返し議論されています）。線形回帰は、ANOVAタイプIII SS計算で呼ばれるものを使用します。多くのANOVAプログラムでも、これがデフォルトのオプションです。ではR機能anova、それは私に表示されます（私はちょうどそれを考えるので、私は、Rユーザーではないよ）デフォルトの起算は、Type I SS（予測変数がモデルに指定された順序に依存している「シーケンシャルSS」）です。したがって、変数を標準化（「スケーリング」）したときに消失しなかったのは、デフォルトのタイプIオプションでANOVAを指定したためです。

以下は、データを使用してSPSSで取得した結果です。

これらの印刷では、SS計算のタイプに関係なく、パラメーター（回帰係数）が同じであることを選択できます。予測変数が数値共変量であるため、部分Etaの2乗[SSeffect /（SSeffect + SSerror）および=部分R-2 IIIです。タイプSSがIの場合、3つの予測子の最後の「都市」のみが同じ値（.169）を保持します。これは、予測変数の入力シーケンスでは最後になっているためです。タイプIII SSの場合、回帰のように入力の順序は重要ではありません。ちなみに、矛盾はp値にも見られます。「Sig」列に小数点以下3桁しかないため、私の表には表示されませんが、

ANOVA /線形モデルのさまざまな「SSタイプ」について詳しくお読みください。概念的には、タイプIIIまたはSSの「回帰」タイプは基本的かつ原始的です。他のタイプのSS（I、II、IV、さらに多くあります）は、相関パラメーターの状況で回帰パラメーターが許容するよりも無駄が少なく、効果をより包括的に推定する特別なデバイスです。

一般に、研究の目的が将来のモデルを作成することである場合を除き、効果のサイズとそのp値は、パラメーターとそのp値よりもレポートすることが重要です。パラメータは予測を可能にするものですが、「影響」または「効果」は「線形予測の強度」よりも広い概念です。影響または重要性を報告するには、部分的なEtaの2乗以外の他の係数を使用できます。1つはleave-one-out係数です。予測子の重要度は、モデルから削除された予測子を含む残差平方和であり、すべての予測子の重要度値が1になるように正規化されます。