線形回帰の標準化された

私はさまざまな結果を予測するために重回帰を適用した記事の結果を解釈しようとしています。しかし、「S（標準B係数は以下のように定義 $\beta$ ここで、は従属変数、は予測子です）報告されたものは、報告されたと一致しないようです。 $\beta_{x_1} = B_{x_1} \cdot \frac{\mathrm{SD}_{x_1}}{\mathrm{SD}_y}$ $y$ $x_1$ $R^2$

-0.83、-0.29、-0.16、-0.43、0.25、および-0.29のにもかかわらず、報告されたは0.20のみです。 $\beta$ $R^2$

また、3つの予測値：体重、BMI、および脂肪％は、マルチコリニアであり、r = 0.8〜0.9の周りで性別内で相互に相関しています。

あるこれらと値の妥当なさん、または間にはストレートな関係が存在しないさんと？ $R^2$ $\beta$ $\beta$ $R^2$

さらに、マルチコリニア予測子に関する問題は、4番目の予測子（VO2max）のに影響を与える可能性があります。 $\beta$

— サカリジュカラネン
ソース

この文脈での

とは何ですか？ベータ係数（標準化された回帰）？または、他の何か？もしそうなら、彼らはあなたが得るすべてが標準偏差の観点からの解釈であると本当に言うことができません。係数が大きな影響を意味するという事実は、

値が高いことを意味しない

β

$\beta$

R^{2}

$R^2$

— Repmat

ßは標準化されたb係数を表します。1予測子の場合、βはピアソンのrに等しく、R二乗に直接関連しますが、この多変量の場合、βが高いということはR二乗が高いことを意味しませんか？

— サカリジュカラネン2016

β

$\beta$

β = \frac{Cov (y, x)}{Var (x)} \neq \frac{Cov (y, x)}{\sqrt{Var (y) \times Var (x)}} = ρ (y, x)

$\beta=\frac{\text{Cov}(y,x)}{\text{Var}(x)}\neq\frac{\text{Cov}(y,x)}{ \sqrt{ \text{Var}(y)\times\text{Var}(x) } }=\rho(y,x)$

β

$\beta$

R^{2}

$R^2$

β

$\beta$

b

$b$

r_{x y} \frac{s_{y}}{s_{x}}

$r_{xy}\frac{s_y}{s_x}$

r

$r$

s

$s$

y

$y$

x

$x$

なぜあなたがこれを間違っていると考えるのかまだわかりませんか？論文にいくつかの要約統計がある場合は、数値が合計されるかどうかを簡単に確認できます。あなたもそうするための式を提供しました。単純に効果が大きいという理由だけで、モデルがyの分散を説明するのに優れていると結論付けることはできません。

— Repmat 2016

通常の最小二乗回帰の幾何学的解釈は、必要な洞察を提供します。

$x_1$ $x_2$ $y$ $x_1$ $x_2$ $E^2$ $y$ $E^3$ $\hat y$ $y$ $E^2$ $R^2$ $\hat y$

直交リグレッサ

最も良い状況は、最初の図のように、説明変数が直交している場合です。

$図1は、リグレッサと$ \ hat y $を平面内のベクトルとして示しています。$

$x_1$ $\hat y$ $x_1$ $x_2$ $\beta_1 x_1$ $\beta_2 x_2$ $\hat y$ $R^2$

ピタゴラスの定理はアサート

R^{2} = | \hat{y} |^{2} = | β_{1} x_{1} |^{2} + | β_{2} x_{2} |^{2} = β_{1}^{2} (1) + β_{2}^{2} (1) = β_{1}^{2} + β_{2}^{2} .

$R^2 = |\hat y|^2 = |\beta_1 x_1|^2 + |\beta_2 x_2|^2 = \beta_1^2(1)+\beta_2^2(1) = \beta_1^2 + \beta_2^2.$

ピタゴラスの定理は任意の数の次元で成立するため、この推論は任意の数のリグレッサに一般化され、最初の結果が得られます。

$R^2$

$R^2$

相関

負の相関関係にあるリグレッサは、直角より大きい角度で出会います。

$R^2$

$\hat y$ $R^2$ $0$ $x_1$ $x_2$ $R^2$

この明白な結果、2番目の一般性を記念してみましょう。

$R^2$

ただし、次の図が示すように、これは普遍的な関係ではありません。

$R^2$ $\hat y$ $1/2$ $R^2$ $1$

正の相関関係にあるリグレッサを使用して同様の例を構築し、それによって鋭角で出会うことは、あなたの想像に任せます。

$R^2$

$R^2$

代数的結果

$x_1, x_2, \ldots, x_p$ $y$ $(1,1,\ldots,1)^\prime$

| x_{i} |^{2} = | y |^{2} = 1.

$|x_i|^2 = |y|^2 = 1.$

$x_i$ $n\times p$ $X$

Σ = X^{'} X

$\Sigma = X^\prime X$

$x_i$

β = (X^{'} X)^{- 1} X^{'} y = Σ^{- 1} (X^{'} y) .

$\beta = (X^\prime X)^{-1} X^\prime y = \Sigma^{-1} (X^\prime y).$

さらに、定義により、フィットは

\hat{y} = X β = X (Σ^{- 1} X^{'} y) .

$\hat y = X \beta = X (\Sigma ^{-1} X^\prime y).$

$R^2$

R^{2} = | \hat{y} |^{2} = {\hat{y}}^{'} \hat{y} = (X β)^{'} (X β) = β^{'} (X^{'} X) β = β^{'} Σ β .

$R^2 = |\hat y|^2 = \hat y^\prime \hat y = (X\beta)^\prime (X\beta) = \beta^\prime (X^\prime X)\beta = \beta^\prime \Sigma\beta.$

$R^2$

\sum_{i = 1}^{p} β_{i}^{2} = β^{'} β .

$\sum_{i=1}^p \beta_i^2 = \beta^\prime \beta.$

$L_2$ $A$ $p^2$

| A |_{2}^{2} = \sum_{i, j} a_{i j}^{2} = tr (A^{'} A) = tr (A A^{'}) .

$|A|_2^2 = \sum_{i,j} a_{ij}^2 = \operatorname{tr}(A^\prime A) = \operatorname{tr}(AA^\prime).$

コーシー・シュワルツの不平等は、

R^{2} = tr (R^{2}) = tr (β^{'} Σ β) = tr (Σ β β^{'}) \leq | Σ |_{2} | β β^{'} |_{2} = | Σ |_{2} β^{'} β .

$R^2 = \operatorname{tr}(R^2) = \operatorname{tr}(\beta^\prime \Sigma \beta) = \operatorname{tr}(\Sigma \beta \beta^\prime) \le |\Sigma|_2 | \beta\beta^\prime|_2 = |\Sigma|_2 \beta^\prime \beta.$

$1$ $p^2$ $p\times p$ $\Sigma$ $|\Sigma|_2$ $\sqrt{1\times p^2} = p$

R^{2} \leq p β^{'} β .

$R^2 \le p\, \beta^\prime \beta.$

$x_i$

$R^2$ $R^2/p$

結論

$R^2$ $\hat y$ $R^2$

$1.1301$ $R^2$ $1$

$-0.83$ $0.69$ $R^2$ $0.20$ $\text{VO}_{2\,\text{max}}$

$R^2$ $x_1$ $x_2$ $\hat y$ $x_1$ $x_2$ $y$ 未知の量（これら3つすべてが共変量にどのように関連しているかに依存します）によって、操作しているベクトルの実際のサイズについてほとんど何も知らせません。

— whuber
ソース

\hat{y}

$\hat y$

\hat{y}

$\hat y$

@amoeba正解です。私はこれらのイメージを作成するのが速すぎました！問題を修正する機会が得られるまで、私は（できれば一時的に）この投稿を削除します。これを指摘していただきありがとうございます。

— whuber

@Amoeba写真を修正し、それに合わせて分析を変更しました。詳細は大幅に変更されましたが、結論は変わりません。

— whuber

@amoeba再びあなたは正しいです。興味のある読者を失うリスクがありますが、幾何学的な直観を定量化せざるを得なくなりましたが、私はその結論を引き締め、少し代数でそれを正当化しました。（代数が正しいと信じています！）

— whuber

どうもありがとう！余談ですが、VO2maxは体重とBMIに負の相関があります。上記の表では、VO2maxは実際にはVO2maxを体重で割ったものに相当します（これはVO2maxを体のサイズに合わせる悪い方法です）。表のVO2max /重みは、性別を除いて、他のすべての予測因子と負の相関があります。これは、前述のように、高βで低R二乗を説明する可能性があります。

— サカリジュカラネン2016