私はベイズ/ MCMCで非常に良いテキストに出くわしました。ITは、独立変数の標準化によってMCMC（メトロポリス）アルゴリズムがより効率的になることを示唆していますが、（マルチ）共線性を低下させる可能性もあります。それは本当ですか？これは私が標準としてやるべきことです（申し訳ありません）。

Kruschke 2011、ベイズデータ分析の実施。（AP）

編集：たとえば

     > data(longley)
     > cor.test(longley$Unemployed, longley$Armed.Forces)

Pearson's product-moment correlation

     data:  longley$Unemployed and longley$Armed.Forces 
     t = -0.6745, df = 14, p-value = 0.5109
     alternative hypothesis: true correlation is not equal to 0 
     95 percent confidence interval:
     -0.6187113  0.3489766 
     sample estimates:
      cor 
     -0.1774206 

     > standardise <- function(x) {(x-mean(x))/sd(x)}
     > cor.test(standardise(longley$Unemployed), standardise(longley$Armed.Forces))

Pearson's product-moment correlation

     data:  standardise(longley$Unemployed) and standardise(longley$Armed.Forces) 
     t = -0.6745, df = 14, p-value = 0.5109
      alternative hypothesis: true correlation is not equal to 0 
     95 percent confidence interval:
      -0.6187113  0.3489766 
      sample estimates:
       cor 
     -0.1774206 

これは相関を減少させず、したがって、ベクトルの線形依存性を制限しません。

どうしたの？

R

主効果間の共線性はまったく変わりません。スケーリングもしません。線形変換はそれを行いません。それが変化するのは、主効果とそれらの相互作用の間の相関です。AとBが相関関係0で独立している場合でも、AとA：Bの相関関係はスケールファクターに依存します。

Rコンソールで以下を試してください。rnorm設定した母集団値を使用して正規分布からランダムサンプルを生成することに注意してください。この場合は50サンプルです。このscale関数は、サンプルを0の平均と1のSDに標準化します。

set.seed(1) # the samples will be controlled by setting the seed - you can try others
a <- rnorm(50, mean = 0, sd = 1)
b <- rnorm(50, mean = 0, sd = 1)
mean(a); mean(b)
# [1] 0.1004483 # not the population mean, just a sample
# [1] 0.1173265
cor(a ,b)
# [1] -0.03908718

これらの独立したサンプルでは、​​偶発的な相関は0に近くなります。次に、平均0とSD 1に正規化します。

a <- scale( a )
b <- scale( b )
cor(a, b)
# [1,] -0.03908718

繰り返しますが、これは、平均が0であり、SDが1との両方aであっても、まったく同じ値bです。

cor(a, a*b)
# [1,] -0.01038144

これも非常に0に近いです。（a * bは相互作用項と見なすことができます）

ただし、通常、SDと予測子の平均はかなり異なるため、変更しましょうb。新しいサンプルを取得する代わりにb、平均を5に、SDを2にするために元のサンプルを再スケーリングします。

b <- b * 2 + 5
cor(a, b)
 # [1] -0.03908718

繰り返しになりますが、これまでずっと見てきました、おなじみの相関関係です。スケーリングの間の相関に影響有していないaとしますb。だが！！

cor(a, a*b)
# [1,] 0.9290406

これでかなりの相関関係が得られます。これは、センタリングまたは標準化、あるいはその両方を行うことで解消できます。私は通常、中心点だけで行きます。

他の人がすでに述べたように、標準化は共線性とはまったく関係ありません。

完璧な共線性

$X$$\mu_X$$\sigma_X$

$$\newcommand{Var}{\mathrm{Var}} Z_X = \frac{X - \mu_X}{\sigma_X}$$

たことを意味と標準偏差の特性所定の期待値と分散を、その、と、、ここではrvでは定数です。$\mu_Z = 0$$\sigma_Z = 1$$E(X + a) = E(X) + a$$E(bX) = b\,E(X)$$\Var(X + a) = \Var(X)$$\Var(bX) = b^2 \Var(X)$$X$$a,b$

我々は2つの変数と言うとある完全に同一直線上にこのような値が存在する場合とことを$X$$Y$$\lambda_0$$\lambda_1$

$$Y = \lambda_0 + \lambda_1 X$$

あれば何が続く、平均ありと標準偏差、そして平均ていると標準偏差。ここで、両方の変数を標準化（平均を削除して標準偏差で除算） ...$X$$\mu_X$$\sigma_X$$Y$$\mu_Y = \lambda_0 + \lambda_1 \mu_X$$\sigma_Y = \lambda_1 \sigma_X$$Z_X = Z_X$

相関

もちろん、完全な共線性は私たちがよく目にするものではありませんが、強く相関する変数も問題になる可能性があります（そしてそれらは共線性と関連する種です）。では、標準化は相関に影響を与えますか？スケーリングの前後の2つのプロットで2つの相関変数を示す次のプロットを比較してください。

違いを見つけられますか？ご覧のとおり、軸のラベルを意図的に削除したので、私がだまされていないことを納得させるために、ラベルが追加されたプロットを表示します。

数学的に言えば、相関関係が

$$\newcommand{Corr}{\mathrm{Corr}} \newcommand{Cov}{\mathrm{Cov}} \Corr(X, Y) = \frac{\Cov(X,Y)}{\Var(X)\,\Var(Y)}$$

次に、共線変数を使用して

$$\require{cancel} \begin{align} \Corr(X, Y) &= \frac{E[(X - \mu_X)(Y - \mu_Y)]}{\sigma_X\sigma_Y} \\ &=\frac{E[(X - \mu_X)(\cancel{\lambda_0} + \lambda_1 X - \cancel{\lambda_0} - \lambda_1\mu_X )]}{\sigma_X\;\lambda_1\sigma_X} \\ &= \frac{E[(X - \mu_X)(\lambda_1 X - \lambda_1\mu_X )]}{\sigma_X\;\lambda_1\sigma_X} \\ &= \frac{E[(X - \mu_X)\lambda_1( X - \mu_X )]}{\sigma_X\;\lambda_1\sigma_X} \\ &= \frac{\cancel{\lambda_1} E[(X - \mu_X)(X - \mu_X )]}{\sigma_X\;\cancel{\lambda_1}\sigma_X} \\ &= \frac{E[(X - \mu_X)(X - \mu_X )]}{\sigma_X\sigma_X} \end{align}$$

今から、$\Cov(X,X) = \Var(X)$

$$\begin{align} &= \frac{\Cov(X, X)}{\sigma_X^2} = \frac{\Var(X)}{\Var(X)} = 1 \end{align}$$

標準化された変数で

$$\begin{align} \Corr(Z_X, Z_Y) &= \frac{E[(Z_X - 0)(Z_Y - 0)]}{1 \times 1} \\ &= \Cov(Z_X, Z_Y) = \Var(Z_X) = 1 \end{align}$$

以来 ...$Z_X = Z_Y$

最後に、Kruschkeが話していることは、変数を標準化すると、ギブスサンプラーが使いやすくなり、ギブスサンプラーが提示する回帰モデルの切片と勾配の間の相関が低下することです。変数を標準化すると、変数間の共線性が低下するとは述べていません。

標準化は変数間の相関には影響しません。それらはまったく同じままです。相関は、変数の方向の同期をキャプチャします。変数の方向を変更する標準化には何もありません。

変数間の多重共線性を排除したい場合は、主成分分析（PCA）を使用することをお勧めします。ご存知のように、PCAは多重共線性の問題を解消するのに非常に効果的です。一方、PCAは結合された変数（主成分P1、P2など）を不透明にします。PCAモデルは、従来の多変量モデルよりも常に説明が困難です。

共線性は低下しませんが、VIFを低下させる可能性があります。一般に、共線性の懸念の指標としてVIFを使用します。

出典：http : //blog.minitab.com/blog/adventures-in-statistics-2/what-are-the-effects-of-multicollinearity-and-when-can-i-ignore-them

標準化は、共線性を低減する一般的な方法です。（変数のペアをいくつか試すことで、それが機能することを非常に迅速に確認できるはずです。）定期的に行うかどうかは、分析における共線性の問題の程度に依存します。

編集：エラーが発生したようです。ただし、標準化が行うことは、積項（相互作用項）との共線性を減らすことです。