「他の変数をどのように」制御するのでしょうか？

この質問の動機付けになった記事は次のとおりです。

私はこの記事が好きで、問題の2つの変数間の真の関係を最もよく分離するために、「他の変数の制御」（IQ、キャリア、収入、年齢など）の概念をうまく示しています。

典型的なデータセットの変数を実際にどのように制御するか説明していただけますか？

たとえば、同じ焦りとBMIを持ち、収入が異なる2人の場合、これらのデータをどのように扱いますか？それらを、同様の収入、忍耐、BMIを持つ異なるサブグループに分類しますか？しかし、最終的に制御する変数（IQ、キャリア、収入、年齢など）は数十個あります。これらの（潜在的に）100のサブグループをどのように集約しますか？実際、私はこのアプローチが間違ったツリーをbarえていると感じています。

ここ数年、私が最後までやりたいと思っていたことに光を当ててくれてありがとう...！

変数を制御するには多くの方法があります。

最も簡単な方法は、同様の特性を持つサブグループを持つようにデータを階層化することです。これらの結果をまとめて単一の「答え」を得る方法があります。これは、制御したい変数の数が非常に少ない場合に機能しますが、正しく発見したように、データをますます小さなチャンクに分割すると、これは急速にばらばらになります。

より一般的なアプローチは、制御する変数を回帰モデルに含めることです。たとえば、次のように概念的に説明できる回帰モデルがある場合：

BMI = Impatience + Race + Gender + Socioeconomic Status + IQ

Impatienceで得られる推定値は、他の共変量のレベル内のImpatienceの効果になります-回帰により、データがあまりない場所（層別化アプローチの問題）で本質的に滑らかになりますが、これを行う必要があります注意して。

他の変数を制御するためのさらに洗練された方法がありますが、誰かが「他の変数を制御する」と言うとき、それらは回帰モデルに含まれていたことを意味します。

さて、あなたはこれがどうなるかを見るために、あなたが取り組むことができる例を求めました。順を追って説明します。必要なのは、インストールされたRのコピーだけです。

まず、いくつかのデータが必要です。以下のコードの塊を切り取ってRに貼り付けます。これはその場で作成した不自然な例ですが、プロセスを示していることに注意してください。

covariate <- sample(0:1, 100, replace=TRUE)
exposure  <- runif(100,0,1)+(0.3*covariate)
outcome   <- 2.0+(0.5*exposure)+(0.25*covariate)

それがあなたのデータです。結果、露出、共変量の間の関係はすでにわかっていることに注意してください-これが多くのシミュレーション研究のポイントです（これは非常に基本的な例です。まず、既知の構造から始めて、あなたに正しい答えを取得します。

次に、回帰モデルに移ります。次を入力します。

lm(outcome~exposure)

インターセプト= 2.0および露出= 0.6766を取得しましたか？または、データにランダムな変動がある場合、それに近いものですか？良い-この答えは間違っています。私たちはそれが間違っていることを知っています。なぜ間違っているのですか？結果と暴露に影響する変数を制御できませんでした。これはバイナリ変数です。性別、喫煙者/非喫煙者など、お好きなものにしてください。

次に、このモデルを実行します。

lm(outcome~exposure+covariate)

今回は、切片= 2.00、露出= 0.50、共変量0.25の係数を取得する必要があります。私たちが知っているように、これは正しい答えです。他の変数を制御しました。

さて、必要なすべての変数を処理したかどうかわからない場合はどうなりますか（実際には実行しません）。これは残差交絡と呼ばれ、ほとんどの観察研究で懸念されています-私たちが不完全に制御していること、そして私たちの答えは、正確に近いものの、正確ではありません。それはもっと役立ちますか？

1. 前書き

   @EpiGradの回答（+1）は気に入っていますが、別の観点から見てみましょう。以下では、このPDF文書について言及しています。「多重回帰分析：推定」、「多重回帰の「部分的なアウト」解釈」（p。83f。）のセクションがあります。残念ながら、この章の著者は誰なのかわかりません。REGCHAPTERと呼びます。同様の説明は、Kohler / Kreuter（2009）の「Stataを使用したデータ分析」、8.2.3章「「制御下」とはどういう意味ですか？」に記載されています。

   @EpiGradの例を使用して、このアプローチを説明します。Rコードと結果は付録に記載されています。

   「他の変数の制御」は、説明変数が中程度に相関している場合（共線性）にのみ意味があることにも注意してください。前述の例では、exposureとの間のProduct-Moment相関covariateは0.50です。つまり、

   > cor(covariate, exposure)
   [1] 0.5036915
   

2. 残差

   回帰分析の残差の概念について基本的な理解があると思います。ここでWikipediaの説明は：「1は、いくつかのデータの回帰を実行した場合は、当てはめ関数からの従属変数の観測値の偏差は残差があります」。

3. 「制御下」とはどういう意味ですか？

   変数の制御covariate、exposureon の効果（回帰重み）はoutcome次のように説明できます（私はずさんで、ほとんどのインデックスとすべての帽子をスキップします。正確な説明については上記のテキストを参照してください）。

   $\newcommand{\resid}{{\rm resid}}\newcommand{\covariate}{{\rm covariate}}$

   $$\beta_1=\frac{\sum \resid_{i1} \cdot y_i}{\sum \resid^2_{i1}}$$

   $\resid_{i1}$は、で回帰exposureしたときの残差ですcovariate。つまり、

   $${\rm exposure} = {\rm const.} + \beta_{\covariate} \cdot \covariate + \resid$$

   「残差[..]は、と無相関の部分です。したがって、は、が実行された後のとサンプル関係を測定します。部分的に除外」（登録者84）。「部分的にアウト」とは、「制御対象」を意味します。$x_{i1}$$x_{i2}$$\hat{\beta}_1$$y$$x_1$$x_2$

   @EpiGradのサンプルデータを使用してこのアイデアを示します。まず、に回帰exposureしcovariateます。残差にのみ関心があるためlmEC.resid、出力は省略します。

   summary(lmEC <- lm(exposure ~ covariate))
   lmEC.resid   <- residuals(lmEC)
   

   次のステップはoutcome、これらの残差の回帰（lmEC.resid）です。

   [output omitted]
   
   Coefficients:
               Estimate Std. Error t value Pr(>|t|)    
   (Intercept)  2.45074    0.02058 119.095  < 2e-16 ***
   lmEC.resid   0.50000    0.07612   6.569 2.45e-09 ***
   ---
   Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 
   
   [output omitted]
   

   ご覧のように、この単純な回帰の回帰重みlmEC.resid（推定列、参照）重回帰重みに等しく、これも（@EpiGradの回答またはR出力を参照）未満）。$\beta_{lmEC.resid}=0.50$covariate$0.50$

付録

Rコード

set.seed(1)
covariate <- sample(0:1, 100, replace=TRUE)
exposure <- runif(100,0,1)+(0.3*covariate)
outcome <- 2.0+(0.5*exposure)+(0.25*covariate)

## Simple regression analysis
summary(lm(outcome ~ exposure))

## Multiple regression analysis
summary(lm(outcome ~ exposure + covariate))

## Correlation between covariate and exposure
cor(covariate, exposure)

## "Partialling-out" approach
## Regress exposure on covariate
summary(lmEC <- lm(exposure ~ covariate))
## Save residuals
lmEC.resid <- residuals(lmEC)
## Regress outcome on residuals
summary(lm(outcome ~ lmEC.resid))

## Check formula
sum(lmEC.resid*outcome)/(sum(lmEC.resid^2))

R出力

> set.seed(1)
> covariate <- sample(0:1, 100, replace=TRUE)
> exposure <- runif(100,0,1)+(0.3*covariate)
> outcome <- 2.0+(0.5*exposure)+(0.25*covariate)
> 
> ## Simple regression analysis
> summary(lm(outcome ~ exposure))

Call:
lm(formula = outcome ~ exposure)

Residuals:
      Min        1Q    Median        3Q       Max 
-0.183265 -0.090531  0.001628  0.085434  0.187535 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  1.98702    0.02549   77.96   <2e-16 ***
exposure     0.70103    0.03483   20.13   <2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 0.109 on 98 degrees of freedom
Multiple R-squared: 0.8052,     Adjusted R-squared: 0.8032 
F-statistic: 405.1 on 1 and 98 DF,  p-value: < 2.2e-16 

> 
> ## Multiple regression analysis
> summary(lm(outcome ~ exposure + covariate))

Call:
lm(formula = outcome ~ exposure + covariate)

Residuals:
       Min         1Q     Median         3Q        Max 
-7.765e-16 -7.450e-18  4.630e-18  1.553e-17  4.895e-16 

Coefficients:
             Estimate Std. Error   t value Pr(>|t|)    
(Intercept) 2.000e+00  2.221e-17 9.006e+16   <2e-16 ***
exposure    5.000e-01  3.508e-17 1.425e+16   <2e-16 ***
covariate   2.500e-01  2.198e-17 1.138e+16   <2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 9.485e-17 on 97 degrees of freedom
Multiple R-squared:     1,      Adjusted R-squared:     1 
F-statistic: 3.322e+32 on 2 and 97 DF,  p-value: < 2.2e-16 

> 
> ## Correlation between covariate and exposure
> cor(covariate, exposure)
[1] 0.5036915
> 
> ## "Partialling-out" approach
> ## Regress exposure on covariate
> summary(lmEC <- lm(exposure ~ covariate))

Call:
lm(formula = exposure ~ covariate)

Residuals:
     Min       1Q   Median       3Q      Max 
-0.49695 -0.24113  0.00857  0.21629  0.46715 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  0.51003    0.03787  13.468  < 2e-16 ***
covariate    0.31550    0.05466   5.772  9.2e-08 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 0.2731 on 98 degrees of freedom
Multiple R-squared: 0.2537,     Adjusted R-squared: 0.2461 
F-statistic: 33.32 on 1 and 98 DF,  p-value: 9.198e-08 

> ## Save residuals
> lmEC.resid <- residuals(lmEC)
> ## Regress outcome on residuals
> summary(lm(outcome ~ lmEC.resid))

Call:
lm(formula = outcome ~ lmEC.resid)

Residuals:
    Min      1Q  Median      3Q     Max 
-0.1957 -0.1957 -0.1957  0.2120  0.2120 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  2.45074    0.02058 119.095  < 2e-16 ***
lmEC.resid   0.50000    0.07612   6.569 2.45e-09 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 0.2058 on 98 degrees of freedom
Multiple R-squared: 0.3057,     Adjusted R-squared: 0.2986 
F-statistic: 43.15 on 1 and 98 DF,  p-value: 2.45e-09 

> 
> ## Check formula
> sum(lmEC.resid*outcome)/(sum(lmEC.resid^2))
[1] 0.5
> 

もちろん、いくつかの数学が関係しますが、それはあまり重要ではありません。ユークリッドはそれをよく理解していたでしょう。本当に知っておく必要があるのは、ベクターを追加および再スケーリングする方法です。これは最近では「線形代数」という名前になっていますが、2次元で視覚化するだけで済みます。 これにより、線形代数の行列機構を回避し、概念に集中することができます。

幾何学的なストーリー

最初の図では、はとの合計です 。（数値係数スケーリングされたベクトル ;ギリシャ文字の（アルファ）、（ベータ）、および（ガンマ）は、そのような数値スケール係数を指します。）yは⋅ 1つの α X 1 、X 1 α α β $y$$y_{\cdot 1}$$\alpha x_1$$x_1$$\alpha$$\alpha$$\beta$$\gamma$

この図は、実際には元のベクトル（実線で表示）および始まりました。 への最小二乗の「一致」は、図の平面でに最も近いの倍数を取ることによって見つけられます。 それが発見方法です。このマッチをから取り去って、、に関するの残差を残しました。（ドット「」は、一貫して「一致」、「取り出し」、「制御対象」のベクトルを示します。）、Y 、Y 、X 1つの、X 1のY αのY軸Y ⋅ 1、Y 、X 1$x_1$$y$$y$$x_1$$x_1$$y$$\alpha$$y$$y_{\cdot 1}$$y$$x_1$$\cdot$

他のベクトルを一致させることができます。ここでピクチャであるに適合した倍数としてそれを発現する、のプラスその残留。X 2 X 1つの β X 1 、X 2 ⋅ $x_1$$x_2$$x_1$$\beta$$x_1$$x_{2\cdot 1}$

（とを含む平面がとを含む平面と異なる可能性はありません。これら2つの図は互いに独立して取得されます。共通することが保証されているのはベクトルです。）同様に、ベクトルに一致させることができます。x 2 x 1 y x 1 x 3、x 4、… x $x_1$$x_2$$x_1$$y$$x_1$$x_3, x_4, \ldots$$x_1$

次に、2つの残差およびを含む平面を考えます。私は作るために絵を向けるだろう私が作るために、前の写真を指向と同じように、水平この時間ので、水平マッチャーの役割を果たします。$y_{\cdot 1}$$x_{2 \cdot 1}$$x_{2\cdot 1}$$x_1$$x_{2\cdot 1}$

3つのケースのそれぞれで、残差が一致に対して垂直であることに注意してください。 （そうでなければ、マッチを調整して、、またはにさらに近づけることができます。）$y$$x_2$$y_{\cdot 1}$

重要な考え方は、最後の図に到達するまでに、関係する両方のベクトル（および）が構築によりにすでに垂直になっていることです。したがって、に対するその後の調整には、すべて垂直な変更が含まれます。その結果、新しい一致と新しい残余はに対して垂直のままです。$x_{2\cdot 1}$$y_{\cdot 1}$$x_1$$y_{\cdot 1}$$x_1$$\gamma x_{2\cdot 1}$$y_{\cdot 12}$$x_1$

（他のベクトルが関与する場合、同じ方法でそれらの残差をに一致させます。）$x_{3\cdot 1}, x_{4\cdot 1}, \ldots$$x_2$

もう1つ重要な点があります。この構造は、と両方に垂直な残余を生成しました。これは、がおよびまたがる空間（3次元ユークリッド領域）の残差でもあることを意味します。つまり、残差のマッチングと取得のこの2段階プロセスは、最も近い平面内の位置を見つけたに違いありません。この幾何学的記述では、とどちらが最初に来たかは関係ないため、次のように結論付けます。、X 1 、X 2 、Y ⋅ 12、X 1、X 2、Y 、X 1、X 2、Y 、X 1 、X 2 、X 2 X $y_{\cdot 12}$$x_1$$x_2$$y_{\cdot 12}$$x_1, x_2,$$y$$x_1, x_2$$y$$x_1$$x_2$プロセスは、他の順序で行われていた場合で始まるマッチャーなどして、使用して、結果は同じだっただろう。$x_2$$x_1$

（追加のベクターがある場合、これらのベクターのそれぞれがマッチャーになる順番になるまで、この「マッチャーの取り出し」プロセスを続行します。どの場合でも、操作はここに示すものと同じであり、常に飛行機。）

重回帰への適用

数値の列は幾何ベクトルとまったく同じように機能するため、この幾何プロセスには直接重回帰解釈があります。 それらはベクトルに必要なすべてのプロパティを（公理的に）持っているため、完璧な数学的精度と厳密さで同じ方法で考えて操作することができます。 変数を設定し、複数の回帰では、、および、目的はの組み合わせを見つけることですと（などに最も近い）。幾何学的に、とそのようなすべての組み合わせ（などX 2、… Y X 1 X 2 Y X 1 X 2 X 1、X 2、$X_1$$X_2, \ldots$$Y$$X_1$$X_2$$Y$$X_1$$X_2$）スペースのポイントに対応します。 多重回帰係数のあてはめは、ベクトルの投影（「マッチング」）にすぎません。幾何学的な議論は、$X_1, X_2, \ldots$

1. マッチングは順次行うことができ、

2. マッチングが行われる順序は重要ではありません。

他のすべてのベクトルを残差で置き換えることによりマッチャーを「取り出す」プロセスは、マッチャーの「制御」と呼ばれることがよくあります。図で見たように、マッチャーが制御されると、後続のすべての計算はそのマッチャーに垂直な調整を行います。必要に応じて、「制御」を「他のすべての変数に対するマッチャーの寄与/影響/効果/関連付けのアカウンティング（最小二乗）」と考えることもできます。

参照資料

https://stats.stackexchange.com/a/46508の回答で、データと作業コードを使用してこのすべての動作を確認できます。その答えは、飛行機の写真よりも算術を好む人にとってより魅力的かもしれません。（それでも、マッチャーが順次導入されるときに係数を調整する算術は簡単です。）マッチングの言語は、Fred MostellerとJohn Tukeyからです。

「他の変数を制御する」手段としての共変量調整に関するこれまでの優れた議論があります。しかし、それは物語の一部にすぎないと思います。実際、多くの（他の）設計、モデル、および機械学習ベースの戦略があり、多くの交絡変数の影響に対処しています。これは、いくつかの最も重要な（調整前の）トピックの簡単な調査です。調整は、他の変数の「制御」の最も広く使用されている手段ですが、優れた統計学者は、他のプロセスおよび手順のコンテキストで調整が行う（および行わない）ことを理解する必要があります。

マッチング：

マッチングは、観測を2つのセットにグループ化するペア分析を設計する方法です。2つのセットは、他の点では最も重要な側面が類似しています。たとえば、教育、収入、職業歴、年齢、配偶者の有無などは一致しているが、焦りの点では一致しない2人の個人をサンプリングできます。バイナリ露出の場合、すべての一致する機能を制御するBMIの平均差をテストするには、単純なペアのtテストで十分です。連続的な露出をモデル化する場合、類似の尺度は、差の原因を通る回帰モデルになります。カーリン2005を参照

重み付け

重み付けは、連続またはバイナリの予測子と結果間の関連をモデル化する別の単変量解析であり、曝露レベルの分布がグループ間で均一になるようにします。これらの結果は通常、2か国またはいくつかの病院の年齢標準化死亡率などの標準化されたものとして報告されます。間接標準化は、参照対象集団の層の分布に投影される「対照」または「健康な」集団で得られた割合から、予想される結果の分布を計算します。直接的な標準化は他の方法で行われます。これらのメソッドは通常、バイナリの結果に使用されます。傾向スコアの重み付け$X$$Y$バイナリ露出の確率のアカウントとその点でのそれらの変数のコントロール。暴露の直接標準化に似ています。Rothman、Modern Epidemiology 3rd editionを参照してください。

ランダム化と準ランダム化

微妙な点ですが、実際に特定の実験条件に合わせて人をランダム化できる場合、他の変数の影響は軽減されます。他の変数が何であるかを知る必要さえないので、それは非常に強い状態です。その意味で、あなたは彼らの影響を「コントロール」しました。これは観察研究では不可能ですが、傾向スコア法は、準ランダム化研究と同じ方法で分析できるように、参加者に重み、調整、または一致を可能にする曝露の単純な確率的尺度を作成することがわかります。Rosenbaum、Rubin 1983を参照してください。

マイクロシミュレーション

ランダム化されたスタディから得られたデータをシミュレートする別の方法は、マイクロシミュレーションを実行することです。ここでは、モデルのようなより大きくより洗練された機械学習に実際に注意を向けることができます。Judea Pearlが私が気に入った造語は「Oracle Models」です。これは、多くの機能と結果の予測と予測を生成できる複雑なネットワークです。そのようなオラクルモデルの情報を「折り畳み」、ランダム化コホートを代表するバランスのとれたコホートで結果をシミュレートし、「制御変数」分布でバランスを取り、単純なt検定ルーチンを使用して評価することができます。起こりうる違いの大きさと精度。Rutter、Zaslavsky、Feuer 2012をご覧ください

回帰モデルのマッチング、重み付け、共変量調整はすべて同じ関連を推定するため、他の変数を「制御」する方法であると主張できます。

ソフトウェアは、文字通り変数を制御しません。回帰 行列表記に精通している場合、最小二乗解がことを覚えているかもしれません。そのため、ソフトウェアは計算線形代数法を使用してこの式を数値的に評価します。B = （X T X ）- 1 X T$Y=X\beta+\varepsilon$$b=(X^TX)^{-1}X^TY$