条件付きガウス分布の背後にある直感とは何ですか?


46

と仮定します。その後の条件付き分布と仮定多変量通常、平均して分布しています。XN2(μ,Σ)X1X2=x2

E[P(X1|X2=x2)]=μ1+σ12σ22(x2μ2)

および分散:

Var[P(X1|X2=x2)]=σ11σ122σ22

より多くの情報があるため、分散が減少することは理にかなっています。しかし、平均式の背後にある直感は何ですか?と間の共分散は、条件付き平均にどのように影響しますか?X1X2


2
あなたの質問は、単に「なぜ条件付き分布=の平均ではないのですか?」μ1
GUNG -復活モニカ

@gung:場合、これは真です。しかし、なぜと関係するのでしょうか?σ 11x2=μ2σ11σ22
eroeijr

3
自然な(「標準化された」)単位で、します(。これらの用語では、条件付き分布はおよび\ rho = \ sigma_ {12} /(\ sigma_1 \ sigma_2)の正規分布です| \ rho | \ le 1が「平均復帰」または「平均への回帰」と呼ばれるという事実:これには130年前に遡る広範な技術的および一般的な文献があります。Xi=μ1+σiZi EZ1|Z2=ρZ2ρ=σ12/σ1σ2| ρ| 1σi=σiiE(Z1|Z2)=ρZ2ρ=σ12/(σ1σ2).|ρ|1
whuber

2
eroeijr、この投稿はあなたのものですか?(開始時の「ゲスト」以外に、名前に明確な類似性があります。)それがあなたのものである場合、2つのアカウントをマージし、あなたが持っているポイントでその大きなボーナスを取るように依頼する必要があります。
Glen_b

2
@Glen_bが示唆したように、複数の(未登録の)アカウントがある場合は、stats.stackexchange.com / contactのフォームに記入して、それらのマージをリクエストしてください。
chl

回答:


57

あらすじ

質問のすべての文は、楕円のプロパティとして理解できます。のみ必要とされている二変量正規分布に特定のプロパティには、中にいるという事実である標準の二変量正規分布どの--forとの条件付き分散-無相関であるに依存しない。(これは、相関の欠如が共同で正常な変数の独立性を意味するという事実の直接的な結果です。)XX,YY YXYYX

次の分析では、楕円の特性がどのようなものであるかを正確に示し、簡単に思い出せるように、基本的な考え方と最も単純な算術を使用して問題の方程式をすべて導き出します。


円対称分布

質問の分布は、二変量正規分布のファミリーのメンバーです。これらはすべて、2つの相関のない標準正規分布(その2つの座標を形成)を記述する基本的 2変量正規から派生しています。

図1:標準の2変量正規分布

左側は、標準の2変量正規密度のレリーフプロットです。右側は擬似3Dで同じものを示しており、前部は切り取られています。

これは、円対称分布の例です。密度は、中心点からの距離によって変化しますが、その点から離れる方向では変化しません。したがって、グラフの輪郭(右側)は円です。

ただし、他のほとんどの2変量正規分布は円対称ではありません。その断面は楕円です。これらの楕円は、多くの二変量点群の特徴的な形状をモデル化します。

図2:プロットされた別の2変量正規分布

これらは共分散行列を持つ二変量正規分布の肖像です これは、相関係数データのモデルです。-2/3Σ=(123231).2/3


楕円を作成する方法

楕円は、その最も古い定義によれば、円錐断面であり、別の平面への投影によって歪められた円です。プロジェクションの性質を考慮することにより、ビジュアルアーティストと同じように、理解しやすく計算しやすい一連の歪みに分解することができます。

最初に、正しい長さになるまで、楕円の長軸となる部分に沿って円を引き伸ばします(または、必要に応じて絞ります)。

ステップ1:ストレッチ

次に、この楕円を短軸に沿って絞ります(または引き伸ばします)。

ステップ2:絞る

第三に、その中心の周りを最終的な方向に回転させます。

ステップ3:回転

最後に、目的の場所に移動します。

ステップ4:シフト

これらはすべてアフィン変換です。 (実際、最初の3つは線形変換です。最後のシフトによりアフィンになります。)アフィン変換の構成は(定義により)アフィンのままであるため、円から最終楕円への正味の歪みはアフィン変換です。しかし、それは多少複雑になる可能性があります。

複合変換

楕円の(自然な)軸に何が起こったかに注目してください。シフトとスクイーズによって作成された後、それらは(もちろん)軸自体に沿って回転およびシフトします。これらの軸は楕円自体の対称軸なので、描かれていないときでも簡単に見ることができます。

楕円の理解を、2変量正規族のような歪んだ円形対称分布の理解に適用したいと思います。残念ながら、これらの歪みには問題があります軸と軸の区別を尊重していません。ステップ3の回転はそれを台無しにします。背景のかすかな座標グリッドを見てください:これらはグリッド(メッシュY 1 / 2 Xxy1/2両方の方向で)歪んでいるとき。最初の画像では、元の垂直線(実線)の間隔が2倍になっています。2番目の画像では、元の水平線(破線で表示)の間隔が3分の1に縮小されています。3番目の画像では、グリッドの間隔は変更されていませんが、すべての線が回転しています。それらは4番目の画像で右上に移動します。最終的な画像は、最終的な結果を示し、この引き伸ばされた、絞られた、回転された、シフトされたグリッドを表示します。 一定の座標の元の実線は垂直ではなくなりました。x

キーとなるアイディア回帰核心と言ってもいいかもしれませんが、垂直線を回転させずに円を楕円に変形できる方法があるということです。回転が犯人だったので、実際に何も回転していないように見えることなく、追跡に切り取り、回転した楕円作成する方法を示しましょう!

歪んだ楕円

これはスキュー変換です。 実際には一度に2つのことを行います。

  • それはに絞る(量によって方向、例えば)。これにより、軸はそのままになります。λ Xyλx

  • 結果のポイントを正比例する量だけ持ち上げます。この比例定数をと書くと、これはを送ります。X ρ X Y X Y + ρ X (x,y)xρ(x,y)(x,y+ρx)

2番目のステップでは、前の図に示すように、軸を行に持ち上げます。その図に示すように、特殊なスキュー変換を使用します。これは、楕円を効果的に45度回転させ、単位正方形に内接させます。この楕円の長軸は線です。が視覚的に明らかです。(負の値は、楕円を右ではなく右に傾けます。) これは、「平均への回帰」の幾何学的な説明です。、Y = ρ X 、Y = X | ρ | 1 ρxy=ρxy=x|ρ|1ρ

45度の角度を選択すると、楕円は正方形の対角線(線一部)を中心に対称になります。このスキュー変換のパラメーターを把握するには、次の点を確認してください。y=x

  • によるリフティングは、ポイントをます。1 0 )、 1 ρ ρx(1,0)(1,ρ)

  • 主対角線の周りの対称性は、ポイントも楕円上にあることを意味します。(ρ,1)

この点はどこから始まったのですか?

  • 単位円上の元の(上側の)ポイント(持つ暗黙式)と座標あった。、X ρ ρ x2+y2=1xρ(ρ,1ρ2)

  • の形式の点は最初に絞り込まれ、次に持ち上げられます。ρ λ Y ρ λ Y + ρ × ρ (ρ,y)(ρ,λy)(ρ,λy+ρ×ρ)

方程式の一意の解はです。 これは、によって垂直方向に傾斜したときに45度の角度で楕円を作成するために、垂直方向のすべての距離を絞る必要がある量です。λ=(ρ,λ1ρ2+ρ2)=(ρ,1) ρλ=1ρ2ρ

これらのアイデアを確固たるものにするために、ここに、これらのスキュー変換によって、円対称分布が楕円形の輪郭を持つ分布にどのように歪められるかを示すタブローがあります。パネルは、の値を示しに等しいおよび、左から右へ。0 3 / 10 6 / 10 9 / 10 ρ0, 3/10, 6/10,9/10,

タブロー

左端の図は、水平軸の一部だけでなく、円形輪郭の1つを囲む開始点のセットを示しています。以降の図では、矢印を使用して、これらのポイントがどのように移動するかを示しています。水平軸の画像は、傾斜した線分(傾斜)として表示されます。(色は、異なる図の異なる密度を表します。)ρ


応用

回帰を行う準備ができました。 回帰を実行するための標準的でエレガントな(まだ単純な)方法は、最初に新しい測定単位で元の変数を表現することです。つまり、それらの平均を変数の中心にし、標準偏差を単位として使用します。これにより、分布の中心が原点に移動し、その楕円形の輪郭がすべて45度(上または下)傾斜します。

これらの標準化されたデータが円形の点群を形成する場合、回帰は簡単ですを条件とする平均はすべてであり、原点を通る線を形成します。(円形対称は、軸に関する対称性を意味し、すべての条件付き分布が対称であり、平均がことを示しています。)これまで見てきたように、標準化された分布は、この基本的な単純な状況から2段階で生じると見なすことができます。 、すべての(標準化された)値は、値に対してで乗算されます。次に、持つすべての値はによって垂直方向に歪められます0 、X 0 、Y バツ0バツ0y ρXρXX1ρ2ρバツρバツ。これらの歪みは、回帰線(条件付き平均をに対してプロットします)に対して何をしましたか?バツ

  • 座標の縮小により、すべての垂直偏差に定数が乗算されました。これは、単に垂直スケールを変更し、すべての条件付き手段をままにしました。0y0

  • 垂直スキュー変換を添加で全条件の値にそれによって追加、曲線:その条件を意味するように線であることが判明している回帰曲線、。X ρ X 、Y = ρ Xρバツバツρバツy=ρバツ

同様に、軸は円対称分布に適合する最小二乗であるため、変換された分布に適合する最小二乗も線であることが検証できます。最小二乗線は回帰直線と一致します。 。、Y = ρ Xバツy=ρバツ

これらの美しい結果は、垂直スキュー変換座標を変更しないという事実の結果ですバツ

もっと簡単に言うことができます:

  • ときに番組を(収縮約)第一弾有する任意の円対称分布の条件付き分散乗じた。Y | X X,Y)Y|X(1ρ2)2=1ρ2

  • より一般的には、垂直スキュー変換は各条件付き分布をで再スケーリングし、次にセンタリングします。 ρX1ρ2ρx

標準の二変量正規分布の場合、条件付き分散はに依存しない定数(等しい)です。このスキュー変換を適用した後、垂直偏差の条件付き分散はまだ一定で等しいとすぐに結論付けます。2変量正規の条件付き分布はそれ自体が正規であるため、平均と分散がわかったので、それらに関する完全な情報が得られます。X 1 - ρ 21x1ρ2

最後に、を元の共分散行列に関連付ける必要があります。ΣρΣ このため、2つの標準化された変数と間の相関係数の(最も)定義は、それらの積期待値であることを思い出してください。(の相関および単にそれらの標準化バージョンの相関であると宣言されている。)したがって、以下のいずれかの円対称の分布を、我々は変数にスキュー変換を適用し、我々は書き込むことができます X Y X Y X Y X Y XYXYXY(X,Y)

ε=YρX

回帰直線からの垂直偏差については、が中心に対称な分布を持たなければならないことに注意してください。どうして?ので、スキュー変換を適用し、周りの対称的な分布であった()とし、我々はそれを圧迫し、(b)でそれを持ち上げ。前者は対称性を変更しませんでしたが、後者は、QED で対称化しました。次の図はこれを示しています。0 Y 0 ρ X ρ Xε0Y0ρXρX

条件付き分布と最小二乗線を示す3Dプロット

黒い線は、さまざまな規則的な間隔の値で条件付き密度に比例した高さをトレースします。太い白線は回帰線で、各条件曲線の対称中心を通過します。このプロットは、標準化された座標で場合を示しています。ρ = - 1 / 2xρ=1/2

その結果

E(XY)=E(X(ρX+ε))=ρE(X2)+E(Xε)=ρ(1)+0=ρ.

最終的な等式は、2つの事実によるものです。(1)が標準化されているため、その平方の期待値は、標準化された分散であり、構築によりに等しくなります。及び(2)の期待の期待値に等しいの対称性のおかげで。後者は前者の負であるため、両方とも等しくなければなりません。この用語は除外されます。1 X ε X - ε ε 0X1XεX(ε)ε0

スキュー変換のパラメーター、と相関係数であると特定しました。X YρXY


結論

座標を保持する垂直スキュー変換で円を歪めることによって楕円が生成される可能性があることを観察することにより、円対称から得られるランダム変数分布の輪郭を理解することができました。 1つは、ストレッチ、スクイーズ、回転、およびシフト(つまり、アフィン変換)です。点で結果を再発現する単位と、それらの手段をバック追加する--which量と、その標準偏差を乗じた後と --weことが判明:X Y のX Y μ X μ Y σ X σ Yx(X,Y)xyμxμyσxσy

  • 最小二乗線と回帰曲線はどちらも、元の座標の「平均点」に対応する標準化された変数の原点を通過します。(μx,μy)

  • 条件付き平均の軌跡であると定義される回帰曲線 最小二乗線と一致します。{(x,ρx)},

  • 標準化された座標の回帰直線の傾きは、相関係数です。したがって、元の単位ではと等しくなります。σ Y ρ / σ Xρσyρ/σx

したがって、回帰直線の方程式は

y=σyρσx(xμx)+μy.
  • の条件付き分散は、の条件付き分散です。ここで、は標準分布(両方に単位分散がある円対称)座標)、、および。σ 2 Y1 - ρ 2Y ' | X 'X 'Y 'X ' = X - μ X/ σ X Y ' = Y - μ Y/ σ YY|Xσy2(1ρ2)Y|X(X,Y)X=(XμX)/σxY=(YμY)/σY

これらの結果はいずれも二変量正規分布の特定の特性ではありません!2変量正規ファミリの場合、の条件付き分散は一定(および等しい)です。この事実により、そのファミリは特に簡単に使用できます。特に: 1Y|X1

  • 共分散行列では、係数はおよび二変量正規分布の条件付き分散はσ 11 = σ 2 Xσ 12 = σ 21 = ρ σ X σ Yσ 22 = σ 2 YY | バツΣσ11=σx2, σ12=σ21=ρσxσy,σ22=σy2,Y|X

σy2(1ρ2)=σ22(1(σ12σ11σ22)2)=σ22σ122σ11.

テクニカルノート

重要なアイデアは、線形変換を記述する行列の観点から述べることができます。が固有ベクトルである相関行列の適切な「平方根」を見つけることになります。副<文>この[前述の事実の]結果として、それ故に、従って、だから◆【同】consequently; therefore <文>このような方法で、このようにして、こんなふうに、上に述べたように◆【同】in this manner <文>そのような程度まで<文> AひいてはB◆【用法】A and thus B <文>例えば◆【同】for example; as an example:y

(1ρρ1)=AA

どこ

A=(10ρ1ρ2).

よく知られている平方根は、最初に説明したものです(スキュー変換の代わりに回転を含む)。それは特異値分解によって生成されたものであり、主成分分析(PCA)で重要な役割を果たします。

(1ρρ1)=BB;

B=Q(ρ+1001ρ)Q

ここで、は、度回転の回転行列です。45Q=(12121212)45

したがって、PCAと回帰の区別は、相関行列の2つの特別な平方根の違いに帰着します。


1
美しい写真と素晴らしい説明。アップデートには、不完全なままの文章がいくつかありました(基本的には何を言おうとしていたのかはわかっていましたが、最終的な文言には決まっていないようでした)。
枢機

1
@枢機Thankありがとう。私はこれを読み直し、そのようなこと、そして避けられないタイプミスを探します。あなたは、博覧会のいくつかのギャップなど、あなたが確かに気づいた他のことを指摘するにはあまりにも親切です。最大のものは、これらの楕円が45度の角度であることを実際に示していないことです(同様に、単位正方形に内接しています)。私は単純にそれを仮定しました。私はまだ簡単なデモを探しています。もう1つは、スキュー変換が元のストレッチ-スクイーズ-回転-シフトとは異なる分布を生成する可能性があることを心配するかもしれませんが、そうではないことを示すのは簡単です。
whuber

3
それは本当に面白いです。時間をかけて書いてくれてありがとう。
ビル

アプリケーションの第1段落には、「それらをその中心に置き、標準偏差を単位として使用します。これにより、分布の中心が原点に移動し、楕円の輪郭がすべて45度傾斜します」と書かれています。変数をどのように中心に配置して中心を原点に移動し、45度に揃えるかを理解していますか?
-Kaushal28

@whuber単位円(標準化されたサンプルセット)で開始すると、相関は0であると言うので、。しかし、どのように0相関が独立を意味するのでしょうか?(はによって取得されるため通常は正しくありませんか?従属変数でさえ0の相関関係を生成できますか?fXYfXfYf(X,Y)=e12(x2+y2)f(X,Y)f(X)f(Y)
Parthiban Rajendran

21

これは本質的に線形(OLS)回帰です。そのケースでは、の条件付き分布発見さ所与X = X のI。(厳密に言えば、OLS回帰はXの分布に関する仮定を行いませんが、例は多変量正規ですが、これらを無視します。)X 1X 2の間の共分散が0でない場合、平均条件の分布X 2あなたの値変化としてシフトする必要があるXを1YX=xiXX1X20X2x1多変量分布を「スライスする」場所。以下の図を検討してください。

ここに画像の説明を入力してください

X1X2X2X1μX2|X1=25μX2|X1=45

σ22ΣX2σ2σ

y^i

β^1=Cov(x,y)Var(x)
σ12/σ22μX2|X1=xiμX2μX2 x2iX1X2

より多くの変数を条件にするとどうなりますか?平均と分散から余分な項を追加したり減算したりしますか?

2
YXy^i=Xiβ^β^=(XTX)1XTY

グラフの作成に何を使用しましたか?Mathematica?
mpiktas

@mpiktas、私のグラフまたはwhuberのですか?私は彼がMathematicaにあると信じて、私はワット/ R.(醜いコードけれども...)上の1を作った
GUNG -復活モニカ

1
@mpiktas、私のコードが「素晴らしい」と表現されることは想像できません...通常の曲線はw /で描かれdnorm(y)ます。出力を25&に追加し45、&​​として使用しxます。
GUNG -復活モニカ

3

X1X2σ1,2>0X2X2X1X1

X2=x2>μ2X2X1σ1,2>0X1X2X2X1

E{X1|X2=x2}=μ1+σ1,2σ2,2(x2μ2)
X2E{X1|X2=x2}>μ1

X1X2

BLP{X1|X2=x2}=μ1+σ1,2σ2,2(x2μ2)
BLP

バツ2μ2σ12/σ22

1
バツ2>μ2Eバツ1|バツ2=バツ2<μ1σ12>0

1
「直感的」は「非定量的」を意味するものではありません。2つは一緒に行くことができます。定量的な結果を与える直感的な議論を見つけることはしばしば困難ですが、頻繁に行うことができ、そのような議論を見つけるプロセスは常に照らされています。
whuber

最後の段落について:正規分布はそれほど特別ではないことがわかりました。円対称分布のアフィン変換によって作成されたファミリは、特別なものです(非常に多くあります)。
whuber

@whuberそれはかなり興味深いです。リンクや引用はありますか?
ビル
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.