と仮定します。その後の条件付き分布と仮定多変量通常、平均して分布しています。
および分散:
より多くの情報があるため、分散が減少することは理にかなっています。しかし、平均式の背後にある直感は何ですか?と間の共分散は、条件付き平均にどのように影響しますか?
と仮定します。その後の条件付き分布と仮定多変量通常、平均して分布しています。
および分散:
より多くの情報があるため、分散が減少することは理にかなっています。しかし、平均式の背後にある直感は何ですか?と間の共分散は、条件付き平均にどのように影響しますか?
回答:
質問のすべての文は、楕円のプロパティとして理解できます。のみ必要とされている二変量正規分布に特定のプロパティには、中にいるという事実である標準の二変量正規分布どの--forとの条件付き分散-無相関であるに依存しない。(これは、相関の欠如が共同で正常な変数の独立性を意味するという事実の直接的な結果です。)XY Y
次の分析では、楕円の特性がどのようなものであるかを正確に示し、簡単に思い出せるように、基本的な考え方と最も単純な算術を使用して問題の方程式をすべて導き出します。
質問の分布は、二変量正規分布のファミリーのメンバーです。これらはすべて、2つの相関のない標準正規分布(その2つの座標を形成)を記述する基本的な 2変量正規から派生しています。
左側は、標準の2変量正規密度のレリーフプロットです。右側は擬似3Dで同じものを示しており、前部は切り取られています。
これは、円対称分布の例です。密度は、中心点からの距離によって変化しますが、その点から離れる方向では変化しません。したがって、グラフの輪郭(右側)は円です。
ただし、他のほとんどの2変量正規分布は円対称ではありません。その断面は楕円です。これらの楕円は、多くの二変量点群の特徴的な形状をモデル化します。
これらは共分散行列を持つ二変量正規分布の肖像です これは、相関係数データのモデルです。-2/3
楕円は、その最も古い定義によれば、円錐断面であり、別の平面への投影によって歪められた円です。プロジェクションの性質を考慮することにより、ビジュアルアーティストと同じように、理解しやすく計算しやすい一連の歪みに分解することができます。
最初に、正しい長さになるまで、楕円の長軸となる部分に沿って円を引き伸ばします(または、必要に応じて絞ります)。
次に、この楕円を短軸に沿って絞ります(または引き伸ばします)。
第三に、その中心の周りを最終的な方向に回転させます。
最後に、目的の場所に移動します。
これらはすべてアフィン変換です。 (実際、最初の3つは線形変換です。最後のシフトによりアフィンになります。)アフィン変換の構成は(定義により)アフィンのままであるため、円から最終楕円への正味の歪みはアフィン変換です。しかし、それは多少複雑になる可能性があります。
楕円の(自然な)軸に何が起こったかに注目してください。シフトとスクイーズによって作成された後、それらは(もちろん)軸自体に沿って回転およびシフトします。これらの軸は楕円自体の対称軸なので、描かれていないときでも簡単に見ることができます。
楕円の理解を、2変量正規族のような歪んだ円形対称分布の理解に適用したいと思います。残念ながら、これらの歪みには問題があります軸と軸の区別を尊重していません。ステップ3の回転はそれを台無しにします。背景のかすかな座標グリッドを見てください:これらはグリッド(メッシュY 1 / 2 X両方の方向で)歪んでいるとき。最初の画像では、元の垂直線(実線)の間隔が2倍になっています。2番目の画像では、元の水平線(破線で表示)の間隔が3分の1に縮小されています。3番目の画像では、グリッドの間隔は変更されていませんが、すべての線が回転しています。それらは4番目の画像で右上に移動します。最終的な画像は、最終的な結果を示し、この引き伸ばされた、絞られた、回転された、シフトされたグリッドを表示します。 一定の座標の元の実線は垂直ではなくなりました。
キーとなるアイディアは、回帰の核心と言ってもいいかもしれませんが、垂直線を回転させずに円を楕円に変形できる方法があるということです。回転が犯人だったので、実際に何も回転していないように見えることなく、追跡に切り取り、回転した楕円を作成する方法を示しましょう!
これはスキュー変換です。 実際には一度に2つのことを行います。
それはに絞る(量によって方向、例えば)。これにより、軸はそのままになります。λ X
結果のポイントを正比例する量だけ持ち上げます。この比例定数をと書くと、これはを送ります。X ρ (X 、Y )(X 、Y + ρ X )
2番目のステップでは、前の図に示すように、軸を行に持ち上げます。その図に示すように、特殊なスキュー変換を使用します。これは、楕円を効果的に45度回転させ、単位正方形に内接させます。この楕円の長軸は線です。が視覚的に明らかです。(負の値は、楕円を右ではなく右に傾けます。) これは、「平均への回帰」の幾何学的な説明です。、Y = ρ X 、Y = X | ρ | ≤ 1 ρ
45度の角度を選択すると、楕円は正方形の対角線(線一部)を中心に対称になります。このスキュー変換のパラメーターを把握するには、次の点を確認してください。
によるリフティングは、ポイントをます。(1 、0 )、 (1 、ρ )
主対角線の周りの対称性は、ポイントも楕円上にあることを意味します。
この点はどこから始まったのですか?
単位円上の元の(上側の)ポイント(持つ暗黙式)と座標あった。、X ρ (ρ 、√
の形式の点は最初に絞り込まれ、次に持ち上げられます。(ρ 、λ Y )(ρ 、λ Y + ρ × ρ )
方程式の一意の解はです。 これは、によって垂直方向に傾斜したときに45度の角度で楕円を作成するために、垂直方向のすべての距離を絞る必要がある量です。λ= √ ρ
これらのアイデアを確固たるものにするために、ここに、これらのスキュー変換によって、円対称分布が楕円形の輪郭を持つ分布にどのように歪められるかを示すタブローがあります。パネルは、の値を示しに等しいおよび、左から右へ。0 、3 / 10 、6 / 10 、9 / 10 、
左端の図は、水平軸の一部だけでなく、円形輪郭の1つを囲む開始点のセットを示しています。以降の図では、矢印を使用して、これらのポイントがどのように移動するかを示しています。水平軸の画像は、傾斜した線分(傾斜)として表示されます。(色は、異なる図の異なる密度を表します。)
回帰を行う準備ができました。 回帰を実行するための標準的でエレガントな(まだ単純な)方法は、最初に新しい測定単位で元の変数を表現することです。つまり、それらの平均を変数の中心にし、標準偏差を単位として使用します。これにより、分布の中心が原点に移動し、その楕円形の輪郭がすべて45度(上または下)傾斜します。
これらの標準化されたデータが円形の点群を形成する場合、回帰は簡単ですを条件とする平均はすべてであり、原点を通る線を形成します。(円形対称は、軸に関する対称性を意味し、すべての条件付き分布が対称であり、平均がことを示しています。)これまで見てきたように、標準化された分布は、この基本的な単純な状況から2段階で生じると見なすことができます。 、すべての(標準化された)値は、値に対してで乗算されます。次に、持つすべての値はによって垂直方向に歪められます0 、X 0 、Y √ ρXρXX。これらの歪みは、回帰線(条件付き平均をに対してプロットします)に対して何をしましたか?
座標の縮小により、すべての垂直偏差に定数が乗算されました。これは、単に垂直スケールを変更し、すべての条件付き手段をままにしました。0
垂直スキュー変換を添加で全条件の値にそれによって追加、曲線:その条件を意味するように線であることが判明している回帰曲線、。X ρ X 、Y = ρ X
同様に、軸は円対称分布に適合する最小二乗であるため、変換された分布に適合する最小二乗も線であることが検証できます。最小二乗線は回帰直線と一致します。 。、Y = ρ X
これらの美しい結果は、垂直スキュー変換が座標を変更しないという事実の結果です。
もっと簡単に言うことができます:
ときに番組を(収縮約)第一弾有する任意の円対称分布の条件付き分散乗じた。Y | X (√
より一般的には、垂直スキュー変換は各条件付き分布をで再スケーリングし、次にセンタリングします。 ρX
標準の二変量正規分布の場合、条件付き分散はに依存しない定数(等しい)です。このスキュー変換を適用した後、垂直偏差の条件付き分散はまだ一定で等しいとすぐに結論付けます。2変量正規の条件付き分布はそれ自体が正規であるため、平均と分散がわかったので、それらに関する完全な情報が得られます。X 1 - ρ 2
最後に、を元の共分散行列に関連付ける必要があります。Σ このため、2つの標準化された変数と間の相関係数の(最も)定義は、それらの積期待値であることを思い出してください。(の相関および単にそれらの標準化バージョンの相関であると宣言されている。)したがって、以下のいずれかの円対称の分布を、我々は変数にスキュー変換を適用し、我々は書き込むことができます X Y X Y X Y (X 、Y )
回帰直線からの垂直偏差については、が中心に対称な分布を持たなければならないことに注意してください。どうして?ので、前スキュー変換を適用し、周りの対称的な分布であった()とし、我々はそれを圧迫し、(b)でそれを持ち上げ。前者は対称性を変更しませんでしたが、後者は、QED で対称化しました。次の図はこれを示しています。0 Y 0 ρ X ρ X
黒い線は、さまざまな規則的な間隔の値で条件付き密度に比例した高さをトレースします。太い白線は回帰線で、各条件曲線の対称中心を通過します。このプロットは、標準化された座標で場合を示しています。ρ = - 1 / 2
その結果
最終的な等式は、2つの事実によるものです。(1)が標準化されているため、その平方の期待値は、標準化された分散であり、構築によりに等しくなります。及び(2)の期待の期待値に等しいの対称性のおかげで。後者は前者の負であるため、両方とも等しくなければなりません。この用語は除外されます。1 X ε X (- ε )ε 0
スキュー変換のパラメーター、と相関係数であると特定しました。X Y
座標を保持する垂直スキュー変換で円を歪めることによって楕円が生成される可能性があることを観察することにより、円対称から得られるランダム変数分布の輪郭を理解することができました。 1つは、ストレッチ、スクイーズ、回転、およびシフト(つまり、アフィン変換)です。点で結果を再発現する原単位と、それらの手段をバック追加する--which量と、その標準偏差を乗じた後と --weことが判明:(X 、Y )のX Y μ X μ Y σ X σ Y
最小二乗線と回帰曲線はどちらも、元の座標の「平均点」に対応する標準化された変数の原点を通過します。
条件付き平均の軌跡であると定義される回帰曲線 最小二乗線と一致します。
標準化された座標の回帰直線の傾きは、相関係数です。したがって、元の単位ではと等しくなります。σ Y ρ / σ X
したがって、回帰直線の方程式は
これらの結果はいずれも二変量正規分布の特定の特性ではありません!2変量正規ファミリの場合、の条件付き分散は一定(および等しい)です。この事実により、そのファミリは特に簡単に使用できます。特に: 1
重要なアイデアは、線形変換を記述する行列の観点から述べることができます。が固有ベクトルである相関行列の適切な「平方根」を見つけることになります。副<文>この[前述の事実の]結果として、それ故に、従って、だから◆【同】consequently; therefore <文>このような方法で、このようにして、こんなふうに、上に述べたように◆【同】in this manner <文>そのような程度まで<文> AひいてはB◆【用法】A and thus B <文>例えば◆【同】for example; as an example:
どこ
よく知られている平方根は、最初に説明したものです(スキュー変換の代わりに回転を含む)。それは特異値分解によって生成されたものであり、主成分分析(PCA)で重要な役割を果たします。
ここで、は、度回転の回転行列です。45
したがって、PCAと回帰の区別は、相関行列の2つの特別な平方根の違いに帰着します。
これは本質的に線形(OLS)回帰です。そのケースでは、の条件付き分布発見さ所与X = X のI。(厳密に言えば、OLS回帰はXの分布に関する仮定を行いませんが、例は多変量正規ですが、これらを無視します。)X 1とX 2の間の共分散が0でない場合、平均条件の分布X 2あなたの値変化としてシフトする必要があるXを1多変量分布を「スライスする」場所。以下の図を検討してください。
。
dnorm(y)
ます。出力を25
&に追加し45
、&として使用しx
ます。