統計の文脈で直交とはどういう意味ですか？

60

他の文脈では、直交とは「直角」または「垂直」を意味します。

統計的文脈で直交とはどういう意味ですか？

明確化をありがとう。

descriptive-statistics

2

質問をありがとう。私はもっと一般的な質問をしました：直交性のすべての場合に共通するものは何ですか。また、統計的独立性がこの特性をどのように満たすかについても興味がありました。physics.stackexchange.com/questions/67506

— Val

5

ここでの答えがどれも、通常それが数学的な「線形代数」という言葉の意味を意味することを述べていないことに驚いています。私たちは、「変数の直交セット」について話すとき例えば、通常はそれがあることを意味する

変数のセットを持つ行列のために

。「直交」も使用されます。

X^{T} X = I

$X^{T}X=I$

X

$X$

— 確率的

4

@probability "Orthogonal"は、2次形式

ベクトル空間に意味があり

Q

$Q$ ます。2つのベクトル

v

$v$ と

w

$w$ は、

場合にのみ直交し

Q (v, w) = 0

$Q(v,w)=0$ 。"正規直交"は、他に、その

Q (v, v) = 1 = Q (w, w)

$Q(v,v)=1=Q(w,w)$ 。したがって、「直交」と「直交」は同義語ではなく、有限行列に制限されません。（例えば、

v

$v$ および

w

$w$ は、古典的な量子力学で使用される

上の

L^{2}

$L^2$ 複素数値関数の空間など、ヒルベルト空間の要素である可能性があります。）

R^{3}

$\mathbb{R}^3$

— whuber

このリンクは、直交性と相関の（非）接続を理解するのに役立ちます。alecospapadopoulos.wordpress.com/2014/08/16/...

— RBirkelbach

さまざまな（ただし正しい）回答の増加するコレクションは、これが優れたCWスレッドであることを示しています。

— whuber

-16

これは、[ランダム変数X、Y]が互いに「独立」していることを意味します。独立したランダム変数は、多くの場合、互いに「直角」にあると見なされます。「直角」とは、2つの内積が0（線形代数からの等価条件）であることを意味します。

たとえば、XY平面では、X軸とY軸は直交していると言われます。これは、特定のポイントのx値が（2,3）から（5,3）に変化しても、y値は同じ（3）のままであるためです。およびその逆。したがって、2つの変数は「独立」しています。

ウィキペディアの独立性と直交性に関するエントリも参照してください

— クレイジージョー
ソース

24

相関関係と依存関係の欠如は重要であるため、直交性を独立性と同一視するのは良いことではありません。

— whuber

OPも回答者も1年以上活動していないので、少なくともこれを明確な回答にするためにこれを編集する価値があるでしょう。私はそれを試みました。

— アサドエブラヒム14年

1

統計内のこれに対する一般的な反例の1つは、PCA対ICAです。PCAは直交性を強制し、ICAは独立性を最大化します。

— ジョナ14年

5

司会者へ：この良い、非常に人気のある質問は、非常に多くの人がより良く降格されるだろうという答えが「スタック」しているのは残念です（現在のスコア-4）。OPとanswererの両方が1年以上アクティブではないため、「受け入れられた」チェックを削除して、質問を「オープン」のままにすることができます。以下のより完全な答えは、それ自身を物語っています。

— アサドエブラヒム14年

1

@Assad modsはOPの受け入れを削除できません。それがOPの州です。

— Glen_b

33

私は十分なポイントを持っていないのでコメントをすることができません。そのため、答えとして私の心を話すことを余儀なくされています。ご容赦ください。私が知っている少しから、直交性は次のように定義されているため、@ crazyjoeによって選択された答えに同意しません。

E [X Y^{⋆}] = 0

$E[XY^{\star}] = 0$

そう：

$Y=X^2$

したがって、直交性は独立性を意味するものではありません。

— ユーザー497804
ソース

2

Y^{*}

$Y^{*}$

2

@mugen、おそらく複素共役を示します。

— A.ドンダ

E [X Y]

$E[XY]$

X

$X$

Y

$Y$

⟨ X, Y ⟩ = E [X Y]

$\langle X,Y\rangle=E[XY]$

21

XとYが独立している場合、それらは直交です。しかし、user497804の巧妙な例で指摘されているように、その逆は当てはまりません。正確な定義については

$C_1$ $C_2$ ${\rm cov}(C_1,C_2)=0$

（ページ376、Geoffrey GrimmettとDavid Stirzakerによる確率とランダムプロセス）

$X$ $Y$ $F(x,y) = F_X(x)F_Y(y)$ $x,y \in \mathbb{R}$

$f(x,y) = f_X(x)f_Y(y)$

（99ページ、Geoffrey GrimmettおよびDavid Stirzakerによる確率とランダムプロセス）

— ナレシュ
ソース

21

@Mienはすでに回答を提供しており、@ whuberが指摘したように、直交は無相関を意味します。しかし、私は人々がいくつかの参考文献を提供してくれることを本当に望んでいます。次のリンクは、相関の概念を幾何学的な観点から説明しているため、役に立つと思われるかもしれません。

— Bernd Weiss
ソース

1

2番目のリンクは、私が知りたいことすべてを説明しました。ありがとう！:)

— レナーホイト14

実数値のランダム変数XとYは、中心変数X-E(X)とY-E(Y)が直交している場合にのみ相関しません。[参照]

— knedlsepp

1

@Bernd最初の2つのリンクは機能していません。

— 圧倒さ

@overwhelmed これは、2番目のリンクが指していた記事だと思います。

— ジョシュオブライエン

8

NISTのWebサイト（下記参照）では、直交を次のように定義しています。「実験計画は、他の因子の影響全体で何らかの因子の影響が相殺される（合計がゼロになる場合）」

統計的設計では、直交は「共同設立されていない」または「エイリアス化されていない」という意味です。これは、さまざまな要因/治療法を明確に識別できるようにするために、実験を設計および分析するときに重要です。設計された実験が直交していない場合、異なる治療の効果を完全に分離できないことを意味します。したがって、効果を混乱させるために、フォローアップ実験を行う必要があります。これは、拡張設計または比較設計と呼ばれます。

独立性は、設計と分析の他の多くの側面で使用されているため、貧弱な単語選択のようです。

NIST Ref http://www.itl.nist.gov/div898/handbook/pri/section7/pri7.htm

— クリス
ソース

3

実験デザインのコンテキストを導入するための+1。「直交」という言葉は、実際には数学的概念とまったく同じものであるため、ここで使用するに値します。ユークリッド空間の要素と見なされる実験の因子を表す（列）ベクトルは、実際に直交します（右側）直交設計の角度、ゼロドット積）。

— whuberの

2

「直交」と言う場合、「無関係」を意味する可能性が高いです。2つの因子が直交している場合（因子分析など）、それらは無関係であり、相関はゼロです。

— ミエン
ソース

3

相関係数は、角度のコサインです（または当然解釈されます）。ゼロの場合、角度はどうだと思いますか？:-)無 相関とは、無相関という意味ではありません！

— whuberの

あなたが間違っていると言っているわけではありませんが、無相関で関連性のあるものの例を教えてください。またはその逆？私は違いを理解しているのかわかりません。

— ミエン

そして、はい、私はその角度が90°であることを知っています。直角は直交しています。

— ミエン

5

X

$X$

{- 1, 0, 1}

$\{-1,0,1\}$

Y = X^{2}

$Y=X^2$

X

$X$

Y

$Y$

ρ_{X, Y} = 0

$\rho_{X,Y}=0$

Y

$Y$

X

$X$

ああ、ありがとう。しかし、逆は不可能です（3番目の変数または同様のものがない場合）？

— ミエン

2

http://terpconnect.umd.edu/~bmomen/BIOM621/LineardepCorrOrthogonal.pdfによると、線形独立性は直交性または無相関性の必要条件です。しかし、より細かい区別があります。特に、直交性は無相関ではありません。

— user45059
ソース

1

$(X,Y)$ $X\cdot Y=0$

C o v (X - E [X], Y - E [Y]) = E [X \cdot Y] = E [0] = 0 ⟹ C o r r (X - E [X], Y - E [Y]) = 0

$Cov(X-E[X],Y-E[Y]) = E[X\cdot Y]= E[0]=0\implies \\Corr(X-E[X],Y-E[Y])=0$

— ディオゴ
ソース

1

計量経済学では、直交性の仮定は、すべての誤差の合計の期待値が0であることを意味します。リグレッサーのすべての変数は、現在の誤差項に直交します。

$E(x_{i}·ε_{i}) = 0$

簡単に言えば、それはリグレッサがエラー用語に「垂直」であることを意味します。

— レオポルド・W
ソース

-2

2つ以上のIVは互いに無関係（独立）ですが、両方ともDVに影響を及ぼします。各IVは結果に個別の値を個別に提供しますが、両方またはすべてのIVも所得の予測に加算的に貢献します（DVに対する直交=非交差IVの影響）。IVは互いに相関関係がなく、通常は直角に配置されます*ベン図を参照してください。

例：収入に関する動機付けと教育年数の関係。

IV =教育の年IV =動機DV =収入

https://onlinecourses.science.psu.edu/stat505/node/167

— パット
ソース

-2

関連するランダム変数は、変数がXとYが任意の関係を持つことができることを意味します。線形または非線形の場合があります。2つの変数が線形に関連している場合、独立性と直交性は同じです。

— Jスブラマニ
ソース

2

これは、crazyjoeが犯した間違いを永続させます。変数が一緒に正規分布しない限り、直交性は独立性を意味しません。

— whuber