相関係数の数学的期待値の計算または

math.stackexchange.comからの質問を再投稿していますが、math.seの現在の答えは正しくないと思います。

選択セットから番号、ある番目の数が選択され、の階数であるにおける番号。選択は置換なしです。は常により小さい。ランクは、数値を昇順でソートした後のaの順序です。$n$$\{1,2,...,U\}$$y_i$$i$$x_i$$y_i$$n$$n$$U$$n$

我々が得ることができるのデータポイント、そして、これらのデータポイントのための最良適合線は線形回帰により求めることができます。 （相関係数）は適合線の良さです。または（決定の相関を計算します。$n$$(x_1, y_1), (x_2, y_2), ..., (x_n, y_n)$$r_{xy}$$\mathbb{E}(r_{xy})$$\mathbb{E}(r_{xy}^2)$

場合、推定を計算することができない、または下界OK依然としてあります。$\mathbb{E}[r_{xy}]$

更新：ランダムに生成されたデータを使用してサンプル相関係数を計算すると、が1に非常にことがわかります。したがって、理論的な観点から証明したい、または上記の方法で生成されたデータは非常に線形。$r_{xy}$

更新：サンプル相関係数の分布を取得することは可能ですか？

となるように、新しい変数の観点から問題を再配置します。@whuberがコメントで指摘したように、次に z_になります。したがって、でを効果的に回帰し、です。したがって、の周辺分布を、それが基本的に線形であることを示すことができれば、問題は解決され、ます。$1\leq z_1<z_2<\dots<z_n\leq U$$(x_i,y_i)=(x_i,z_{x_i})$$z_j$$j$$r_{xy}=r_{xz}$$z_j$$j$$r_{xy}\sim 1$

最初に、の結合分布が必要です。これは、あなたが解決した後は非常に簡単ですが、私が計算をする前に、それが簡単ではないことに気づきました。数学の成果を上げるための簡単なレッスンです。最初に数学を紹介し、次に簡単な答えを紹介します。$z_1,\dots,z_n$

現在、元の結合分布はです。変数を変更しても、離散確率のラベルが付け直されるだけなので、確率は一定です。ただし、ラベルは1対1ではないため、単にと書くことはできません。代わりに、$p(y_1,\dots,y_n)\propto 1$$p(z_1,\dots,z_n)=\frac{(U-n)!}{U!}$

$$\begin{array}\\p(z_1,\dots,z_n)=\frac{1}{C} & 1\leq z_1<z_2<\dots<z_n\leq U\end{array}$$

そして、正規化によって を見つけることができます$C$

$$C=\sum_{z_n=n}^{U}\sum_{z_{n-1}=n-1}^{z_n-1}\dots\sum_{z_2=2}^{z_3-1}\sum_{z_1=1}^{z_2-1}(1)=\sum_{z_n=n}^{U}\sum_{z_{n-1}=n-1}^{z_n-1}\dots\sum_{z_2=2}^{z_3-1}(z_2-1)$$ $$=\sum_{z_n=n}^{U}\sum_{z_{n-1}=n-1}^{z_n-1}\dots\sum_{z_3=2}^{z_4-1}\frac{(z_3-1)(z_3-2)}{2}=\sum_{z_n=n}^{U}\dots\sum_{z_4=4}^{z_5-1}\frac{(z_4-1)(z_4-2)(z_4-3)}{(2)(3)}$$ $$=\sum_{z_n=n}^{U}\sum_{z_{n-1}=n-1}^{z_n-1}\dots\sum_{z_{j}=j}^{z_{j+1}-1}{z_j-1 \choose j-1}={U \choose n}$$

これは、再ラベル付け比率が等しいことを示しています -ごとにがあります値。上のラベルの順列は、ランク付けされた値の同じセットにつながるため、理にかなっています。ここで、周辺分布。上記を繰り返しますが、の合計が削除され、残りの合計の範囲が異なります。つまり、最小値がから、そして次のようになります：$\frac{(U-n)!}{U!}{U \choose n}=\frac{1}{n!}$$(z_1,\dots,z_n)$$n!$ $(y_1,\dots,y_n)$$y_i$$z_i$$z_1$$z_1$$(2,\dots,n)$$(z_1+1,\dots,z_1+n-1)$

$$p(z_1)=\sum_{z_n=z_1+n-1}^{U}\;\;\sum_{z_{n-1}=z_1+n-2}^{z_n-1}\dots\sum_{z_2=z_1+1}^{z_3-1}p(z_1,z_2,\dots,z_n)=\frac{{U-z_1 \choose n-1}}{{U \choose n}}$$

サポートあり。この形式と少しの直感を組み合わせると、周辺分布はように推論できることがます。$z_1\in\{1,2,\dots,U+1-n\}$$z_j$

1. 下の値を選択します。これは、方法で実行できます（場合）。$j-1$$z_j$${z_j-1\choose j-1}$$z_j\geq j$
2. 値選択します。これは1つの方法で実行できます。そして$z_j$
3. 選択上記の値で行うことができる方法を（もし）$n-j$$z_j$${U-z_j\choose n-j}$$z_j\leq U+j-n$

この推論方法は、（てサンプル共分散の期待値を計算するために使用できるなどの共同分布に努力して一般化します。したがって、次のようになります。$p(z_j,z_k)$

$$\begin{array}{c c}\\p(z_j)=\frac{{z_j-1\choose j-1}{U-z_j\choose n-j}}{{U \choose n}} & j\leq z_j\leq U+j-n \\p(z_j,z_k)=\frac{{z_j-1\choose j-1}{z_k-z_j-1 \choose k-j-1}{U-z_k\choose n-k}}{{U \choose n}} & j\leq z_j\leq z_k+j-k\leq U+j-n \end{array}$$

これで限界は、パラメーター（論文の表記に関して）を持つ負の超幾何分布の pdfです。これはで正確に線形ではないことが明らかですが、限界期待値は$k=j,r=n,N=U$$j$$z_j$

$$E(z_j)=j\frac{U+1}{n+1}$$

これは確かにで線形であり、回帰からのベータ係数とゼロの切片を期待します。$j$$\frac{U+1}{n+1}$

更新

少し前に答えを止めました。うまくいけば、より完全な答えを完成させました

まかせ、および、正方形の予想と間のサンプル共分散は、で与えられます。$\overline{j}=\frac{n+1}{2}$$\overline{z}=\frac{1}{n}\sum_{j=1}^{n}z_j$$j$$z_j$

$$E[s_{xz}^2]=E\left[\frac{1}{n}\sum_{j=1}^{n}(j-\overline{j})(z_j-\overline{z})\right]^2$$ $$=\frac{1}{n^2}\left[\sum_{j=1}^{n}(j-\overline{j})^2E(z_j^2)+2\sum_{k=2}^{n}\sum_{j=1}^{k-1}(j-\overline{j})(k-\overline{j})E(z_jz_k)\right]$$

したがって、。ここで、および（pdfファイルの式を使用）。したがって、最初の合計は$E(z_j^2)=V(z_j)+E(z_j)^2=Aj^2+Bj$$A=\frac{(U+1)(U+2)}{(n+1)(n+2)}$$B=\frac{(U+1)(U-n)}{(n+1)(n+2)}$

$$\sum_{j=1}^{n}(j-\overline{j})^2E(z_j^2)=\sum_{j=1}^{n}(j^2-2j\overline{j}+\overline{j}^2)(Aj^2+Bj)$$ $$=\frac{n(n-1)(U+1)}{120}\bigg( U(2n+1)+(3n-1)\bigg)$$

も必要です。 $E(z_jz_k)=E[z_j(z_k-z_j)]+E(z_j^2)$

$$E[z_j(z_k-z_j)]=\sum_{z_k=k}^{U+k-n}\sum_{z_j=j}^{z_k+j-k}z_j(z_k-z_j) p(z_j,z_k)$$ $$=j(k-j)\sum_{z_k=k}^{U+k-n}\sum_{z_j=j}^{z_k+j-k}\frac{{z_j\choose j}{z_k-z_j \choose k-j}{U-z_k\choose n-k}}{{U \choose n}}=j(k-j)\sum_{z_k=k}^{U+k-n}\frac{{z_k+1 \choose k+1}{U+1-(z_k+1)\choose n-k}}{{U \choose n}}$$ $$=j(k-j)\frac{{U+1\choose n+1}}{{U \choose n}}=j(k-j)\frac{U+1}{n+1}$$ $$\implies E(z_jz_k)=jk\frac{U+1}{n+1}+j^2\frac{(U+1)(U-n)}{(n+1)(n+2)}+j\frac{(U+1)(U-n)}{(n+1)(n+2)}$$

そして2番目の合計は：

$$2\sum_{k=2}^{n}\sum_{j=1}^{k-1}(j-\overline{j})(k-\overline{j})E(z_jz_k)$$ $$=\frac{n(U+1)(n-1)}{720(n+2)}\bigg(6(U-n)(n^3-2n^2-9n-2) + (n+2)(5 n^3- 24 n^2- 35 n +6)\bigg)$$

そして、かなり退屈な操作を行った後、次の2乗共分散の期待値が得られます。

$$E[s_{xz}^2]=\frac{(n-1)(n-2)U(U+1)}{120}-\frac{(U+1)(n-1)(n^3+2n^2+11n+22)}{720(n+2)}$$

我々が持っている場合今、最初用語支配をそのまま第2項があるのに対し、。支配的な項がによって十分に近似されていることを示すことができ、ピアソン相関がに非常に近いという別の理論的な理由がありという事実を超えて）。$U>>n$$O(U^2n^2)$$O(Un^3)$$E[s_{x}^2s_{z}^2]$$1$$E(z_j)\propto j$

これで、予想されるサンプル分散はサンプル分散であり、。の予想されるサンプル分散は、で与えられます。$j$$s_x^2=\frac{1}{n}\sum_{j=1}^{n}(j-\overline{j})^2=\frac{(n+1)(n-1)}{12}$$z_j$

$$E[s_z^2]=E\left[\frac{1}{n}\sum_{j=1}^{n}(z_j-\overline{z})^2\right]=\frac{1}{n}\sum_{j=1}^{n}E(z_j^2)-\left[\frac{1}{n}\sum_{j=1}^{n}E(z_j)\right]^2$$ $$=\frac{A(n+1)(2n+1)}{6}+\frac{B(n+1)}{2}-\frac{(U+1)^2}{4}$$ $$=\frac{(U+1)(U-1)}{12}$$

すべてを組み合わせて、であることに、次のようになります。$E[s_x^2s_z^2]=s_x^2E[s_z^2]$

$$E[s_x^2s_z^2]=\frac{(n+1)(n-1)(U+1)(U-1)}{144}\approx \frac{(n-1)(n-2)U(U+1)}{120}\approx E[s_{xz}^2]$$

とほぼ同じです$E[r_{xz}^2]\approx 1$

が1に近いことだけを示し、その下限を計算する場合、それは簡単です。これは、指定されたおよびについて、残差の分散を最大化するだけでよいことを意味します。これは、正確に4つの対称的な方法で実行できます。 2つの極値（可能な最小相関と最大相関）が示されています。$r^2_{xy}$$U$$n$$U=20, n=9$

大きな値と適切な値の、は実際には0に近づく可能性があります。たとえば、で非常に大きな値の場合、最悪の場合。$U$$n$$r^2_{xy}$$n=100$$U \gg n$$r^2_{xy} \sim 0.03$