多項式の漸近分布

10

私は、dの結果に対する多項分布の限定分布を探しています。IE、以下の配布

lim_{n \to \infty} n^{- \frac{1}{2}} X_{n}

$\lim_{n\to \infty} n^{-\frac{1}{2}} \mathbf{X_n}$

ここで $\mathbf{X_n}$ 密度を持つベクトル値確率変数である $f_n(\mathbf{x})$ のために $\mathbf{x}$ よう $\sum_i x_i=n$ 、 $x_i\in \mathbb{Z}, x_i\ge 0$ と他のすべての $\mathbf{x}$ 場合は、ここで

f_{n} (x) = n! \prod_{i = 1}^{d} \frac{p_{i}^{x_{i}}}{x_{i}!}

$f_{n}(\mathbf{x})=n!\prod_{i=1}^d\frac{p_i^{x_i}}{x_i!}$

Larry Wassermanの237ページの「All of Statistics」定理14.6で1つの形式を見つけましたが、分布を制限するために、特異な共分散行列を持つNormalが得られるため、それを正規化する方法がわかりません。ランダムベクトルを（d-1）次元空間に射影して共分散行列をフルランクにすることができますが、どの射影を使用しますか？

アップデート11/5

レイ・コープマンは、特異ガウスの問題の素晴らしい要約を持っています。基本的に、特異共分散行列は変数間の完全な相関を表します。これはガウスでは表現できません。ただし、ランダムベクトルの値が有効であることを条件として、条件付き密度のガウス分布を得ることができます（上記の場合、コンポーネントの合計は $n$ になります）。

条件付きガウスの違いは、逆が疑似逆に置き換えられ、正規化係数が「すべての固有値の積」の代わりに「ゼロ以外の固有値の積」を使用することです。Ian Frisceがいくつかの詳細とのリンクを示しています。

固有値を参照することなく、条件付きガウスの正規化係数を表現する方法もあります、ここでは「派生よ

asymptotics multinomial

— ヤロスラフ・ブラトフ
ソース

この場合、配布を制限するとはどういう意味ですか？

— Robby McKilliam

つまり、中央極限定理から得たものです。詳細を更新しましょう

— Yaroslav Bulatov

1

あなたが言及しているのは、多項式の最尤推定量の漸近分布です。また、最初の方程式はn ^ {-1/2}ではなくn ^ {-1}である必要があります。

— Simon Byrne、2009

1

上記の表記では、d = 2の場合、X_nはn枚のコインを投げた後の頭の数なので、X_n / nではなく、X_n / sqrt（n）が通常に近づきます。

— Yaroslav Bulatov

1

はい、あなたが正しい。私はただ混乱していました。

— Simon Byrne

6

共分散は依然として非負定ですが（有効な多変量正規分布です）、正定ではありません。これは、（少なくとも）ランダムベクトルの1つの要素が他の要素の線形結合であることを意味します。

その結果、この分布からの描画は常に部分空間に置かれます。結果として、これは密度関数を定義することができないことを意味します（分布は部分空間に集中しているため：分散がゼロの場合に一変量正規が平均に集中する方法を考えてください）。 $R^d$

ただし、Robby McKilliamによって提案されているように、この場合、ランダムベクトルの最後の要素を削除できます。この削減されたベクトルの共分散行列は、最後の列と行が削除された元の行列になり、正定値となり、密度になります（このトリックは他の場合でも機能しますが、どの要素に注意する必要がありますあなたがドロップし、あなたは複数をドロップする必要があるかもしれません）

— サイモン・バーン
ソース

少し不満なのは選択の自由です。有効な密度を得るために、A xの分布を求める必要があります。ここで、Aはd-1ランク（d）x（d-1）行列です。有限nのCLT近似の誤差は、Aのすべての選択で同等になりますか？それは私には明らかではありません

— Yaroslav Bulatov

1

はい、エラーは常に同じでなければなりません。ベクトルの最後の要素は、他の（d-1）要素に機能的に依存することに注意してください（有限サンプルと漸近ケースの両方で）。

— Simon Byrne

「最後の」要素が依存しているということではなく、Yaroslavの問題は、どの要素をドロップするかを選択するという考えが好きではないことです。私はあなたの答えに同意しますが、もう少し考え、注意する必要があると思います。

— Robby McKilliam

@Yaroslav：おそらく、ここでどのアプリケーションを念頭に置いているのかを知っておくと良いでしょう。この段階では、質問に対する答えが潜在的にたくさんあるからです。

— Robby McKilliam

1

Robby-私が念頭に置いたアプリケーションはここですmathoverflow.net/questions/37582/… 基本的に、CLTによって提案されたガウスの積分は、二項係数の合計に非常に良い近似を与えます（小さなnの場合、ガンマ表現を直接積分するよりもさらに良いです！）、したがって、多項式係数の近似合計を取得するために同様のことができるかどうかを確認していました。これは、さまざまなフィッターの非漸近誤差範囲（最尤など）を取得する必要があります

— Yaroslav Bulatov

2

ここでは、特異共分散に固有の問題はありません。あなたの漸近分布は特異な正規です。特異な法線の密度を示すhttp://fedc.wiwi.hu-berlin.de/xplore/tutorials/mvahtmlnode34.htmlを参照してください。

— イアン・フィスケ
ソース

技術的には、問題は特異共分散行列が変数の一部のサブセットが完全に相関していることを意味するため、一部の領域では確率密度が正確に0になるはずですが、ガウスでは不可能です。1つの解決策は、確率変数が実行可能領域にあるという事実を条件として、代わりに条件付き密度を調べることです。これは、彼らがリンクで何をしているように見えます。「G-逆」という言葉を聞いたことがない、私はそれがペンローズ-ムーアの疑似逆だと思いますか？

— Yaroslav Bulatov 2010年

従来のd次元ガウスはすべてをサポートしているのは事実ですが、特異ガウスはサポートしていません。G-逆は一般化された逆であり、そうです、私はペンローズ-ムーアの定義がここで機能すると信じています。現時点では参照を見つけることはできませんが、予想どおり、単一のCLTへの分布の収束を示す、単一の共分散のCLTがあると思います。

ℜ^{d}

$\Re^d$

— Ian Fiske、2010年

1

Wassermanの共分散行列は特異であるように見えますが、見ると、ベクトル、つまりの長さ掛けます。 $d$ $[1,1,1,\dots,1]^\prime$ $d$

ウィキペディアはとにかく同じ共分散行列を提供します。二項分布のみに制限すると、標準の中心極限定理は、が大きくなると、二項分布（適切なスケーリング後）が正規分布に収束することを示します（ウィキペディアを再度参照）。同様のアイデアを適用すると、適切にスケーリングされたmulinomialが分布で多変量正規分布に収束することを示すことができます。つまり、各周辺分布は二項分布にすぎず、正規分布に収束し、それらの間の分散がわかっています。 $n$

したがって、の分布が、平均ゼロおよび共分散（は共分散）の多変量正規分布に収束すると確信しています。問題の多項式の行列であり、は確率のベクトルです。

\frac{X_{n} - n p}{\sqrt{n}}

$\frac{X_n - np}{\sqrt{n}}$

\frac{C}{n}

$\frac{C}{n}$

C

$C$

p

$p$

[p_{1}, \dots, p_{d}]

$[p_1,\dots,p_d]$

— ロビー・マッキリアム
ソース

1

問題の多項式の共分散行列は特異です。あなたはそれを自分で示しました...

— Yaroslav Bulatov

ああ、問題がわかりました！要素の1つ、たとえば、 thは他の要素に完全に依存しているとします。おそらく、最後の行と列を切り落とすと、が正規分布であることがわかりますが、私はそれについて考えなければなりません。確かにこれはすでにどこかで解決されています！

d

$d$

C

$C$

[p_{1}, p_{2}, \dots, p_{d - 1}]

$[p_1,p_2,\dots,p_{d-1}]$

— Robby McKilliam

私が見つけた1つの提案は、ガウスを使用することですが、行列式の代わりに、逆および「ゼロ以外の固有値の積」の代わりに擬似逆を使用します。d = 2の場合、これは正しい密度形式を与えるようですが、正規化係数はオフです

— Yaroslav Bulatov

1

はそうではありませんかが番目の行と列が削除された多項共分散行列であるすべてのについて？これは事実であるため、「選択の自由」はあなたの意味を理解できません。 $|S_{-i}|=|S_{-j}|$ $i,j$ $S_{-i}$ $i$

— jvdillon
ソース

これらの行列は等しくありません。これが共分散行列yaroslavvb.com/upload/multinomial-covariance-matrix.png

— Yaroslav Bulatov

はい、これは確かに共分散行列です。i番目の列と行を削除すると、ガウスの正規化項が同じになるというのが私の考えでした。多分私は明白な何かが欠けていますか？

— jvdillon、

ああ...行列式に気づかなかった。うーん...それらは私が試したいくつかの例では等しいようですが、これの簡単な証明はありますか？ただし、固有値は等しくありません。問題の動機は、どの多項分布distに関係なく、中心極限定理が有限に対して同じ近似誤差を与えるかどうかを調べることでした。ドロップしたコンポーネント

n

$n$

— Yaroslav Bulatov

おそらく、自分を納得させる最も簡単な方法は、あり、これをに接続することです。

p_{i} = 1 - \sum_{j \neq i} p_{j}

$p_i=1-\sum_{j\ne i}p_j$

p_{i}

$p_i$

S

$S$

— jvdillon 2010年

ところで、私はあなたがこのアイデアを適用することを気に入っています。

— jvdillon 2010年