多項式の信頼区間

8

非負の整数値を取るランダム変数あり、各結果の確率呼び出します。の分布から独立して安価にサンプリングできます。現在、サンプルサイズはです。これは、その表示されますおおよそ指数関数的減衰とし、。 $Z$ $\{ 0,1,2,\dots \}$ $z_k:=P[Z=k]$ $Z$ $2^{28}$ $z_0\approx 0.24, z_1\approx 0.18,\dots$

私は正の係数を持つ二次形式のシーケンスを持っています：

$Q_0(z_0) = \frac14 z_0^2$
$Q_1(z_0,z_1) = \frac 12 {z_0 z_1}$
...
$Q_7(z_0,z_1,\dots,z_7) = \frac{1}{8} \left(2 z_0 z_1+3 z_2 z_1+4 z_4 z_1+4 z_6 z_1+3 z_0 z_3 + \right.$ $\qquad\qquad\qquad\qquad\qquad\qquad \left. +4 z_2 z_3+4 z_3 z_4+4 z_0 z_5+4 z_2 z_5+4 z_0 z_7\right)$
...

取得したいのは、幅が未満のの信頼区間ですが、取得できるものはすべて取得します。 $Q_i$ $10^{-4}$

厳密な境界がありますの係数はすべて正なので、これらをの厳密な境界に変換するのは簡単です。しかし、信頼区間でこれを正しく行う方法がわかりません。 $z_i$ $Q$ $Q$

何のことですか？私は数論で奇妙な現象を発見しました、そしてそれが実際に起こることを証明する方法を知っています、しかし実際にはそうすることは私の側でいくらかのプログラミング努力とローカルクラスターでかなりの時間を必要とするでしょう。その時間を費やしてマシンを詰まらせる前に、私はこの現象が本物であると私よりも確信したいと思います。

およびという私の主張の合理性を定量化したいとます。私の推定では、は約であることを示しているため、その解像度でCIが必要でした。 $Q_7<Q_6$ $Q_7<Q_8$ $Q_6-Q_7$ $5\cdot 10^{-4}$

大きな整数を修正し、およびletの均一選択されたサブセットで（すなわち、それぞれの特定のサブセットは、確率を有する選択されるのを）。ましょう正確確率であるの数字の二つの要素の和として書くことができない。聞かせて。証明するのは少し難しいですが、これらの制限が存在し、です。が小さいことはことが、が $n$ $A$ $\{1,2,\dots,n\}$ $2^{-n}$ $Q_k(n)$ $k$ $\{2,3,\dots,2n\}$ $A$ $Q_k = \lim_n Q_k(n)$ $\sum_{k} Q_k =1$ $Q_0$ $k$ $Q_k$ 増加し、ピークがあり、その後指数関数的に減衰します。奇妙な部分は、7に対するバイアスがあることです。つまり、実験的におよびです。つまり、意外ではなかったことは実際には真実ではありません。分布は二峰性です。 $Q_7< Q_6$ $Q_7<Q_8$

（いくつかの理論を使用して）上記のように、で定義されたこの他の分布に関して制限なしに表現できます。上で述べたように、いくつかの大規模な計算を使用してを厳密にバインドする方法があるので、これは便利です。また、変数に非常に大きなデータセットがあります。 $Q_i$ $z_i$ $z_i$ $Z$

confidence-interval

— ケビン・オブライアント
ソース

信頼区間の言語に対する不安はあるが、それ以外の場合は厳格な表現は、あなたが私たちを助けるためにもう少し情報を提供するのに良い立場にあるかもしれないことを示唆しています。通常、CIの2つのプロパティ（カバレッジまたは長さ）のいずれかを指定できます。もう1つはデータによって決定されます。ただし、長さを規定するのは珍しいです。これでいいですか？また、QのCIが個別に必要か、同時に必要かが不明確です。おそらく、これらのCIを何に使用するつもりかを示すことができますか？

— whuber

3

私の回答では、ここのスペースを節約するために、背景資料への多くのリンクを提供します。記載されているリンクの情報をもとに、回答を書きます。

ベイジアンアプローチはこの問題に自然に当てはまると思います。特に、自分だけを説得しようとしているからです。とがからのサンプルを与えられたことがどれほどもっともらしいかについて、信頼区間を使用して本当に気になる質問に答えるのは少し複雑です分布？ベイジアンアプローチでは、この問題に直接対処できます。 $Q_{7}<Q_{6}$ $Q_{7}<Q_{8}$ $z_{i}$

尤度関数

ましょう整数アウトカムの観測された周波数とあなたのサンプル中とletサンプルサイズです。尤度関数はに比例している多項分布。それは形をしています $f_k$ $k$ $N$

$L(z_{0},...z_{8};f_{0},...f_{8})=\prod_{i=0}^{8}{z_{i}}^{Nf_{i}}$ 。

事前配布

ディリクレ分布は、それがあるため、事前分布のための自然な選択である共役事前多項可能性について。それは形をしています

$p(z_{0},...z_{8};\alpha_{0},...,\alpha_{8})\propto\prod_{i=0}^{8}{z_{i}}^{\alpha_{i}-1}$

この以前のには9つのハイパーパラメーター（値）があり、それらを扱うのは少しです。この「大きなサンプル」のコンテキストでは、ハイパーパラメーター値の合理的な選択は結果にほとんど影響を与えませんが、それでも、実用的な値を選択するために少し努力する価値があると思います。 $\alpha_i$

ハイパーパラメーターの設定をお勧めする方法は次のとおりです。まず、この分布の下でであることに注意してください。次に、自然に対する最も単純な最大エントロピー分布は幾何学的分布であることに注意してください。だから設定 $\mathrm{E}(z_{i})=\frac{\alpha_{i}}{\sum_{i=0}^{8}\alpha_{i}}$

$\alpha_{i+1}=r\alpha_{i}=r^{i}\alpha_{0},\,0<r<1,$

$\alpha_{0}=A\left(\frac{1-r}{1-r^{9}}\right).$

次に、なので、分布値は、（切り捨てられた）幾何分布に中心があります。さらに、なので、の値はこの期待値の周りの分散を制御しますが、期待値には影響しません自体。 $\mathrm{E}(z_{i})=r^{i}\left(\frac{1-r}{1-r^{9}}\right)$ $z_{i}$ $\mathrm{Var}\left(z_{i}\right)\propto\frac{1}{(A+1)}$ $A$

この指定により、ハイパーパラメーターの数が9つの値からと減少します。ここでは、と特定の値についての説明は延期します。 $\alpha_{i}$ $r$ $A$ $r$ $A$

興味のある命題の事後確率

値の事後分布は、次のディリクレ分布です。 $z_{i}$

$p(z_{0},...z_{8}|f_{0},...,f_{8})\propto\prod_{i=0}^{8}{z_{i}}^{\alpha_{i}+Nf_{i}-1}.$

してみましょう。あなたが興味を持っている事後確率は $\mathbb{Y}=\left\{ z_{0},...z_{8}|Q_7<Q_6 \text{ and } Q_7<Q_8\right\}$

$\Pr(Q_7<Q_6 \text{ and } Q_7<Q_8|f_0,...,f_8) \propto \int_{\mathbb{Y}}\prod_{i=0}^{8}{z_{i}}^{\alpha_{i}+Nf_i-1}dz_{i}.$

この積分は扱いにくいですが、次のモンテカルロアルゴリズムを使用して関心の確率を数値で計算できます。

以下のためのからに、 $j$ $1$ $J$

事後分布から値のセットをサンプリングします。 $z_i$
サンプル値を使用して、計算します。ここで、はインジケーター関数です。 $y_j=I(Q_{7}<Q_{6})I(Q_{7}<Q_{8})$ $I(\cdot)$

次に、です。 $\Pr(Q_7<Q_6 \text{ and }Q_7<Q_8|f_{0},...,f_{8})\approx \frac{\sum_{j=0}^Jy_j}{J}$

モンテカルロ近似の精度は、のように進む：あなたの精度の少なくとも二つの小数点以下の桁数20のうち19回、取得するあなたの少なくとも三つの小数点以下の桁数を取得します精度は20のうち19倍など $\sqrt{J}$ $J=10^4$ $J=10^6$

そして、関心のある事後確率が0または1に近くない場合は、より多くのデータをサンプリングし、すすぎ、繰り返します。

以前のハイパーパラメータ、パート2

事後密度の式におけるの指数は $z_i$

$\alpha_i + Nf_i - 1 = Ar^{i}\left(\frac{1-r}{1-r^{9}}\right) +Nf_i - 1 = A\mathrm{E}(z_i) +Nf_i - 1$

ハイパーパラメータは、が尤度で果たすのと同じ役割を事前分布で果たしていることがわかります。これは、一種の「事前サンプルサイズ」です。事前分布が結論に無視できる影響を与えるようにするには、ような値を選択します。たとえば、です。 $A$ $N$ $A$ $A\ll N$ $A = 1$

を設定するには、前述の同じモンテカルロアルゴリズムを使用して、命題の事前確率を計算できますが、事前分布はステップ1の事後分布の代わりにループ。0.5の事前確率を与える値を見つけてみてください（それが妥当であると思われる場合は、それよりも低くなります）。 $r$ $Q_7<Q_6 \text{ and } Q_7<Q_8$ $r$

— シアン
ソース

いや、私はいくつかの専門知識をスキップしています。より技術的に完全な分析は、ディリクレプロセスから始まり、関係のないパラメータの無数に無限のセットをた結果が、上記のディリクレ分布であることを示します。

z_{i}

$z_i$

— シアン

1

z_kは確率ではなくサンプル周波数であると思います。これは、それ以外の場合、Q_i（z_0、...、z_i）は確率変数ではないためです。その場合、Q_iの分散の計算は簡単な代数です。最初に、イベントインジケーターZ_iを定義します。Z== iの場合は1、それ以外の場合は0です。これは確率p_iのベルヌーイ確率変数です。これらの変数の1次モーメントと2次モーメントを計算すると、Q_iの分散を計算するために必要なすべての項が得られます。

— アダモ
ソース

いいえ、は自然の定数であり、したがっても定数です。それは実数ですが、問題はどの実数かです。私のサンプリングでは、推定できます。これらををリンクする式にすると、推定値（約）が得られます。しかし、その見積もりがどれほど優れているかはわかりません。各に対して99％のCI を取得してそれらを接続すると、間隔が得られますが、信頼レベルはどのくらいですか？のCI も独立しているとは思いません。

z_{i}

$z_i$

Q_{7}

$Q_7$

{\hat{z}}_{i}

$\hat{z}_i$

Q_{7}

$Q_7$

z_{i}

$z_i$

Q_{7}

$Q_7$

0.07

$0.07$

z_{i}

$z_i$

z_{i}

$z_i$

— Kevin O'Bryant

独立性の欠如はここでは心配ありません、ケビン（必要に応じて、の真の多項式分布を分析することでこれを正当化できます）。

{\hat{z}}_{i}

$\hat{z}_i$

— whuber

データからすでに推定値を計算できるので、ブートストラップなどのリサンプリング手法を使用して CIを見つけてませんか？en.wikipedia.org/wiki/Bootstrapping_(statistics）

Q_{7}

$Q_7$

Q_{7}

$Q_7$

— 禅

@禅：ブートストラップについて聞いたことがありますが、それが私に起こったことだとは思っていませんでした。真剣に、私はそれを働かせようとしていますが、1000回リサンプリングするのに時間がかかります（各リサンプリングはポイントを持っています）。サイズ 1000個のリサンプルでも2時間かかります。

2^{28}

$2^{28}$

2^{16}

$2^{16}$

— Kevin O'Bryant

1

ケビン、表記を少し変更する必要があるので注意してくださいは私のはありません。 $z_i$ $z_i$

次のベイジアンソリューションは試してみる価値があると思います。ランダムパラメータをクックして、、指定してを条件付きでます。表記ます。のサンプルがすでにあり、です。ランダム変数を定義します for（this if明確ではありません、見てください）。さて、この定式化では、あなたの二次形式 $\Lambda>0$ $Z_1,\dots,Z_n$ $\Lambda=\lambda$ $Z_i\mid\Lambda = \lambda \sim \textrm{Poisson}(\lambda)$ $Z=(Z_1,\dots,Z_n)$ $z=(z_1,\dots,z_n)$ $Z_i$ $n=2^{28}$

Θ_{i} = P {Z_{i} = k ∣ Λ} = \frac{e^{- Λ} Λ^{k}}{k!},

$\Theta_i = P\{Z_i=k\mid \Lambda\} = \frac{e^{-\Lambda}\Lambda^k }{k!} \, ,$

i \geq 0

$i\geq 0$

Q_{i} = Q_{i} (Θ_{0}, \dots, Θ_{i}) = Q_{i} (Λ)

$Q_i=Q_i(\Theta_0,\dots,\Theta_i) = Q_i(\Lambda)$ は関数です。したがって、はランダムであり、事後確率以前の、ベイズの定理を使用もし計算する発生IIDの元分布（使用からR！）と計算

Λ

$\Lambda$

Q_{i}

$Q_i$

P {Q_{7} < Q_{6} and Q_{7} < Q_{8} ∣ Z = z} . (*)

$P\{Q_7<Q_6 \,\,\,\textrm{and}\,\,\, Q_7<Q_8\mid Z=z\} \, . \qquad (*)$

Λ \sim Gamma (a, b)

$\Lambda\sim\textrm{Gamma}(a,b)$

Λ ∣ Z = z \sim Gamma (a + \sum_{i = 1}^{n} z_{i}, b + n) .

$\Lambda\mid Z=z \sim \, \textrm{Gamma}\left( a + \sum_{i=1}^n z_i, b + n\right) \, .$

(*)

$(*)$

λ_{i}

$\lambda_i$

\frac{1}{N} \sum_{i = 1}^{N} I_{(- \infty, Q_{6} (λ_{i})) \cap (Q_{8} (λ_{i}), \infty)} (Q_{7} (λ_{i})),

$\frac{1}{N} \sum_{i=1}^N I_{(-\infty,Q_6(\lambda_i))\cap(Q_8(\lambda_i),\infty)}(Q_7(\lambda_i)) \, ,$ これは、多数の強い法則により、ほぼ確実に収束します。元の質問に「はい」を得るには、この事後確率が「十分に大きい」必要があります。このような巨大なサンプルと（）、私はの値でプレーすることが可能であると考えるとあなたの前に選択肢はずっと「有益」ではないにします。

(*)

$(*)$

n = 2^{28}

$n=2^{28}$

a

$a$

b

$b$

— 禅
ソース

そのポアソン分布はかなり制限的な仮定のように思われますか？

— シアン

計算を可能にするをサポートする分布が必要です。ケビンがこのモデルで何を見つけられるか見てみましょう。

Z_{+}

$\mathbb{Z}_+$

— Zenの