データベースのビン境界がカイ二乗適合度検定に及ぼす影響？

この種の状況でのカイ二乗の低電力の明らかな問題は別として、データをビニングすることにより、指定されていないパラメーターを使用して密度のカイ二乗検定を行うことを想像してください。

具体的には、平均が不明でサンプルサイズが100の指数分布であるとします。

ビンごとに合理的な数の予想観測値を取得するには、データのアカウントを取得する必要があります（たとえば、平均より下に6ビン、上に4ビンを配置することを選択した場合、データベースのビン境界を使用します）。

しかし、データの表示に基づいたビンのこの使用は、おそらくヌル下の検定統計量の分布に影響を与えるでしょう。

パラメーターがビン化されたデータから最尤法で推定された場合、推定されたパラメーターごとに1 dfを失うという事実に関する多くの議論を見てきました（フィッシャー対カールピアソンにさかのぼる問題）-しかし、私は覚えていませんデータに基づいてビン境界自体を見つけることについては何でも読んでください。（ビン化されていないデータからそれらを推定する場合、ビンの場合、検定統計量の分布はと間のどこかにあります。） $k$ $\chi^2_{k}$ $\chi^2_{k-p}$

データに基づいたビンの選択は、有意水準または電力に実質的に影響しますか？他よりも重要なアプローチがありますか？多くの効果がある場合、それは大きなサンプルで消滅するものですか？

実質的な影響がある場合、多くの場合、パラメータが不明な場合、カイ二乗検定を使用するように思われます（多くのテキストでまだ提唱されているにもかかわらず）。 -パラメータの事前推定。

問題または参照へのポインタの議論（できればそれらの結論に言及して）が役に立つでしょう。

編集、ほとんどの主要な質問は別として：

指数関数*の特定の場合（およびユニフォームが考えるようになった場合）には潜在的な解決策があると思いますが、ビン境界を選択する影響のより一般的な問題にまだ興味があります。

*たとえば、指数関数の場合、最小の観測値（たとえばと等しい）を使用して、ビンを配置する場所の非常に大まかな考えを取得できます（最小の観測値は平均指数関数であるため）次に、指数性について残りの差（）をテストします。もちろん、それは非常に貧弱な推定値、したがって貧弱なビンの選択をもたらすかもしれませんが、合理的なビンを選択するための最低の2つまたは3つの観測値を取得し、次に指数性に関するこれらの最小次数統計の最大値を超える残りの観測値） $m$ $\mu/n$ $n-1$ $x_i - m$ $\mu$

chi-squared goodness-of-fit binning

— Glen_b -Reinstate Monica
ソース

興味深い質問。答えはわかりませんが、ある程度の自由を失うべきだという考えは理にかなっています。あなたはすでにそれを見ていない場合は、@whuberすることにより、この答えは考えさせられるべきである：どのように理解自由度。少なくともいくつかの特定のケースについては、いくつかのシミュレーション研究により、ここで足掛かりをつかむことができるはずです。

— グン-モニカの復職

これがどれほど役立つかはわかりませんが、ロバスト推定の分野でも同様の問題があります。具体的には、ロバスト推定の方法（トリミング平均など）では、パラメーター化された入力（トリミングする量を定義するパラメーターなど）が必要になることがよくあります。このパラメーターは、データ駆動型の方法で選択できます（たとえば、トリミングパラメーターを選択する前にテールの太さを確認します）。ただし、トリミングパラメーターの事前選択は、トリミングされた平均の分布に影響します。たとえば、固定パラメータールールに影響します。その文献で扱われる通常の方法は、ブートストラップを介したものです。

— コリンTバウアーズ

@ColinTBowers-多少助けになる可能性があります、ありがとう。ブートストラップの可能性については考えませんでした。

— Glen_b

問題を最も単純なケースに分解することは興味深いかもしれません。お気に入りの分布からわずか5つの観測値のようなものを想像し、データに単一の仕切りを入れて2つのビンのみを形成します。

— zkurtz

回答:

カイ二乗適合度テストの基本的な結果は、階層的に理解できます。

レベル0。固定確率ベクトルに対して多項標本を検定するための古典的なピアソンのカイ2乗検定統計量は、 $p$ ここで、に結果の数を表し、サイズのサンプルのうち番目のセルに。これは、ベクトルの2乗ノルムとして十分に見ることができますここで、

{バツ}^{2} （ p ） = \sum_{私 = 1}^{k} \frac{（ {バツ}_{私}^{（ n ）} - n p_{私} ）^{2}}{n p_{私}} \overset{d}{\to} χ_{k - 1}^{2} 、

$X^2(p) = \sum_{i=1}^k \frac{(X^{(n)}_i - n p_i)^2}{n p_i} \stackrel{d}{\to} \chi_{k-1}^2 \>,$

X_{i}^{(n)}

$X_i^{(n)}$

i

$i$

n

$n$

Y_{n} = (Y_{1}^{(n)}, \dots, Y_{k}^{(n)})

$\mathbf Y_n = (Y_1^{(n)},\ldots,Y_k^{(n)})$

として分布の多変量中心極限定理が収束によってれ、

Y_{i}^{(n)} = (X_{i}^{(n)} - n p_{i}) / \sqrt{n p_{i}}

$Y_i^{(n)} = (X_i^{(n)} - n p_i)/\sqrt{n p_i}$

このことから私たちが見ること

以来の

Y_{n} \overset{d}{\to} N （ 0 、 私 - \sqrt{p} {\sqrt{p}}^{T} ） 。

$\mathbf Y_n \stackrel{d}{\to} \mathcal N(0, \mathbf I - \sqrt{p}\sqrt{p}^T) \>.$

X^{2} = ‖ Y_{n} ‖^{2} \to χ_{k - 1}^{2}

$X^2 = \|\mathbf Y_n\|^2 \to \chi^2_{k-1}$

はランク

のべき等元です。

I - \sqrt{p} {\sqrt{p}}^{T}

$\mathbf I - \sqrt{p}\sqrt{p}^T$

k - 1

$k-1$

$p$ $m$ $p_i$

{バツ}_{1}^{2} = \sum_{私 = 1}^{k} \frac{（ {バツ}_{私}^{（ n ）} - n {\hat{p}}_{私} ）^{2}}{n {\hat{p}}_{私}} \overset{d}{\to} χ_{k - m - 1}^{2} 、

$X^2_1 = \sum_{i=1}^k \frac{(X^{(n)}_i - n \hat{p}_i)^2}{n \hat{p}_i} \stackrel{d}{\to} \chi_{k-m - 1}^2 \>,$

$\lambda$ $k$

$m$ $m = 1$

{バツ}_{2}^{2} = \sum_{私 = 1}^{k} \frac{（ {バツ}_{私}^{（ n ）} - n {\hat{p}}_{私} ）^{2}}{n {\hat{p}}_{私}} \overset{d}{\to} χ_{k - m - 1}^{2} 、

$X^2_2 = \sum_{i=1}^k \frac{(X^{(n)}_i - n \hat{p}_i)^2}{n \hat{p}_i} \stackrel{d}{\to} \chi_{k-m - 1}^2 \>,$

{\hat{p}}_{i}

$\hat{p}_i$

$Z_1,\ldots,Z_n \sim F_\lambda$ $\lambda$ $\chi_{k-m-1}^2$ $\chi_{k-1}^2$

$\mathbf Y_n$ $\mathcal N(0, \mathbf I - \sqrt{p_\lambda}\sqrt{p_\lambda}^T - \mathbf A(\lambda))$

$\lambda$ $\mathbf A(\lambda)$

$\mathbf Y_n$ $\mathbf B(\hat{\lambda})$

Y_{n}^{T} B^{T} B Y_{n} \overset{d}{\to} χ_{k - 1}^{2} 、

$\mathbf Y_n^T \mathbf B^T \mathbf B \mathbf Y_n \stackrel{d}{\to} \chi_{k-1}^2 \>,$

k

$k$

例は、Rao–Robson– Nikulin 統計およびDzhaparidze–Nikulin統計です。

$k$ $1/k$ $\hat{I}_j = \hat \mu + \hat\sigma I_{0,j}$ $I_{0,j} = [F^{-1}((j-1)/k), F^{-1}(j/k))$

参照資料

A W. van der Vaart（1998）、漸近統計、ケンブリッジ大学出版局。第17章：カイ2乗検定。
$\chi^2$
FC Drost（1989）、クラス数が無限になる傾向がある場合の位置スケールモデルの一般化カイ二乗適合度テスト、Ann。統計、vol。17、いいえ。3、1285–1300。
MS Nikulin、MS（1973）、シフトおよびスケールパラメーターを使用した連続分布のカイ2乗検定、Theory of Probability and its Application、vol。19、いいえ。3、559–568。
KO DzaparidzeおよびMS Nikulin（1973）、Pearsonの標準統計の修正について、Theory of Probability and its Application、vol。19、いいえ。4、851〜853。
KC Rao and DS Robson（1974）、指数ファミリー内の適合度検定のカイ二乗統計、Comm。統計学者。、vol 3.、no。12、1139–1153。
N.バラクリシュナン、V。ヴォイノフ、MSニクリン（2013）、カイ二乗適合度テスト、アプリケーション、アカデミックプレス。

— 枢機卿
ソース

以下に、私の質問に対する少なくとも部分的な回答を見つけました。（私はまだ誰かにそのボーナスを与えたいので、さらなる情報はありがたいです。）

$\chi^2_{k-p-1}$ $p$ $\chi^2_1$ $k$ $p$ $\chi^2_{k-p}$ $\chi^2_{k}$ $p$

参照資料

ムーアDS（1971）、ランダムなセル境界を持つカイ二乗統計、アン。数学。統計 、Vol 42、No 1、147–156。

$\chi^2$

— Glen_b -Reinstate Monica
ソース