1つの観測値の分散の信頼区間

これは、「確率論における第7回コルモゴロフ学生オリンピック」の問題です。

両方のパラメーターが不明な分布から1つの観測値与えられた場合、少なくとも99％の信頼レベルで信頼区間を与えます。 $X$ $\operatorname{Normal}(\mu,\sigma^2)$ $\sigma^2$

私には、これは不可能であると思われます。解決策はありますが、まだ読んでいません。何かご意見は？

数日中にソリューションを投稿します。

[次の編集：以下に掲載されている公式ソリューション。Cardinalのソリューションはより長くなりますが、より良い信頼区間を提供します。また、入力してくれたMaxとGlen_bにも感謝します。]

— ジョナサン・クリステンセン
ソース

私にとっても不可能のようです。私は答えを待っています

— ピーター・フロム-モニカの復職

このサイトをチェックしてください。

— 想定

書式設定が改善された用紙は次のとおりです。paper。

— 想定

へえ。私は何年も前にこのことに関する論文（1つの観察間隔）を読んだことを覚えています。されている可能性があり、この 1。

— Glen_b -Reinstateモニカ

@マックス、リンクをありがとう！まだ詳しく見る時間はありませんが、そうします。以下に「公式」回答を掲載しました。

— ジョナサンクリステンセン

回答:

確率の不等式と多重観測の事例との関係のレンズを通して見ると、この結果はそれほど不可能ではないように見えるかもしれませんし、少なくとも、もっともらしいと思われるかもしれません。

ましょうとおよび不明。に対してと書くことができます。 $\renewcommand{\Pr}{\mathbb P}\newcommand{\Ind}[1]{\mathbf 1_{(#1)}}X \sim \mathcal N(\mu,\sigma^2)$ $\mu$ $\sigma^2$ $X = \sigma Z + \mu$ $Z \sim \mathcal N(0,1)$

主な主張：は、信頼区間です。ここで、は、1次のカイ二乗分布のレベルの分位数です。自由。さらに、この間隔は場合に正確にカバレッジを持つため、一部のに対して形式の可能な限り狭い間隔になります。 $[0,X^2/q_\alpha)$ $(1-\alpha)$ $\sigma^2$ $q_\alpha$ $\alpha$ $(1-\alpha)$ $\mu = 0$ $[0,b X^2)$ $b \in \mathbb R$

楽観的な理由

の場合、の典型的な信頼区間はであることを思い出してくださいここでは、自由度のカイ2乗のレベルの分位数です。もちろん、これは当てはまります。これは最も一般的な間隔（明らかな理由から等間隔間隔と呼ばれます）ですが、唯一の間隔でも最小幅の間隔でもありません！明らかなように、別の有効な選択は $n \geq 2$ $T = \sum_{i=1}^n (X_i - \bar X)^2$ $(1-\alpha)$ $\sigma^2$

(\frac{T}{q_{n - 1, (1 - α) / 2}}, \frac{T}{q_{n - 1, α / 2}}),

$\Big(\frac{T}{q_{n-1,(1-\alpha)/2}}, \frac{T}{q_{n-1,\alpha/2}} \Big) \>,$

q_{k, a}

$q_{k,a}$

a

$a$

k

$k$

μ

$\mu$

(0, \frac{T}{q_{n - 1, α}}) .

$\Big(0,\frac{T}{q_{n-1,\alpha}}\Big) \>.$

、以来、、次に少なくともカバレッジもあります。 $T \leq \sum_{i=1}^n X_i^2$

(0, \frac{\sum_{i = 1}^{n} X_{i}^{2}}{q_{n - 1, α}}),

$\Big(0,\frac{\sum_{i=1}^n X_i^2}{q_{n-1,\alpha}}\Big) \>,$

(1 - α)

$(1-\alpha)$

この観点から見ると、メインクレームの間隔がに対して真であると楽観的になるかもしれません。主な違いは、単一の観測値の場合、ゼロ自由度カイ2乗分布がないため、1自由度の分位数を使用することを期待する必要があります。 $n = 1$

目的地に向かって半歩（右尾を活用）

主な主張の証拠に飛び込む前に、まず、それほど強くないか、統計的に満足できる予備的な主張を見てみましょう。以下の主な申し立ての証拠までスキップできますが、損失はほとんどありません。このセクションと次のセクションでは、証明は（わずかに微妙ですが）基礎的な事実のみに基づいています。すなわち、確率の単調性、および正規分布の対称性と単峰性です。

補助クレーム：は、限り、信頼区間です。ここで、は標準法線のレベルの分位数です。 $[0,X^2/z^2_\alpha)$ $(1-\alpha)$ $\sigma^2$ $\alpha > 1/2$ $z_\alpha$ $\alpha$

証明。および対称性により、以下では一般性を失うことなくを取ることができます。ここで、および場合、したがってでは、これはに対してのみ機能します。これは必要なためです。 $|X| = |-X|$ $|\sigma Z + \mu| \stackrel{d}{=} |-\sigma Z+\mu|$ $\mu \geq 0$ $\theta \geq 0$ $\mu \geq 0$

P (| X | > θ) \geq P (X > θ) = P (σ Z + μ > θ) \geq P (Z > θ / σ),

$\Pr(|X| > \theta) \geq \Pr( X > \theta) = \Pr( \sigma Z + \mu > \theta) \geq \Pr( Z > \theta/\sigma) \>,$

θ = z_{α} σ

$\theta = z_{\alpha} \sigma$

P (0 \leq σ^{2} < X^{2} / z_{α}^{2}) \geq 1 - α .

$\Pr(0 \leq \sigma^2 < X^2 / z^2_\alpha) \geq 1 - \alpha \>.$

α > 1 / 2

$\alpha > 1/2$

z_{α} > 0

$z_\alpha > 0$

これは、補助的な主張を証明しています。実例であるが、動作するのにとてつもなく大きなを必要とするため、統計的な観点からは不満である。 $\alpha$

主な主張の証明

上記の引数を改良すると、任意の信頼レベルで機能する結果が得られます。まず、であることに注意してください設定する及び。次に、固定ごとに右側がで増加することを示すことができれば、前の引数と同様の引数を使用できます。平均が増加すると、を超えるモジュラスを持つ値が表示される可能性が高くなると信じたいため、これは少なくとももっともらしいです。

P (| X | > θ) = P (| Z + μ / σ | > θ / σ) .

$\Pr(|X| > \theta) = \Pr(|Z + \mu/\sigma| > \theta / \sigma ) \>.$

a = μ / σ \geq 0

$a = \mu/\sigma \geq 0$

b = θ / σ \geq 0

$b = \theta / \sigma \geq 0$

P (| Z + a | > b) = Φ (a - b) + Φ (- a - b) .

$\Pr(|Z + a| > b) = \Phi(a-b) + \Phi(-a-b) \>.$

a

$a$

b

$b$

b

$b$ 。（ただし、左テールで質量がどれだけ速く減少するかに注意する必要があります！）

セット。次に、なおと正のための、で減少している。現在、場合、であることが簡単にわかります。これらの事実をまとめると、すべてのおよび任意の固定についてを簡単に暗示し。 $f_b(a) = \Phi(a-b) + \Phi(-a-b)$

f_{b}^{'} (a) = φ (a - b) - φ (- a - b) = φ (a - b) - φ (a + b) .

$f'_b(a) = \varphi(a-b) - \varphi(-a-b) = \varphi(a-b) - \varphi(a+b) \>.$

f_{b}^{'} (0) = 0

$f'_b(0) = 0$

u

$u$

φ (u)

$\varphi(u)$

u

$u$

a \in (0, 2 b)

$a \in (0,2b)$

φ (a - b) \geq φ (- b) = φ (b)

$\varphi(a-b) \geq \varphi(-b) = \varphi(b)$

f_{b}^{'} (a) \geq 0

$f'_b(a) \geq 0$

a \geq 0

$a \geq 0$

b \geq 0

$b \geq 0$

したがって、および、 $a \geq 0$ $b \geq 0$

P (| Z + a | > b) \geq P (| Z | > b) = 2 Φ (- b) .

$\Pr(|Z + a| > b) \geq \Pr(|Z| > b) = 2\Phi(-b) \>.$

このすべてを解き、をとると、を取得します主な主張を確立します。 $\theta = \sqrt{q_\alpha} \sigma$

P (X^{2} > q_{α} σ^{2}) \geq P (Z^{2} > q_{α}) = 1 - α,

$\Pr(X^2 > q_\alpha \sigma^2) \geq \Pr(Z^2 > q_\alpha) = 1 - \alpha \>,$

最後に：上記の引数を注意深く読むと、正規分布の対称および単峰性のプロパティのみが使用されていることがわかります。したがって、このアプローチは、コーシー分布やラプラス分布など、対称的な単一モードの位置スケールファミリからの単一の観測から信頼区間を取得する場合にも同様に機能します。

— 枢機卿
ソース

うわー！学生はオリンピアード試験の短い時間でこの種の議論を思い付くことが期待されていますか？

— ディリップサルワテ

@Dilip：わからない！私はこのオリンピアードの形式や、解決策に関して期待されるものに不慣れです。文字通りの読みから、Scortchiの答えは受け入れられると思います。「自明ではない」ソリューションでどこまで到達できるかを理解することにもっと興味がありました。私自身の（かなり最小限の）探索は、回答に記載されているのと同じ一連の思考を（1回の迂回で）行いました。より良い解決策が存在する可能性が非常に高いです。:

— 枢機inal

これは「公式」ソリューションよりもかなり長いですが、分散のより良い限界を与えるので、「正しい」答えとしてマークしています。以下に「公式」回答と、シミュレーション結果とディスカッションを掲載しました。ありがとう、@ cardinal！

— ジョナサンクリステンセン

@ジョナサン：ありがとう。はい、証明をもっと簡潔にすることができました。ここの参加者の背景は幅広いため、多くの場合、余分な（またはおそらく過剰な）詳細にふける傾向があります。:

— 枢機

フォローアップの時間！ここに私が与えられた解決策があります：

の形式の信頼区間を作成します。ここで、は統計量です。定義により、これは、信頼レベルが少なくとも99％の信頼区間になり分布の密度は超えないことに注意してください。したがって、ごとにです。したがって、プラグイン $[0,T(X))$ $T(\cdot)$
$（ \forall μ \in R ）（ \forall σ > 0 ） P_{μ 、 σ_{2}} （ σ^{2} > T （バツ）） < 0.01。$ $(\forall \mu \in \mathbb R )(\forall \sigma > 0)\; \mathbb P_{\mu,\sigma_2}(\sigma^2 > T(X)) < 0.01.$ $\mathcal{N}(\mu,\sigma^2)$ $1/\sigma\sqrt{2\pi}$ $\mathbb{P}(|X| \leq a) \leq a/\sigma$ $a \geq 0$ $t \geq P （ | バツ | / σ \leq t ） = P （ {バツ}^{2} \leq t^{2} σ^{2} ） = P （ σ^{2} \geq {バツ}^{2} / t^{2} ）。$ $t \geq \mathbb P (|X|/\sigma \leq t) = \mathbb P (X^2 \leq t^2\sigma^2) = \mathbb P (\sigma^2 \geq X^2/t^2).$ $t = 0.01$ 適切な統計は $T(X) = 10000X^2.$

信頼区間（非常に広い）はシミュレーションでわずかに保守的であり、CVを数桁にわたって変化させたため、経験的なカバレッジ（100,000シミュレーション）は99.15％未満です。

比較のために、枢機confidenceの信頼区間もシミュレートしました。枢機の間隔はかなり狭いことに注意してください-99％の場合、提供されたソリューションのとは対照的に、彼は最大約になります。経験的カバー率は名目レベルであり、CVの桁数も大きい。したがって、彼の間隔は間違いなく勝ちます。 $6300X^2$ $10000X^2$

Maxが投稿した論文を注意深く見る時間はありませんでしたが、それを見て、それに関するコメントを後で（つまり、1週間以内に）追加する予定です。その論文は、99％の信頼区間主張しています。これは、簡単なシミュレーションで、大きなCVの公称カバレッジよりもわずかに低い経験的カバレッジ（約98.85％）を持っています。 $(0,4900X^2)$

— ジョナサン・クリステンセン
ソース

（+1）それは素晴らしい解決策です。表示方程式に代わりにが必要ですか？

t \geq \dots

$t \geq \cdots$

t \leq \dots

$t \leq \cdots$

— 枢機

さらに2つのポイント：議論を変更せずに、あなたのソリューションを私のものに非常に近づけることができます。主張できることに注意してください。その後、間隔は任意のに対してになります。私の答えでは、を使用すると、とられます。信頼レベルが高い（つまり、が小さい）ほど、メソッドは私と比較して近くなります（ただし、間隔は常に広くなります）。

P (| X | \leq a) \leq 2 a / σ \sqrt{2 π}

$\mathbb P(|X| \leq a) \leq 2 a / \sigma \sqrt{2\pi}$

(0, 2 X^{2} / π α^{2})

$(0,2X^2/\pi\alpha^2)$

α

$\alpha$

α = 0.01

$\alpha = 0.01$

T (X) \approx 6366.198 X^{2}

$T(X) \approx 6366.198 X^2$

1 / q_{0.01} \approx 6365.864

$1/q_{0.01} \approx 6365.864$

α

$\alpha$

— 枢機

第二に、私はその論文を見ていないが、が有効な99％信頼区間になる可能性があることを強く疑っている。実際、いくつかのについての形式のすべての信頼区間を考慮します。次に、場合、は1自由度のカイ2乗であるため、このインスタンスで選択できる最小のは。言い換えれば、私の答えで与えられた間隔は、記載された形式の可能な限り狭いものです。

(0, 4900 X^{2})

$(0,4900 X^2)$

(0, b X^{2})

$(0, b X^2)$

b

$b$

μ = 0

$\mu = 0$

X^{2} / σ^{2}

$X^2/\sigma^2$

b

$b$

b = 1 / q_{α}

$b = 1/q_{\alpha}$

— 枢機

（疑わしい）タイプミスを修正しました。また、pchisq(1/4900,1,lower.tail=F)中Rリターン0.9886のために非常に近いシミュレーション結果に、間隔。

(0, 4900 X^{2})

$(0,4900X^2)$

— 枢機

@cardinal、すべてのコメントをありがとう。あなたの変更は正しいと思いますが、元のソリューションにあったように入力しましたが、タイプミスがあると思います。

— ジョナサンクリステンセン

おそらくCI。 $(0,\infty)$

— スコルチ-モニカの復活
ソース

なぜ有限長の信頼区間を取得できないのかを説明しておくと役立つと思います。

— 想定される通常の

@Max私は十分に頭が良くありません-しかし、質問はそれを求めませんでした。

— スコルチ-モニカの復職

+1。質問は、カバレッジが最小のCIを示しておらず、実際には、「99％以上の信頼レベルを持つ信頼区間」という奇妙な表現で受け入れられる可能性があることを示唆しています。

— アリB.フリードマン