信頼区間は精度について何と言っていますか（もしあれば）？

Morey et al（2015）は、信頼区間は誤解を招くものであり、それらの理解に関連する複数のバイアスがあると主張しています。とりわけ、彼らは精度の誤precisionを次のように説明しています：

精度の誤り
信頼区間の幅は、パラメーターに関する知識の精度を示します。狭い信頼区間は正確な知識を示し、広い信頼誤差は不正確な知識を示します。

推定の精度と信頼区間のサイズの間に必要な関係はありません。これを確認する1つの方法は、2人の研究者（上級研究者と博士課程の学生）がデータを分析していることを想像することです$50$実験から 50人の参加者のです。博士課程の学生の利益のための演習として、上級研究者は参加者をランダムに 2セットに分割し、$25$それぞれがデータセットの半分を個別に分析できるようにすることを決定します。後続の会議で、2人は互いに平均のスチューデントの$t$信頼区間を共有します。博士課程の学生の$95\%$ CIは$52 \pm 2$であり、上級研究員の 95 ％ CIは$95\%$CIはです。$53 \pm 4$

上級研究員は、結果がほぼ一貫しており、それぞれの2つのポイント推定値の均等に重み付けされた平均値真の平均値の全体的な推定値として使用できることに注目しています。$52.5$

しかし、博士課程の学生は、2つの平均を均等に重み付けすべきではないと主張します。彼女は、CIの幅が半分であると指摘し、推定がより正確であるため、より重く重み付けする必要があると主張します。彼女のアドバイザーは、2つの平均の不均等な重み付けからの推定値は、完全なデータセットの分析からの推定値とは異なるため、でなければならないため、これは正しいとは言えないと指摘します。博士課程の学生の間違いは、CIがデータ後の精度を直接示すと仮定していることです。$52.5$

上記の例は誤解を招くようです。サンプルをランダムに半分に2つのサンプルに分割すると、サンプル平均と標準誤差の両方が近くなると予想されます。このような場合、加重平均の使用（たとえば、逆誤差による加重）と単純な算術平均の使用に違いはありません。ただし、推定値が異なり、サンプルの1つのエラーが著しく大きい場合、そのようなサンプルの「問題」を示唆している可能性があります。

明らかに、上記の例では、サンプルサイズが同じであるため、平均をとることでデータを「結合」することは、サンプル全体を平均することと同じです。問題は、サンプル全体が最初に部分に分割され、最終的な推定のために再び結合されるという不明確なロジックに従っているということです。

この例を言い換えると、まったく逆の結論に導くことができます。

研究者と学生は、データセットを2つに分割し、個別に分析することにしました。その後、彼らは彼らの推定値を比較し、サンプルは彼らが計算したものが非常に異なっていることを意味し、さらに学生の推定値の標準誤差ははるかに大きかったようでした。学生はこれが彼の推定の精度の問題を示唆することを恐れていましたが、研究者は信頼区間と精度の間に関連性がないことを暗示したので、両方の推定は等しく信頼でき、ランダムに選択されたそれらのいずれかを公開できます、最終的な見積もりとして。

より正式に述べると、スチューデントのような「標準」信頼区間はエラーに基づいています$t$

どこ、いくつかの定数です。そのような場合、それらは精度に直接関係していますよね。$c$

だから私の質問は次のとおり
です。信頼区間は精度について何と言っていますか？

Morey、R.、Hoekstra、R.、Rouder、J.、Lee、M.、＆Wagenmakers、E.-J. （2015）。信頼区間に信頼を置くという誤り。Psychonomic Bulletin＆Review、1–21。https://learnbayes.org/papers/confidenceIntervalsFallacy/

この論文では、複数の方法で正確な誤fallを実際に示しています。質問の1つ-論文の最初の例-この例は、単純な「CI =精度」が間違っていることを示すことを目的としています。これは、有能な頻度主義者、ベイジアン、または尤度主義者がこれによって混乱するということではありません。

状況を確認する別の方法を次に示します。CIに伝えただけでは、サンプルの情報を一緒に結合することはできません。我々は知っている必要があります、そしてそれから、私たちはにCIを分解することができˉ XとS 2、したがって、適切に二つの試料を兼ね備えています。これを行う必要があるのは、CIの情報が迷惑パラメーターよりもわずかであるためです。両方のサンプルに同じ迷惑パラメータに関する情報が含まれていることを考慮する必要があります。これは、両方のコンピューティングコンピューティング含まね2つの全体的な見積もりを取得するためにそれらを組み合わせて、値σ 2を、新しいCIを計算し、。$N$$\bar{x}$$s^2$$s^2$$\sigma^2$

精度の誤りのその他のデモンストレーションについては、

• ウェルチ（1939）セクション（潜水艦）の複数のCI。そのうちの1つには、上記の@dsaxtonが言及した「些細な」CIが含まれています。この例では、最適なCIは尤度の幅を追跡しません。また、CIには他のいくつかの例もあります。
• CI-「良い」CIでさえ空である可能性があり、「誤って」無限精度を示す

難問への答えは、少なくともCI支持者が考える「精度」（推定値がパラメーターに「どれだけ近いか」の実験後評価）は、信頼区間が一般的に持つ特性ではないということです。 、それらは意図されていませんでした。特定の信頼手順は...かもしれません。

こちらのディスカッションもご覧ください：http : //andrewgelman.com/2011/08/25/why_it_doesnt_m/#comment-61591

まず最初に、厳密に正の有限の幅を持つ区間のみを生成するCIプロシージャに限定します（病理学的なケースを避けるため）。

この場合、精度とCI幅の関係は理論的に実証できます。平均の推定値を取得します（存在する場合）。平均のCIが非常に狭い場合は、2つの解釈があります。不運があり、サンプルが固く固まっている（その発生の事前確率5％）か、間隔が真の平均をカバーしています（95％先験的なチャンス）。もちろん、観測されたCIは、いずれかのこれらの2のことができ、しかし、我々は後者が故に、我々は高い学位を持っている...はるかに可能性が発生した（すなわち、95％の確率で先験的）になるように、私たちの計算を設定しました自信確率的に物事を設定するので、これがそうであるので、私たちの間隔が平均をカバーすること したがって、95％CIは確率間隔ではなく（ベイジアン信頼区間など）、「信頼できるアドバイザー」のようなものです。統計的には95％の確率で正しいので、答えを信頼します。特定の答えが間違っている可能性があります。

実際のパラメーターをカバーする95％の場合、幅はデータが与えられた妥当な値の範囲（つまり、真の値をどれだけうまくバインドできるか）について何かを示します。したがって、精度の尺度のように機能します。そうでない場合の5％で、CIは誤解を招きます（サンプルが誤解を招くため）。

だから、95％のCI幅は精度を示していますか...私はそれが95％のチャンスがあると言います（CI幅が正有限であれば）;-)

賢明なCIとは何ですか？

元の著者の投稿に応じて、（a）「分割サンプル」の例には非常に具体的な目的があることを考慮し、（b）コメント者の要求に応じて背景を提供するために、応答を修正しました。

理想的な（周波数帯の）世界では、すべてのサンプリング分布は、正確な信頼区間を取得するために使用できる重要な統計を認めます。重要な統計の何がそんなに素晴らしいのですか？それらの分布は、推定されるパラメータの実際の値を知らなくても導き出すことができます！これらの素晴らしいケースでは、このパラメーターに関する真のパラメーター（ガウスではないかもしれませんが）に対するサンプル統計の正確な分布があります。

もっと簡潔に：エラー分布（またはその変換）を知っています。

合理的な信頼区間を形成できるのは、いくつかの推定量のこの品質です。これらの間隔は、定義を満たしているだけではありません...それらは、推定誤差の実際の分布から導き出されているために満たされています。

ガウス分布と関連するZ統計は、重要な量を使用して平均の正確なCIを作成する標準的な例です。より難解な例はありますが、これは一般に「大標本理論」を動機付けるものです。これは基本的に、ガウスCIの背後にある理論を真のピボット量を認めない分布に適用する試みです。これらのケースでは、およそピボット、または漸近的にピボット（サンプルサイズ）量または「近似」信頼区間について読みます。これらは尤度理論に基づいています。具体的には、多くのMLEのエラー分布正規分布に近づきます。

賢明なCIを生成する別のアプローチは、仮説検定を「反転」することです。「良い」テスト（たとえば、UMP）は、指定されたタイプIエラー率に対して良い（読み取り：狭い）CIをもたらすという考え方です。これらは正確なカバレッジを提供する傾向はありませんが、下限のカバレッジを提供します（注：X％-CIの実際の定義では、少なくとも X％の時間で真のパラメーターをカバーする必要があるというだけです）。

仮説検定の使用は、重要な量や誤差分布を直接必要としません。その感度は、基礎となる検定の感度から導き出されます。たとえば、リジェクション領域の長さが0の5％で、長さが95％の無限の長さのテストがある場合、CIを使用していた場所に戻りますが、このテストはそうではないことは明らかですデータを条件とするため、テスト対象の基になるパラメーターに関する情報は提供されません。

このより広いアイデア-精度の推定はデータを条件とするべきであるということは、フィッシャーと補助統計のアイデアに戻ります。テストまたはCIプロシージャの結果がデータによって条件付けられていない（つまり、その条件付き動作がその無条件の動作と同じである）場合は、疑わしいメソッドが手元にあることを確認できます。

$\{x_1, x_2, \ldots , x_n \}$$(\mu, \sigma^2)$$\mu$$(- \infty, \infty)$$\{ 0 \}$偏ったコインの反転に基づいています。適切なバイアスを使用することで、任意のレベルの信頼を得ることができますが、明らかに幅がゼロの間隔になったとしても、間隔の「推定」にはまったく精度がありません。

この見かけ上の誤りを気にする必要がないと思う理由は、信頼区間の幅と精度の間に必要な関係がないことは事実ですが、標準誤差と精度の間にはほぼ普遍的な関係があるためです。ほとんどの場合、信頼区間の幅は標準誤差に比例します。

$\sigma$

「信頼区間」と「精度」の明確な区別（@dsaxtonの回答を参照）は重要です。その区別は両方の用語の一般的な使用法の問題を指摘しているからです。

ウィキペディアからの引用：

再現性と再現性に関連する測定システムの精度は、変更されていない条件下で繰り返し測定が同じ結果を示す度合いです。

したがって、頻繁な信頼区間が測定計画のタイプの精度を表すと主張するかもしれません。同じスキームを繰り返した場合、各繰り返しで計算された95％CIには、繰り返しの95％でパラメーターの1つの真の値が含まれます。

しかし、これは多くの人が実用的な精度の尺度から望んでいるものではありません。彼らは測定値がどのくらい真の値に近いか知りたがっています。頻繁な信頼区間は、厳密にその精度を提供しません。ベイジアンの信頼できる地域はそうします。

混乱の一部は、実際の例では、頻度の高い信頼区間とベイズの信頼できる領域が「多かれ少なかれ重複する」ということです。OPに関するいくつかのコメントのように、正規分布からのサンプリングはそのような例です。これは、@ Beyが念頭に置いていた、分析の種類によっては、限界に正規分布があるプロセスの標準誤差の近似値に基づいた実際のケースにも当てはまります。

そのような状況にあることがわかっている場合、測定スキームの単一の実装から特定の95％CIを、真の値を含む可能性が95％であると解釈しても、実際的な危険はありません。ただし、信頼区間のその解釈は、真の値がその特定の区間内にあるかそうでないかのどちらかである頻繁な統計からではありません。

信頼区間と信頼できる領域が著しく異なる場合、上記のリンクされた論文とその中で参照された以前の文献が示すように、そのベイジアン的な頻度の信頼区間の解釈は誤解を招くか間違っている可能性があります。はい、「常識」はそのような誤解を避けるのに役立つかもしれませんが、私の経験では「常識」はそれほど一般的ではありません。

その他CrossValidatedページは、より多くの情報含まれている信頼区間と信頼区間と信頼性の高い地域の違いを。それらの特定のページからのリンクも非常に有益です。

@Beyが持っています。スコアとパフォーマンス、価格と品質、匂いと味の間には必要な関係はありません。しかし、一方は通常、他方について通知します。

誘導によって、クイズを出せないことを証明できます。綿密な調査では、これはクイズが驚きであることを保証できないことを意味します。しかし、ほとんどの場合はそうなります。

Morey et alが示すように、幅に情報がない場合が存在するようです。「推定の精度と信頼区間のサイズとの間に必要な関係はない」と主張するには十分ですが、CIには一般に精度に関する情報が含まれないと結論付けるだけでは不十分です。単にそうすることを保証されていないというだけです。

（+ @Beyの回答への不十分なポイント。）