素人向けの十分な統計

誰かが非常に基本的な用語で十分な統計を説明してもらえますか？私はエンジニアリングのバックグラウンドを持っており、多くのことを経験しましたが、直感的な説明を見つけることができませんでした。

十分な統計情報は、サンプルに含まれるすべての情報を要約しているため、サンプルを提供したか、統計情報のみを提供したかにかかわらず、同じパラメーターを推定できます。情報を失うことなくデータを削減します。

次に例を示します。仮定ゼロに対して対称分布を有しています。サンプルを提供する代わりに、代わりに絶対値のサンプルを渡します（これが統計です）。あなたはサインを見ることはできません。しかし、あなたは分布が対称であることを知っているので、与えられた値のためにX、- XおよびXは同じ確率（条件付き確率がある0.5）。だから、あなたは公正なコインを裏返すことができます。頭に浮かんだ場合は、そのxを負にします。テールの場合は、ポジティブにします。これにより、元のデータXと同じ分布を持つX ′からのサンプルが得られます。$X$$x$$-x$$x$$0.5$$x$$X'$$X$。基本的に、統計からデータを再構築できました。それで十分です。

ベイジアン用語では、観測可能なプロパティ$X$とパラメーター$\Theta$ます。共同分布$X,\Theta$指定されたが、の条件付き分布として因数分解される$X\mid \Theta$との事前分布$\Theta$。統計量$T$との事後分布場合だけ、このモデルのために十分である$\Theta\mid X$と同じである$\Theta\mid T(X)$、のすべての事前分布のために $\Theta$。つまり、の値を知った後の$\Theta$に関する更新された不確実性$X$およそあなたの更新の不確実性と同じである$\Theta$の値を知った後、$T(X)$、あなたはについて持って前にどんな情報 $\Theta$。十分性はモデルに依存する概念であることに留意してください。

あなたはコインを持っているとし、それが公正かどうかわからないとします。言い換えれば、それは確率持つ$p$ヘッド（考え出すの$H$）と$1 - p$尾（来るの$T$）、そして次の値を知らない$p$。

コインを数回、たとえばn回投げて、$p$の値を把握しようとします。$n$

さんが言ってみましょう$n = 5$とあなたが得ることが起こる結果はシーケンスである$(H, H, T, H, T)$。

今、あなたはあなたの統計学者の友人にあなたのために$p$の価値を見積もってもらい、そしておそらくコインが公正である可能性が高いかどうかをあなたに伝えたいです。計算を行って結論を出すために、どのような情報を伝える必要がありますか？

すべてのデータ、つまり$(H, H, T, H, T)$伝えることができます。しかし、これは必要ですか？関連データを失うことなく、このデータを要約できますか？

コイントスの順序は無関係であることが明らかです。なぜなら、あなたは各コイントスに対して同じことをしており、コイントスは互いに影響しなかったからです。たとえば、結果が$(H, H, T, T, H)$場合、結論は変わりません。統計学者の友人に伝える必要があるのは、頭がいくつあったかだけです。

頭の数はpにとって十分な統計量であると言うことでこれを表現します。

この例は、コンセプトのフレーバーを示しています。正式な定義とどのように結び付いているかをご覧になりたい場合は、引き続きお読みください。

形式的には、統計値が与えられた場合、結果の確率分布がパラメーターを含まない場合、パラメーターはパラメーターで十分です。

この例では、頭の数を知る前に、結果の確率は$p^\text{number of heads}(1 - p)^\text{n - number of heads}$。明らかにこれは$p$依存します。

しかし、我々は、ヘッドの数は3（または他の値）であることを知っていたら、3頭（とすべての結果$(H, H, T, H, T)$、$(H, H, T, T, H)$、$...$）も同様に可能性が高い（彼らはすべての確率は持っているので、実際には10の可能性があるある$1/10$）。そのため、分布はもはや$p$とは関係ありません。直観的に、これは、私たちが観察する特定の結果が、pに関するそれ以上の情報を教えないことを意味します$p$、結果は$p$影響を受けないためです。

余談ですが、頭の数を知る前の確率は、頭の数を通して$p$のみ依存することに注意してください。これは、pに十分な頭の数に等しいことがわかります。$\text{number of heads}$$\text{number of heads}$$p$