パラメータの推定値を計算するために必要なすべての情報が十分な統計に含まれているのはなぜですか？

統計の研究を始めたばかりで、十分なものを直感的に理解することができません。より正確には、次の2つの段落が同等であることを示す方法を理解できません。

大まかに、未知のパラメーターθを条件とする独立した同一分布データのセットXが与えられると、十分な統計量は、パラメーターの推定値を計算するために必要なすべての情報を値に含む関数T（X）です。

統計T（X）が与えられたデータXの条件付き確率分布がパラメーターθに依存しない場合、統計T（X）は基礎となるパラメーターθに十分です。

（十分な統計からの引用を取りました）

2番目のステートメントは理解できますが、因数分解定理を使用して特定の統計が十分であるかどうかを示すことはできますが、そのようなプロパティを持つ統計が「パラメータの推定」。とにかく理解を深めるのに役立つ正式な証拠を探していません。2つのステートメントが同等である理由の直感的な説明を取得したいと思います。

要約すると、私の質問は次のとおりです。2つのステートメントが同等なのはなぜですか。誰かがその等価性について直感的な説明を提供できますか？

@whuberと@Kamsterのコメントに続いて、私はおそらくより良い理解を得た。十分な統計量にパラメーターの推定値を計算するために必要なすべての情報が含まれると言う場合、実際に意味するのは、最尤推定量（すべての十分な統計量の関数）を計算するのに十分であることです。

私は自分の質問に答えているので、答えが100％確信できないので、フィードバックを得るまでは正しいとマークしません。私が間違っている/不正確であるなどと思われる場合は、コメントを追加して投票してください...

（これがSEのエチケットと互換性がないかどうかを教えてください。これが私の最初の質問であるため、規則に違反している場合は寛大にお願いします）

十分性について勉強していたときに、私はあなたの質問に出くわしました。なぜなら、私が集めたものから、これが私が思いついたことについての直観も理解したかったからです。

レッツ平均のポアソン分布からのランダムサンプルであってもθ $X_1,\ldots,X_n$$\theta>0$。

我々はそれを知っているのための十分統計量であるθの条件付き分布するので、X 1、... 、X nは与えられたT （Xが）の自由であるθは、他の言葉では、ありませんθに依存$T({\bf{X}})=\sum_{i=1}^{n} X_i$$\theta$$X_1,\ldots,X_n$$T({\bf{X}})$$\theta$$\theta$ます。

$A$ $X_1,\ldots,X_n \overset{i.i.d}{\sim} Poisson(4)$$n=400$、この分布からランダムな値：

n<-400
theta<-4
set.seed(1234)
x<-rpois(n,theta)
y=sum(x)

freq.x<-table(x) # We will use this latter on
rel.freq.x<-freq.x/sum(freq.x)

$A$$B$に次のます。

「これらのサンプル値があります $x_1,\ldots,x_n$$\sum_{i=1}^{n} x_i = y = 4068$あなたがこのディストリビューションについて私に言うことができる何を？"

$\sum_{i=1}^{n} x_i = y = 4068$$B$$\theta$ますか？これが十分な統計であることを知っているので、答えが「はい」であることを知っています。

この意味について理解するために、次のことを行いましょう（Hogg＆Mckean＆Craigの「Introduction to Mathematical Statistics」、第7版、演習7.1.9から）：

$B$$z_1,z_2,\ldots,z_n$$x$$Z_1,Z_2\ldots,Z_n$$z_1,z_2,\ldots,z_n$$\sum z_i = y$

$$\cfrac{\frac{\theta^{z_1}e^{-\theta}}{z_1!} \frac{\theta^{z_2}e^{-\theta}}{z_2!} \cdots \frac{\theta^{z_n}e^{-\theta}}{z_n!}}{\frac{n \theta^{y}e^{-n\theta}}{y!}}=\frac{y!}{z_1!z_2! \cdots z_n!} \left(\frac{1}{n}\right)^{z_1} \left(\frac{1}{n}\right)^{z_2} \cdots \left(\frac{1}{n}\right)^{z_n}$$

$Y=\sum Z_i$$n \theta$$y$$n$$1/n$$B$$y$$z_1,\ldots,z_n$

これが演習の状態です。それで、それを正確にやってみましょう：

# Fake observations from multinomial experiment
prob<-rep(1/n,n)
set.seed(1234)
z<-as.numeric(t(rmultinom(y,n=c(1:n),prob)))
y.fake<-sum(z) # y and y.fake must be equal
freq.z<-table(z)
rel.freq.z<-freq.z/sum(freq.z)

$Z$ のように見えます（私はまた、ポアソン（4）の実密度をプロットしています $k=0,1,\ldots,13$ -13を超えるものは事実上ゼロです-（比較のため）：

# Verifying distributions
k<-13
plot(x=c(0:k),y=dpois(c(0:k), lambda=theta, log = FALSE),t="o",ylab="Probability",xlab="k",
     xlim=c(0,k),ylim=c(0,max(c(rel.freq.x,rel.freq.z))))
lines(rel.freq.z,t="o",col="green",pch=4)
legend(8,0.2, legend=c("Real Poisson","Random Z given y"), 
       col = c("black","green"),pch=c(1,4))

だから、何も知らない $\theta$ 十分な統計のみを知っている $Y=\sum X_i$ Poisson（4）分布によく似た「分布」を再現することができました（ $n$ 増加すると、2つの曲線はより類似します）。

今、比較 $X$ そして $Z|y$：

plot(rel.freq.x,t="o",pch=16,col="red",ylab="Relative Frequency",xlab="k",
     ylim=c(0,max(c(rel.freq.x,rel.freq.z))))
lines(rel.freq.z,t="o",col="green",pch=4)
legend(7,0.2, legend=c("Random X","Random Z given y"), col = c("red","green"),pch=c(16,4))

同様に（予想どおり）かなり似ていることがわかります。

そのため、「統計的判断を下すために、個々のランダム変数を無視できます。 $X_i$ そして、完全に決定を下す $Y=X_1+X_2+\cdots+X_n$"（アッシュ、R。「統計的推論：簡潔なコース」、59ページ）。

役に立つかもしれない別の視点を与えてみましょう。これも定性的ですが、情報理論で特に重要な厳密なバージョンがあります-マルコフ特性として知られています。

最初に、2つのオブジェクト、データ（ランダム変数に由来し、Xと呼びます）とパラメーターがあります。 $\theta$（推定値について話しているため、暗黙的に想定される別のrv）。これら2つは依存していると想定されます（そうでなければ、一方を他方から推定しようとする意味がありません）。これで、3番目のオブジェクト、Sufficient Statistic、Tがゲームに入ります。$\theta$ Tを知っている（つまり、Tで条件付けされている）場合、Xは追加情報を提供しない、つまりXと $\theta$独立しています。言い換えれば、Xの知識は、$\theta$心配です。確率では、すべての不確実性がキャプチャされるため、（条件付き）確率が独立している場合（条件付き密度の因数分解など）の「推定値」に注意してください。