iidデータの逆説（少なくとも私にとって）

統計に関する私の集計（および乏しい）知識が許す限り、がiidのランダム変数である場合、用語が示すように、それらは独立しており、同一に分布しています。$X_1, X_2,..., X_n$

ここでの私の懸念は、iidサンプルの以前のプロパティです。これは、

$$p(X_{n}|X_{i_1},X_{i_2},...,X_{i_k}) = p(X_{n}),$$

個別ののst。 1 ≤ I 、J < $i_j$$1 \leq i_j < n$

ただし、同一の分布の独立したサンプルの集合が分布構造に関する情報を提供し、上記の場合の結果としてに関する情報を提供することを知っているので、実際には、 $X_n$

$$p(X_{n}|X_{i_1},X_{i_2},...,X_{i_k}) = p(X_{n}).$$

私は間違いの犠牲者であることは知っていますが、その理由はわかりません。これで私を助けてください。

分布の推定モデルとランダム変数を混同していると思います。独立性の仮定を次のように書き換えましょう： これは、X n（そして、例えば、パラメータのセットθによってそれを識別することができます

$$P(X_n | \theta, X_{i_1}, X_{i_2}, \dots, X_{i_k}) = P(X_n | \theta) \tag{1}$$ $X_n$$\theta$）分布は、そこからいくつかのサンプルを観察した場合には変化しません。

たとえば、は、コインのn番目のトスの結果を表すランダム変数と考えてください。X nの分布を知るには、コインの頭と尾の確率を知ること（ところで、θでエンコードされていると仮定）で十分です。特に、前のトスの結果は、n番目のトスの頭または尾の確率を変更せず、（1 ）が成立します。$X_n$$n$$\theta$$X_n$$n$$(1)$

ただし、であることに注意してください。$P(\theta | X_n) \neq P(\theta | X_{i_1}, X_{i_2}, \dots, X_{i_k})$

あなたはベイズ的アプローチとの分布記述する御馳走パラメータ取る場合は確率変数/ベクトルとしての、その後の観測は確かにありません独立したが、それらは以下のようになり、条件付き独立したの知識与えられたθので、P （X N | X N - 1、... X 1、θ ）= P （X N | θ ）開催します。$X$$\theta$$P(X_n \mid X_{n-1}, \ldots X_1, \theta) = P(X_n \mid \theta)$

古典的な統計的アプローチでは、は確率変数ではありません。計算は、θとは何かを知っているかのように行われます。ある意味では、（値がわからなくても）常にθを調整しています。$\theta$$\theta$$\theta$

「...分布構造に関する情報を提供し、に関する結果として」を書いたとき、あなたは暗黙のうちにベイジアンアプローチを採用していましたが、正確にはしていませんでした。頻繁に使用するIIDサンプルのプロパティを作成していますが、ベイジアン設定の対応するステートメントにはθの条件付けが含まれます。$X_n$$\theta$

ベイジアン統計学者対古典統計学者

みましょう偏った、不公平なコイン投げの結果です。コインが頭に着く確率はわかりません。$x_i$

• 古典統計学者にとって、頻度論者は何らかのパラメーターです。これをθと呼びましょう。ここで、θは1/3のようなスカラーであることに注意してください。数字がわからないかもしれませんが、数字です！ランダムではありません！$P(x_i = H)$$\theta$$\theta$
• ベイズ統計学者にとって、自体はランダム変数です！これは非常に異なります！$\theta$

ここでの重要な考えは、ベイズ統計学者が確率のツールを古典統計学者がしない状況に拡張するということです。頻度の高い人にとって、は1つの可能な値しかないため、ランダム変数ではありません！複数の結果は不可能です！しかし、ベイジアンの想像では、θの複数の値が可能であり、ベイジアンは確率ツールを使用してその不確実性を（彼自身の心で）喜んでモデル化します。$\theta$$\theta$

これはどこに行くの？

コインを回裏返すとしましょう。1回のフリップは、他のフリップの結果に影響しません。古典的な統計学者は、これらの独立したフリップを呼び出します（実際、それらはフリップです）。：私たちは持っているよ P （X N = H | xはN - 1は、xはN - 2、... 、xは1）= P （X N = H ）= θ θは、いくつかの未知のパラメータです。（それが何であるかはわかりませんが、ランダム変数ではありません！それはいくつかの数字です。）$n$

$$P(x_n=H \mid x_{n-1}, x_{n-2}, \ldots,x_{1}) = P(x_n=H) = \theta$$ $\theta$

ベイジアンの主観的確率を深く考えると、重要なのは彼女の観点からの確率だと言うでしょう！。彼女が10個のヘッドを連続して見た場合、11個目のヘッドは、連続して10個のヘッドがコインをヘッドに有利に偏っていると信じさせるため、より可能性が高くなります。

$$P(x_{11} = H \mid x_{10}=H, x_{9}=H, \ldots,x_{1}=H) > P(x_1 = H)$$

$\theta$$\theta$$\theta$

$$P(x_{11} = H \mid x_{10}=H, x_{9}=H, \ldots,x_{1}=H, \theta) = P(x_1 = H \mid \theta) = \theta$$

$\theta$$\theta$

さらなるメモ

私はここで短いイントロを提供するために最善を尽くしましたが、私がやったことはせいぜい表面的なものであり、概念はある意味でかなり深いものです。確率の哲学、Savageの1954年の著書、Foundation of Statisticsは古典的です。ベイジアン対フリークエンティストのためのグーグルとたくさんのものが登場します。

IIDの描画について考える別の方法は、デフィネッティの定理と交換可能性の概念です。ベイジアンフレームワークでは、交換可能性は、潜在的なランダム変数（この場合、コインの片側性）を条件とする独立性と同等です。