尤度の定義に頻度主義者とベイジアンの間に違いはありますか？

尤度関数は条件付き確率ではないと言う人もいれば、そうだと言う人もいます。これは非常に混乱しています。

私が見たほとんどの情報源によると、パラメータ分布の尤度は、x iの n個のサンプルが与えられた確率質量関数の積でなければなりません。$\theta$$n$$x_i$

$$L(\theta) = L(x_1,x_2,...,x_n;\theta) = \prod_{i=1}^n p(x_i;\theta)$$

たとえば、ロジスティック回帰では、最適化アルゴリズムを使用して尤度関数（最大尤度推定）を最大化し、最適なパラメーター、したがって最終的なLRモデルを取得します。互いに独立していると仮定するトレーニングサンプルが与えられた場合、確率の積（または結合確率質量関数）を最大化します。これは私には明らかです。$n$

よるとの関係：可能性、条件付き確率と故障率、「可能性は確率ではありません、それは条件付き確率ではありません」。また、「尤度はベイジアンの尤度の理解においてのみ条件付き確率です。つまり、が確率変数であると仮定した場合」。$\theta$

頻度の高い人とベイジアンの間で学習問題を扱う際のさまざまな視点について読みました。

ソースによると、ベイジアン推論の場合、アプリオリ、尤度P （X | θ ）があり、ベイジアン定理を使用して事後P （θ | X ）を取得します。$P(\theta)$$P(X|\theta)$$P(\theta|X)$

$$P(\theta|X)=\dfrac{P(X|\theta) \times P(\theta)}{P(X)}$$

私はベイジアン推論に精通していません。どうして$P(X|\theta)$そのパラメータを条件と観測データの分布である、また、可能性と呼ばれますか？ではウィキペディア、それが時にはそれが書かれていると言い。これは何を意味するのでしょうか？$L(\theta|X)=p(X|\theta)$

頻度についての頻度とベイジアンの定義に違いはありますか？

ありがとう。

---

編集：

ベイズの定理の解釈には、ベイズの解釈と頻度論者の解釈のさまざまな方法があります（ベイズの定理-ウィキペディアを参照）。

定義に違いはありません -どちらの場合も、尤度関数はサンプリング密度に比例するパラメーターの関数です。厳密に言えば、尤度がサンプリング密度に等しいことを要求しません。比例する必要があるだけで、パラメータに依存しない乗法部分を削除できます。

サンプリング密度は、パラメーターの指定値を条件とするデータの関数として解釈されますが、尤度関数は、固定データベクトルのパラメーターの関数として解釈されます。したがって、IIDデータの標準的なケースでは次のようになります。

$$L_\mathbf{x}(\theta) \propto \prod_{i=1}^n p(x_i|\theta).$$

ベイズ統計では、通常、ベイズの定理を最も単純な形式で次のように表現します。

$$\pi (\theta|\mathbf{x}) \propto \pi(\theta) \cdot L_\mathbf{x}(\theta).$$

ベイズの定理のこの式は、その両方の乗法的要素がパラメータの関数であることを強調しており、これは事後密度の対象オブジェクトです。（事後は密度であるため、この比例結果は規則を完全に定義します。したがって、1つに統合する一意の乗算定数があります。）更新で指摘するように、ベイジアン哲学と頻度主義哲学には異なる解釈構造があります。頻繁なパラダイム内では、パラメーターは一般に「固定定数」として扱われるため、確率尺度とはみなされません。そのため、頻度の高い専門家は、パラメーターの事前または事後分布の帰属を拒否します（これらの哲学的および解釈的な違いに関する詳細については、例えばO'Neill 2009を参照してください）。

尤度関数は、から独立して定義されているまたは前-推論するために使用される統計的パラダイム、関数として、L （θ ; X ）（又はL （θ | X ））パラメータの、θに依存する関数-または-この推論に利用可能な観測x また、データの変動性またはランダム性を表すために選択された確率モデルのファミリーに暗黙的に依存します。ペア特定の値$-$$-$$L(\theta;x)$$L(\theta|x)$$\theta$$-$$-$$x$、この関数の値は、パラメーター θでインデックス付けされたときの xでのモデルの密度の値とまったく同じです。多くの場合、これは「データの確率」として大まかに翻訳されます。$(\theta,x)$$x$$\theta$

このフォーラムの以前の回答よりも権威ある歴史的な情報源を引用するには、

「観測できる量の発生確率について議論するかもしれない...これらの観測を説明するために提案されるかもしれない仮説に関連して。我々は仮説の確率について何も知ることができない…。[我々]尤度を確認するかもしれない仮説からの...観測からの計算による：観測可能な量の可能性について言えば...意味はありません。RA Fisher、小さなサンプルから推定された相関係数の「推定誤差」について。メトロン 1、1921年、p.25

そして

「サンプルから見つけることができるのは、rの特定の値の尤度です。rの特定の値を持つ母集団から、rの観測値を持つサンプルの尤度に比例する量として尤度を定義する場合、取得する必要があります。」RA Fisher、小さなサンプルから推定された相関係数の「推定誤差」について。メトロン 1、1921年、24ページ

ジェフリーズ（および私）が不必要だと感じる比例性について言及しています。

「..尤度、RA Fisher教授によって導入された便利な用語。ただし、彼の用法では定数定数が乗算されることがあります。これは、元の情報と議論中の仮説を与えられた観測の確率です。」H.ジェフリーズ、確率論、1939、p.28

John Aldrichによるトピックへの優れた歴史的エントリから1文だけ引用します（統計科学、1997）：

「フィッシャー（1921、p。24）は、1912年に逆確率について書いたものを書き直し、確率密度と尤度で実行できる数学的操作を区別しました。尤度は「微分要素」ではなく、統合できません」J.アルドリッチ、RAフィッシャーと最尤1912のメイキング- 1922年、1997年、P.9

$x$$\theta$$\theta$$x$$\theta$$\theta$$\theta$$\pi(\cdot)$$X$$x$$L(\theta|\cdot)$$\theta$$(\theta,x)$

$$\pi(\theta) \times L(\theta|x)$$ $\theta$$\theta$$x$ $$\pi(\theta|x) \propto \pi(\theta) \times L(\theta|x)$$ $$\text{posterior} \propto \text{prior} \times \text{likelihood}$$

注：ウィキペディアのページの紹介で、頻度論者とベイジアン尤度の尤度関数についての混乱と不必要な区別、または現在のベイジアン統計学者の大部分が尤度を事後確率の代替として使用していないため、まったく間違っていることがわかりました。同様に、ウィキペディアのベイズ定理について指摘されている「差異」は、パラダイムまたは確率ステートメントの意味から独立した、条件付けの変化に関する確率ステートメントであるため、他の何よりも紛らわしいようです。（私の意見では、定理というよりも定義です！）

小さな補遺として：

「可能性」という名前は完全に誤解を招きます。なぜなら、非常に多くの異なる意味が考えられるからです。「通常の言語」だけでなく、統計でも。少なくとも3つの異なる、しかしすべてがLikelihoodと呼ばれる関連する表現さえ考えることができます。教科書でも。

そうは言っても、Likelihoodの乗法的定義を採用する場合、その（たとえば公理的）定義の意味でそれをあらゆる種類の確率に変えるものは何もありません。これは実数値です。あなたはそれを計算したり、確率に関連付けたりするために多くのことをすることができます（比率を取る、事前確率と事後確率を計算するなど）-しかし、それ自体では確率の意味では意味がありません。

その答えは、西安のはるかに有益で包括的な答えによって多かれ少なかれ時代遅れになりました。しかし、リクエストにより、Likelihoodのテキストブックの定義：

• $L (\vec{x}; \theta)$
• パラメーター「最適な」値を見つける方法$\theta$
• さまざまな事前確率（分類タスクなど）の尤度値の比率...さらに、前述の要素の（ab）使用に起因するさまざまな意味。