可能性を厳密に定義する方法は？

尤度は、たとえば、いくつかの方法で定義できます。

関数からマップをすなわち、。 $L$ $\Theta\times{\cal X}$ $(\theta,x)$ $L(\theta \mid x)$ $L:\Theta\times{\cal X} \rightarrow \mathbb{R}$
ランダム関数 $L(\cdot \mid X)$
また、尤度は「観測された」尤度のみであると考えることもでき $L(\cdot \mid x^{\text{obs}})$
実際には、尤度は情報を $\theta$ 乗法定数までしかないため、尤度は関数ではなく関数の等価クラスと考えることができます

パラメーター化の変更を検討する際に別の問題が発生します： $\phi=\theta^2$ が新しいパラメーター化である場合、一般に $L(\phi \mid x)$ での尤度を示し $\phi$ 、これは前の関数 $L(\cdot \mid x)$ で $\theta^2$ が、で $\sqrt{\phi}$ 。これは虐待的だが有用な表記法であり、強調しないと初心者に困難をもたらす可能性がある。

尤度のあなたのお気に入りの厳密な定義は何ですか？

さらに、どのようにを呼び出すの $L(\theta \mid x)$ ですか？私は通常「が観測されたときのの尤度」のようなことを言います。 $\theta$ $x$

編集：以下のいくつかのコメントを考慮して、私はコンテキストを正確にすべきだったと思います。各使用して、何らかの支配的なメジャーに関する密度のパラメトリックファミリーによって与えられる統計モデルを検討します。観測空間定義されます。したがって、を定義し、問題は「とは何ですか？」（質問は尤度の一般的な定義に関するものではありません） $\{f(\cdot \mid \theta), \theta \in \Theta\}$ $f(\cdot \mid \theta)$ ${\cal X}$ $L(\theta \mid x)=f(x \mid \theta)$ $L$

— ステファン・ローラン
ソース

（1）すべてのについてため、の定数でさえ定義されていると思います。（2）やようなパラメーターを単に分布の多様体の座標であると考える場合、パラメーター化の変更には本質的な数学的意味はありません。それは単に説明の変更です。（3）英語のネイティブスピーカーは、より自然に、「見込み言うの「に。」」ではなく（4）「が観測されるとき」という節には、ほとんどのが観測されないため、哲学的な困難があります。単に「与えられた可能性」と言ってはいけない

\int L (θ | x) d x = 1

$\int L(\theta|x)dx = 1$

θ

$\theta$

L

$L$

ϕ

$\phi$

θ

$\theta$

θ

$\theta$

x

$x$

x

$x$

θ

$\theta$

x

$x$ "？

— whuber

@whuber：（1）については、定数が明確に定義されているとは思わない。「正規化がarbitrary意的であるため、尤度は確率ではない」と書いているET Jaynesの本を参照してください。

— ニールG

Neil：Jaynesはではなく介した積分による正規化を参照していました。

θ

$\theta$

x

$x$

— whuber

@whuber：を変更すると対数尤度に一定量が追加されるため、Cramer-Raoの境界ではスケーリング係数は重要ではないと思います。

k

$k$

— ニールG

私は、一定の役割を果たしている任意のアプリケーションが表示されない、ニールに同意する

— ステファン・ローラン

回答:

3番目の項目は、厳密な定義として最も頻繁に使用されるものです。

他のものも面白いです（+1）。特に、最初の方法は魅力的で、サンプルサイズが（まだ）定義されていないという難しさがあるため、 "from"セットを定義することは困難です。

私にとって、尤度の基本的な直観は、確率変数の関数ではなく、モデルとそのパラメーターの関数であるということです（また、教育目的の重要なポイント）。だから、3番目の定義に固執します。

表記法の乱用の原因は、尤度の「from」セットが暗黙的であることにあります。これは通常、明確に定義された関数には当てはまりません。ここで、最も厳密なアプローチは、変換後の尤度が別のモデルに関連していることを認識することです。これは最初のモデルと同等ですが、さらに別のモデルです。そのため、尤度表記法は、どのモデルを参照するかを示す必要があります（下付きまたはその他）。私はもちろんそれを決してしませんが、教えるために、そうするかもしれません。

最後に、以前の答えと一致するように、最後の式で「可能性」と言います。 $\theta$

— gui11aume
ソース

ありがとう。そして、乗法定数までの平等に関するあなたのアドバイスは何ですか？

— ステファンローラン

個人的には、定義にハードコードするよりも、必要なときに呼び出すことを好みます。そして、モデルの選択/比較では、この「乗法定数」までの等式は成り立たないと思います。

— gui11aume

OK。名前については、2つの可能性のある観測値の尤度およびについて議論することを想像できます。このような場合、「観測されたときのの尤度」、または「観測の尤度」、または他の何かを言うでしょうか？

L (θ ∣ x_{1})

$L(\theta\mid x_1)$

L (θ ∣ x_{2})

$L(\theta\mid x_2)$

θ

$\theta$

x_{1}

$x_1$

θ

$\theta$

x_{1}

$x_1$

— ステファンローラン

モデルを再パラメータ化すると、実際には、尤度は関数合成として計算されますここで、です。この場合、はから進むため、尤度の定義セット（「from」セットと呼ばれる）は同じではなくなります。同じ関数ではないため、最初の関数と2番目の呼び出すことができます。

ϕ = θ^{2}

$\phi = \theta^2$

L (. | x) \circ g (.)

$L(.|x) \circ g(.)$

g (y) = y^{2}

$g(y) = y^2$

g

$g$

R

$R$

R^{+}

$R^+$

L_{1} (. |)

$L_1(.|)$

L_{2} (. |)

$L_2(.|)$

— gui11aume

3番目の定義はどのように厳密ですか？そして、サンプルサイズが定義されていない問題は何ですか？サンプル空間対応するシグマ代数を自然に存在させると言うので、なぜ尤度の並列定義ができないのですか？

P (x_{1}, x_{2}, \dots, x_{n} ∣ θ)

$P(x_1, x_2, \dotsc, x_n \mid \theta)$

Ω^{n}

$\Omega^n$

— ニールG

私はそれを何か違うものと呼ぶと思います。尤度は、与えられた関数として表されるパラメーター値を与えられた観測されたxの確率密度です。比例定数についての見解は共有しません。尤度の単調関数を最大化すると、についても同じ解が得られるため、これが効果を発揮すると思います。したがって、または一般的に行われるなどの他の単調関数に対してを最大化できます。 $θ$ $θ$ $x$ $θ$ $cL(θ∣x)$ $c>0$ $\log(L(θ∣x))$

— マイケル・R・チャーニック
ソース

最大化だけでなく、：アップツー比例も尤度比の概念であり、ベイズ統計のベイズ式に遊びに来て

— ステファン・ローラン

誰かが私の答えに反対票を投じるかもしれないと思った。しかし、この方法で尤度を定義することは、プロポーショナルなものを尤度と呼ぶことなく決定的な確率として定義することは非常に合理的だと思います。@StéphaneLaurentは、事前分布に関するコメントです。関数が積分可能な場合、密度に正規化できます。事後は、尤度に事前を掛けたものに比例します。事後は積分で除算することで正規化する必要があるため、事前分布を分布として指定することもできます。これは、拡張された意味でのみ、これが不適切な事前分布に適用されます。

— マイケルR.チャーニック

なぜ誰かがこの答えに反対票を投じるのかはよくわかりません。OPの2番目と質問に最初の質問よりも多く回答しようとしているようです。おそらく、他の読者には完全に明らかではなかったでしょう。乾杯。:)

— 枢機

@Michael私もこの答えに反対票を投じる必要はないと思います。情報価値のない事前事態について（これは別の議論であり、）この主題についての新しい議論を開くつもりです。英語は簡単ではないので、すぐにやるつもりはありません。これは数学よりも「哲学」を書くのが難しいからです。

— ステファンローラン

@Stephane：必要に応じて、他の質問を直接フランス語で投稿することを検討してください。このサイトにはフランス語を母国語とする人が何人かいますが、これらはおそらくあなたが確信できない文章を翻訳するのに役立つでしょう。これには、モデレーターと非常に優れた英語統計ジャーナルの編集者が含まれます。質問を楽しみにしています。

— 枢機

厳密な数学的定義の試みは次のとおりです。

LET濃度認めランダムベクトルでありある程度に対してに、用、上の密度のファミリーであるに対して。次に、任意のについて、尤度関数をに定義します。明確にするため、それぞれの、私たちは持っている。は特定のポテンシャルであると考えることができます $X: \Omega \to \mathbb R^n$ $f(x | \theta_0)$ $\nu$ $\mathbb R^n$ $\theta \in \Theta$ $\{f(x|\theta): \theta \in \Theta\}$ $\mathbb R^n$ $\nu$ $x \in \mathbb R^n$ $L(\theta | x)$ $f(x | \theta)$ $x$ $L_x : \Theta \to \mathbb R$ $x$ $x_{obs}$ およびが「真の」値になるようにします。 $\theta_0$ $\theta$

この定義に関するいくつかの観察：

この定義は、離散、連続、およびその他の種類の分布ファミリーを処理するのに十分堅牢です。 $X$
確率分布/測定のレベルではなく、密度関数のレベルで尤度を定義しています。この理由は、密度が一意ではないためです。これは、密度の同等クラスに渡しても安全である状況ではないことがわかります。連続した場合、密度の選択が異なるとMLEが異なります。ただし、ほとんどの場合、理論的に望ましい密度のファミリの自然な選択があります。
この定義が気に入っているのは、作業中のランダム変数が組み込まれているためです。また、設計上、分布を割り当てる必要があるため、の "true but unknown"値の概念も厳密に組み込まれています。示されます。私にとって、学生として、可能性について厳格になるという課題は、常に「真の」および「観察された」の現実世界の概念を数学とどのように調和させるかでした。多くの場合、これらの概念は形式的ではないと主張するインストラクターによって助けられませんでしたが、物事を証明するときにそれらを回して正式に使用します！そのため、この定義では正式に扱います。 $\theta$ $\theta_0$ $\theta$ $x_{obs}$
編集：もちろん、通常のランダムな要素、およびを自由に考えることができます。あなたが注意している限り（または、そのレベルの厳密さがあなたにとって重要でない場合でもそうでない場合でも）。 $L(\theta | X)$ $S(\theta | X)$ $\mathcal I(\theta | X)$

— 男
ソース

@ Xi'anをで均一にします。2つの密度と。どちらもと有効のために密度のあるが、下の MLEが存在し、に等しい下のに対し、、我々が持っているそうを設定すると、尤度になり、実際にはMLEは存在しません。

X_{1}, . . ., X_{n}

$X_1, ..., X_n$

(0, θ)

$(0, \theta)$

f_{1} (x) = θ^{- 1} I [0 < x < θ]

$f_1 (x) = \theta^{-1} I[0 < x < \theta]$

f_{2} (x) = θ^{- 1} I [0 \leq x \leq θ]

$f_2 (x) = \theta^{-1} I[0 \le x \le \theta]$

f_{1}

$f_1$

f_{2}

$f_2$

U (0, θ)

$\mathcal U(0, \theta)$

f_{2}

$f_2$

max X_{i}

$\max X_i$

f_{1}

$f_1$

\prod_{j} f_{1} (x_{j} | max x_{i}) = 0

$\prod _j f_1 (x_j| \max x_i) = 0$

\hat{θ} = max X_{i}

$\hat \theta = \max X_i$

0

$0$

sup_{θ} \prod_{j} f_{1} (x | θ)

$\sup _\theta \prod _j f_1(x | \theta)$ は、どのについても達成されません。

θ

$\theta$

— 男

@男：ありがとう、この興味深い反例については知りませんでした。

— 西安

@guyあなたはがどのに対しても達成されないと言いました。ただし、以下に示すように、この最高点はある時点で達成されますここで。すべてのについてと仮定しています。1を確認するのは簡単です場合、です。2.、もし。続行...

sup_{θ} \prod_{j} f_{1} (x_{j} | θ)

$\sup_\theta \prod_j f_1(x_j| \theta)$

θ

$\theta$

L_{1} (θ; x) = \prod_{j = 1}^{n} f_{1} (x_{j} | θ) = θ^{- n} \prod_{j = 1}^{n} I (0 < x_{j} < θ) = θ^{- n} I (0 < M < θ),

$L_1(\theta;x) = \prod_{j=1}^n f_1(x_j|\theta) = \theta^{-n} \prod_{j=1}^n I\big(0 < x_j < \theta\big) = \theta^{-n}I\big(0< M < \theta\big),$

M = max {x_{1}, \dots, x_{n}}

$M = \max \{x_1, \ldots, x_n\}$

x_{j} > 0

$x_j > 0$

j = 1, \dots, n

$j=1,\ldots,n$

L_{1} (θ; x) = 0

$L_1(\theta;x) = 0$

0 < θ \leq M

$0<\theta \leq M$

L_{1} (θ; x) = θ^{- n}

$L_1(\theta;x) = \theta^{-n}$

M < θ < \infty

$M < \theta < \infty$

— アレクサンドルパトリオタ14年

@guy：続き...つまり、すべての、です。最大値はありませんが、上限は存在し、で与えられ、引数はおそらく、通常の漸近はここでは適用されず、他のいくつかの通行料が採用されるべきです。しかし、の上限は存在するか、非常に基本的な概念をいくつか見逃していました。

L_{1} （ θ; バツ ） \in [0 、 M^{- n} ） 、

$L_1(\theta;x) \in \big[0,M^{-n}\big),$

θ \in (0, \infty)

$\theta \in (0,\infty)$

sup_{θ \in （ 0 、 \infty ）} L_{1} （ θ 、 バツ ） = M^{- n}

$\sup_{\theta \in (0,\infty)} L_1(\theta, x) = M^{-n}$

M = \arg sup_{θ \in （ 0 、 \infty ）} L_{1} （ θ; バツ ） 。

$M = \arg\sup_{\theta \in (0,\infty)} L_1(\theta;x).$

L_{1} (θ; x)

$L_1(\theta;x)$

— アレクサンドルパトリオタ14年

@AlexandrePatriota明らかに、最高は存在しますが、それは関数によって達成されません。という表記の意味がわからないため、を生成するの引数はありません。MLEは、（通常）に到達するとして定義され、ここでは到達しないはありません。明らかにそれを回避する方法があります-私たちが訴える漸近性は、そのような特性を持つ可能性が存在することを要求し、そこにあります。ではなく、単にです。

\arg sup

$\arg \sup$

L_{1} (θ; x)

$L_1(\theta; x)$

sup

$\sup$

L_{1} (θ; M) = 0

$L_1(\theta; M) = 0$

\hat{θ}

$\hat \theta$

sup

$\sup$

\hat{θ}

$\hat \theta$

sup

$\sup$

L_{2}

$L_2$

L_{1}

$L_1$

— 男14年