「尤度は、比例の乗法定数までしか定義されていません」とは実際にはどういう意味ですか？

筆者は、表面上は初心者への紹介として、最尤推定の議論からベイズの定理へと導く論文を読んでいます。

尤度の例として、二項分布から始めます。

$$p(x|n,\theta) = \binom{n}{x}\theta^x(1-\theta)^{n-x}$$

そして、両側を記録します

$$\ell(\theta|x, n) = x \ln (\theta) + (n-x)\ln (1-\theta)$$

次の理由で：

「尤度は比例の乗法定数（または対数尤度の加法定数）までしか定義されていないため、二項係数を削除し、尤度の代わりに対数尤度を記述することにより、再スケーリングできます。」

数学は理にかなっていますが、「尤度は比例の乗法定数までしか定義されていない」と、これが二項係数を下げて$p(x|n,\theta)$から$\ell(\theta|x,n)$。

同様の用語が他の質問（こことここ）で出てきましたが、実際には、定義されている可能性や情報を乗法的定数の平均まで持っている可能性は明確ではありません。これを素人の言葉で説明することは可能ですか？

ポイントは、異なるモデル（同じデータに対して）が、乗法定数が異なる尤度関数につながることがありますが、情報の内容は明らかに同じでなければならないということです。例：

独立したベルヌーイ実験をモデル化し、それぞれが（確率）パラメーターベルヌーイ分布をもつデータ導きます。これは、尤度関数つながります または、二項分布変数によってデータを要約できます。、二項分布を持ち、尤度関数 を導き ます。未知のパラメーター関数として、以前の尤度関数に比例します。 。2つの尤度関数は明らかに同じ情報を含んでおり、同じ推論につながるはずです！$n$$X_1, \dots, X_n$$p$

$$\prod_{i=1}^n p^{x_i} (1-p)^{1-x_i}$$ $Y=X_1+X_2+\dotsm+X_n$ $$\binom{n}{y} p^y (1-p)^{n-y}$$ $p$

実際、定義上、これらは同じ尤度関数と見なされます。

別の観点：ベイズ分析に必要なベイズ定理で尤度関数を使用すると、そのような乗法定数は単純にキャンセルされることに注意してください！したがって、それらはベイジアン推論とは明らかに無関係です。同様に、最適な仮説検定（Neyman-Pearson補題）で使用されるように、尤度比の計算時にキャンセルします。また、最尤推定量の値には影響しません。そのため、頻繁な推論の多くでは役割を果たせないことがわかります。

さらに別の観点から議論することができます。上記のベルヌーイ確率関数（以降、「密度」という用語を使用）は、実際にはカウント測定、つまり各非負整数の質量が1である非負整数の測定に関する密度です。しかし、他の支配的な尺度に関して密度を定義することもできます。この例では、これは人工的なように思われますが、より大きな空間（関数空間）では本当に基本的です！特定の幾何学的分布を使用し、説明の目的のために、私たちを聞かせて、書かれたと、、およびなど。次に、に関するベルヌーイ分布の密度$\lambda$$\lambda(0)=1/2$$\lambda(1)=1/4$$\lambda(2)=1/8$λ F λ（X ）= P X（1 - P ）1 - X ⋅ 2 X + 1 P （X = X ）= F λ（X ）⋅ λ$\lambda$は、 で与えられ 、意味します この新しい支配的な測定では、尤度関数は（上記の表記法で） は余分な因子注意してください。したがって、尤度関数の定義で使用される支配尺度を変更すると、未知のパラメーター依存しない新しい乗法定数が発生します

$$f_{\lambda}(x) = p^x (1-p)^{1-x}\cdot 2^{x+1}$$ $$P(X=x)= f_\lambda(x) \cdot \lambda(x)$$ $$\prod_{i=1}^n p^{x_i} (1-p)^{1-x_i} 2^{x_i+1} = p^y (1-p)^{n-y} 2^{y+n}$$ $2^{y+n}$$p$、そして明らかに無関係です。これは、乗法定数が無関係であることを確認する別の方法です。この引数は、ラドン-ニコディム微分を使用して一般化できます（上記の引数は例です）。

基本的に、PDFの相対的な価値のみが重要であることを意味します。例えば、標準正規（ガウス）PDFは次のとおりです。、あなたの本は、彼らが使用することができると言っています代わりに、スケールを気にしないため、つまり。gで（X）=E-X2/2C=$f(x)=\frac{1}{\sqrt{2\pi}}e^{-x^2/2}$$g(x)=e^{-x^2/2}$$c=\frac{1}{\sqrt{2\pi}}$

これは、尤度関数を最大化し、と最大値が同じになるためです。したがって、最大値はと同じになります。だから、彼らはスケールについて気にしません。G （X ）E - X 2 / 2 F （$c\cdot g(x)$$g(x)$$e^{-x^2/2}$$f(x)$

引用の意味を説明することはできませんが、最尤推定では、尤度関数の最大値を見つけるかどうかは関係ありません （または最大 ここで、いくつかの定数であり、我々はの最大値に興味がないからである。 むしろ値 この最大値が発生し、 と両方が同じで最大値を達成する場所 θ L （X、θ ）L （X、θ $L(\mathbf x; \theta)$$\theta$$aL(\mathbf x; \theta)$$a$$L(\mathbf x; \theta)$ L （X、θ ）L （X、θ ）θ ML G （⋅ ）L （X、θ ）、G （L （X、θ ））θ ML A $\theta_{\text{ML}}$$L(\mathbf x; \theta)$$aL(\mathbf x; \theta)$$\theta_{\text{ML}}$。そのため、乗法定数は無視できます。同様に、 尤度関数単調関数（対数などを考慮して、の最大値を決定することもでき、これからの値を推測します 。対数の場合、乗算定数 は加法定数なり、最大値の位置を見つけるプロセスではこれも無視できます： は、と同じポイントで最大化されます。$g(\cdot)$$L(\mathbf x; \theta)$$g(L(\mathbf x;\theta))$$\theta_{\text{ML}}$$a$ln （a ）+ ln （L （x ; θ ）ln （L （x ; θ $\ln(a)$$\ln(a)+\ln(L(\mathbf x; \theta)$$\ln(L(\mathbf x; \theta)$

最大旋回事後確率（MAP）推定を、 確率変数の実現とみなされると 先験的密度関数、データはの実現とみなされます確率変数、尤度関数は、の値であると考えられる 条件付き密度 のを条件 ; で評価される条件付き密度関数。のΘ F Θ（θ ）X X $\theta$$\Theta$$f_{\Theta}(\theta)$$\mathbf x$$\mathbf X$$f_{\mathbf X\mid \Theta}(\mathbf x\mid \Theta=\theta)$$\mathbf X$$\Theta = \theta$$\mathbf x$事後密度は 分子を結合密度として認識のデータと推定されるパラメーター。点、その最大値は、のMAP推定値でなると同じ引数を使用して、及びこの段落では、右側のを無視できることがわかります。$\Theta$ FX、Θ（X、θ）θMAPFΘ|X（θ|X）θ[FX（X）]-1（1）FX|Θ（X|Θ=θ）FΘ（θ

$$f_{\Theta\mid \mathbf X}(\theta \mid \mathbf x) = \frac{f_{\mathbf X\mid \Theta}(\mathbf x\mid \Theta=\theta)f_\Theta(\theta)}{f_{\mathbf X}(\mathbf x)} \tag{1}$$ $f_{\mathbf X, \Theta}(\mathbf x, \theta)$$\theta_{\text{MAP}}$$f_{\Theta\mid \mathbf X}(\theta \mid \mathbf x)$$\theta$$[f_{\mathbf X}(\mathbf x)]^{-1}$$(1)$と 両方で 乗法定数を無視できるように、乗法定数として。同様に、対数尤度が使用されている場合、加算定数は無視できます。$f_{\mathbf X\mid \Theta}(\mathbf x\mid \Theta=\theta)$$f_\Theta(\theta)$

素人の言葉で言えば、あなたはしばしば最尤を探し、とは同じ臨界点を共有します。k f （x $f(x)$$kf(x)$

尤度関数の定数項（つまり、パラメーターを含まない項）が見えないようにすることをお勧めします。既に述べたように、通常の状況では、これらは尤度のに影響しません。だが： $\text {argmax}$

天井の影響を受ける可能性を最大化する必要がある場合は、通常とは異なる状況になる可能性があります。その場合、値の計算に定数を含めることを「覚えておく」必要があります。

また、プロセス内の尤度の値を使用して、ネストされていないモデルのモデル選択テストを実行している可能性があります。モデルはネストされていないため、2つの尤度には異なる定数があります。

これらとは別に、文

「尤度は比例の乗法定数（または対数尤度の加法定数）までしか定義されないため」

間違った可能性があるので、最初の同時確率密度関数だけで「任意の」目的関数を最大化することがないように、。