対数尤度対尤度を使用するための理論的動機

私は、統計学と確率論における対数尤度（そしておそらくより一般的には対数確率）の遍在性をより深いレベルで理解しようとしています。対数確率はあちこちに現れます。通常、分析（たとえば最大化）のために対数尤度を使用します。フィッシャー情報は対数尤度の2次導関数で定義され、エントロピーは期待される対数確率です。 、Kullback-Lieblerの発散には対数確率が含まれ、予想される逸脱は予想される対数尤度などです。

今、私は多くの実用的で便利な理由に感謝しています。多くの一般的で有用なpdfは、指数ファミリからのものであり、対数変換されると用語がエレガントに簡素化されます。合計は、製品よりも扱いやすい（特に差別化のため）。対数プローブには、直線プローブよりも優れた浮動小数点の利点があります。PDFをログ変換すると、多くの場合、非凹関数が凹関数に変換されます。しかし、ログプロブの理論的な理由/正当化/動機は何ですか？

私の困惑の例として、フィッシャー情報（FI）を考えてみましょう。FIを直観するための通常の説明は、対数尤度の2次導関数が対数尤度の「ピーク」を示していることです。 、ほぼ平坦な対数尤度（低い曲率）は、多くの異なるパラメーター値が（対数尤度に関して）MLEとほぼ同じくらい良いことを意味するため、MLEはより不確実です。

これはすべてうまくいきますが、尤度関数自体の曲率を見つけることはより自然ではありませんか？一見、対数変換の強調はarbitrary意的で間違っているように見えます。確かに、実際の尤度関数の曲率にもっと興味があります。代わりにスコア関数と対数尤度のヘッセ行列を使用するフィッシャーの動機は何ですか？

答えは、最終的に、対数尤度から漸近的に素晴らしい結果が得られるという単純なものですか？たとえば、Cramer-RaoおよびMLE /後方の正常性。または、より深い理由がありますか？

これは、対数尤度にとって本当に便利なだけであり、それ以上のものではありません。

合計と製品の利便性を意味します：、合計は微分や積分など多くの点で扱いやすいです。指数関数的な家族だけにとっては便利ではない、と私は言いたい。$\ln (\prod_i x_i) =\sum_i\ln x_i$

ランダムなサンプルを扱う場合、尤度は次の形式になります：$\mathrm{L}=\prod_ip_i$であるため、対数尤度はこの製品を代わりに合計に分解するため、操作と分析が容易になります。気にするのは最大点だけで、最大値は重要ではないので、対数などの単調な変換を適用できます。

曲率直観について。最終的には対数尤度の2次導関数と基本的に同じです。

$y=f(x)$

$$\kappa=\frac{f''(x)}{(1+f'(x)^2)^{3/2}}$$

対数尤度の2次導関数：

$$A=(\ln f(x))''=\frac{f''(x)}{f(x)}-\left(\frac{f'(x)}{f(x)}\right)^2$$

最大点では、一次導関数は明らかにゼロであるため、次のようになります。 したがって、尤度と対数尤度の2次導関数は同じものです。

$$\kappa_{max}=f''(x_{max})=Af(x_{max})$$

一方、尤度の1次導関数が最大点だけでなくその周辺でも小さい場合、つまり尤度関数がフラットな場合、 現在、フラットな尤度は数値的に最大値を見つけるのを難しくするため、フラット尤度は良いことではありません。また、最大尤度は周囲の他のポイントよりも良くありません。つまり、パラメータ推定誤差が高くなります。

$$\kappa\approx f''(x)\approx A f(x)$$

また、曲率と2次導関数の関係がまだあります。では、なぜフィッシャーは尤度関数の曲率を見なかったのでしょうか？同じ理由で便利だと思います。積ではなく和のため、対数尤度を操作する方が簡単です。そのため、対数尤度の2次導関数を分析することにより、尤度の曲率を調べることができます。方程式は曲率に対して非常に単純に見えますが、実際には、2次導関数の合計よりも厄介な積の2次導関数を使用しています。$\kappa_{max}=f''(x_{max})$

更新2：

これがデモンストレーションです。（完全に構成された）尤度関数、そのa）曲率、およびb）その対数の2次導関数を描画します。左側には狭い可能性があり、右側には広い可能性があります。最大尤度a）およびb）のポイントで、どのように収束するかがわかります。さらに重要なことは、対数尤度の2次導関数を調べることにより、尤度関数の幅（または平坦性）を調べることができることです。前に書いたように、後者は前者よりも技術的に簡単に分析できます。

当然のことながら、対数尤度信号の2次導関数の深さは、その最大値の周りで平坦な尤度関数になります。

プロットを再現する場合のMATLABコード：

f=@(x,a)a.^2./(a.^2+x.^2);
c = @(x,a)(-2*a.^2.*(a.^2-3*x.^2)./(a.^2+x.^2).^3/(4*a.^4.*x.^2/(a.^2+x.^2).^4+1).^(3/2));
ll2d = @(x,a)(2*(x.^2-a.^2)./(a.^2+x.^2).^2);

h = 0.1;
x=-10:h:10;

% narrow peak
figure
subplot(1,2,1)
a = 1;
y = f(x,a);
plot(x,y,'LineWidth',2)
%dy = diff(y)/h;
hold on
%plot(x(2:end),dy)
plot(x,c(x,a),'LineWidth',2)
plot(x,ll2d(x,a),'LineWidth',2)
title 'Narrow Likelihood'
ylim([-2 1])

% wide peak
subplot(1,2,2)
a=2;
y = f(x,a);
plot(x,y,'LineWidth',2)
%dy = diff(y)/h;
hold on
%plot(x(2:end),dy)
plot(x,c(x,a),'LineWidth',2)
plot(x,ll2d(x,a),'LineWidth',2)
title 'Wide Likelihood'
legend('likelihood','curvature','2nd derivative LogL','location','best')
ylim([-2 1])

更新3：

上記のコードでは、任意のベル型関数を曲率方程式にプラグインし、その対数の2次導関数を計算しました。私は何も再スケーリングしませんでした。値は、先ほど述べた等価性を示すために、方程式から直接のものです。

ここだ Mathmaticsの可能性に非常に最初の論文は、フィッシャーは、「周波数曲線をフィッティングするために絶対的な基準に」、大学にいる間はまだ発表されていることメッセンジャー、41：155〜160（1912）

私がずっと主張していたように、彼はエントロピーや他の凝った主題へのログ確率の「より深い」接続については言及していませんが、彼はまだ彼の情報基準を提供していません。彼は、p.54 に単に式置いてから、確率の最大化について話します。私の意見では、これは、彼がジョイント確率自体を分析する便利な方法として対数を使用していたことを示しています。それは彼がP.55に明白な式を与えるための連続カーブフィッティング、に特に有用である： 幸運、この可能性を分析する（または確率ごとなどをフィッシャー）ログなし！$\log P'=\sum_1^n\log p$

$$\log P=\int_{-\infty}^\infty\log fdx$$ $P$

論文を読むとき、彼が最尤推定作業から始めただけであり、その後の10年間でより多くの作業を行ったため、MLEという用語はまだ造られていません。

追加のポイント。一般的に使用される確率分布のいくつか（正規分布、指数分布、ラプラス分布など）は、対数凹です。これは、それらの対数が凹であることを意味します。これにより、元の確率を最大化するよりも対数確率を最大化するのがはるかに簡単になります（これは、最尤法または最大事後法で特に便利です）。例を挙げると、ニュートンの方法を使用して多変量ガウス分布を直接最大化するには、放物面（多変量ガウス分布の対数）を最大化するのに1ステップしかかかりません。

対数尤度の理論的重要性は、（少なくとも）2つの観点から見ることができます：漸近尤度理論と情報理論。

これらの初期のもの（私は信じている）は、対数尤度の漸近理論です。フィッシャーは、20世紀の支配に向かう過程で最尤法を設定した後、情報理論が順調に進んだと思います。

尤度理論では、放物線対数尤度は推論の中心的な位置を占めます。Lucien Le Camは、漸近理論における2次対数尤度の重要性の解明に重要な役割を果たしました。

二次対数尤度がある場合、MLEの曲率は、パラメーターを推定できる精度を定性的に示すだけでなく、曲率の逆数に等しい分散で誤差が正規分布することもわかります。対数尤度がほぼ二次の場合、これらの結果はほぼ、または漸近的に成り立つと言います。

2番目の理由は、情報理論における対数尤度（または対数確率）の顕著性です。ここでは、情報量の測定に使用される主要な量です。

$g$$g$$f(\theta)$$f(\hat{\theta})$$\hat{\theta}$

$\ln \hat{L}$

したがって、対数尤度は、有用な数値変換であることに加えて、推論および情報理論と深いつながりがあります。

TLDR：微分演算子は合計に対して線形ですが、製品uでは製品ルールを実行する必要があるため、製品よりも合計を導出する方がはるかに簡単です。線形複雑度と高次多項式複雑度