対数尤度は*常に*負の曲率を持つ場合ですか？どうして？

フィッシャー情報は、2つの同等の方法で定義されます：の勾配の分散として $\ell(x)$、および予想される曲率のマイナスとして $\ell(x)$。前者は常に正なので、これは対数尤度関数の曲率がどこでも負であることを意味します。私が見てきたことをすべての分布は負の曲率の対数尤度関数を持っているので、これは、私にはもっともらしく思えるが、これは、なぜ私は表示されませんしなければならない場合も。

あなたの結論は従いません：対数尤度の曲率の期待値が負である場合、それは必ずしもどこでも負ではありません。平均して、ポジティブよりネガティブである必要があるだけです。双峰分布を考えてみてください。確かに、モード間には正の曲線の対数尤度を持つ領域があるため、主張は真実ではありません。

直感の最尤推定のリンクに注意してください。MLEの近辺では、最大に達しているため、曲率が負であると予想される場合があります（ただし、境界で最大が発生する場合など、必ずしもそうではありません）。 。最も可能性の高い領域で曲率が負である場合、平均は直感的に負になる傾向があります。実際、ご指摘のとおり、「勾配の分散」定義を使用して同値性を使用できる規則性の条件下では、常にそれが必要です。

以下のためにいくつかの尤度関数のクラス、1は可能性があることを証明することができ、ログ凹対数尤度が第二導関数を持っていること、すなわち$<=0$ どこでも、それは人生をはるかに簡単にします（例えば、あなたはしばしばユニークなグローバル最大値の存在を証明することができます、特別な最適化方法を使用する...）例えば、

• このCVの質問は、正準リンク関数を使用した指数族の尤度が対数凹であることを示しています
• この論文「対数尤度の凹面」Pratt 1981、JASAは、通常の応答を持つクラスのモデルの対数凹面を証明します。

確かに反例もあります（おそらく、対数凹型でない可能性があります）。たとえば、バイモーダルまたはマルチモーダルの対数尤度は非対数凹型です...例

• 「ペナルティ付きスプライン混合モデルの対数尤度関数のバイモダリティに関する注意」、Welham and Thompson 2009 CS＆DA
• 「フラットおよびマルチモーダルな尤度と曲線指数ファミリでのモデルの適合性の欠如」、Sundberg 2010 Scand J Stat
• 「空間ガウス過程の共分散関数の尤度推定に関する問題」、ワーンズおよびリプリー1987 Biometrika