MLEの問題には常にマキシマイザーがありますか？

23

最大（対数）尤度推定問題には常に最大化器があるのだろうか？言い換えれば、MLE問題に最大化機能がない分布とパラメーターがありますか？

私の質問は、MLEのコスト関数（尤度または対数尤度、どちらが意図されたのかわからない）は常に凹であるため、常に最大化されているというエンジニアの主張から来ています。

よろしくお願いします！

maximum-likelihood optimization

— ティム
ソース

8

（+1）あなたの質問に記載されていない資格はないのですか？現状では、エンジニアの声明はさまざまな点で間違っているため、どこから始めればよいのかを知るのはほとんど困難です。:)

— 枢機

@cardinal：私は基本的に聞いたことを書き留めました。しかし、私は何かを見逃すかもしれません。

— ティム

5

反例（凸）：レッツ

IIDこと

。ユニークなMLEがありますが、可能性も対数尤度をどちらが凸である

。

X_{1}, X_{2}, \dots, X_{n}

$X_1,X_2,\ldots,X_n$

N (0, σ^{2})

$\mathcal N(0,\sigma^2)$

σ^{2}

$\sigma^2$

— 枢機

3

@Tim ロジスティック回帰は、MLEが常に存在するわけではない基本的な例です。さらに、一部のリンク関数では、対数尤度は凹ではありません。

30

おそらく、エンジニアは標準的な指数関数族を念頭に置いていました：自然なパラメーター化では、パラメーター空間は凸であり、対数尤度は凹です（Bickel＆DoksumのMathematical Statistics、Volume 1のThm 1.6.3を参照）。また、いくつかの穏やかな技術的条件（基本的にモデルが「フルランク」であること、または同等に、識別可能な自然パラメーター）では、対数尤度関数は厳密に凹であり、一意の最大化が存在します。（同じ参照の結果1.6.2。）[また、@ biostatが引用した講義ノートも同じことを示しています。]

正規指数ファミリーの自然なパラメーター化は、通常、標準のパラメーター化とは異なることに注意してください。@cardinal点は家族のために対数尤度そのうちつつ、に凸されていない、それは天然のパラメータに凹状であろう $\mathcal{N}(\mu,\sigma^2)$ $\sigma^2$ 及び。 $\eta_1 = \mu / \sigma^2$ $\eta_2 = -1/\sigma^2$

— デビッドR
ソース

2

（+1）いい答えです。OPへの私のコメントで示唆されたように、これは投稿されることを望んでいた回答です（反例もこれを念頭に置いて慎重に選択されました）。:)

— 枢機

2

これを多変量ガウスモデルで表示できますか？

— Royi

6

尤度関数は、関心のあるパラメーターの推定のためにしばしば最大になります。それでも、ガウス混合分布やノンパラメトリック関数など、複数のピーク（バイモーダルまたはマルチモーダル）を持つMLEは存在しない場合があります。私はしばしば集団遺伝学の未知のパラメーター、すなわち組換え率、自然selectionの影響を推定する問題に直面しています。

@cardinalが指摘する理由の1つは、無制限のパラメトリック空間です。

さらに、次の記事をお勧めします（セクション3（機能について）および図3を参照）。ただし、MLEに関する非常に便利で便利なドキュメント情報があります。

— バイオスタット
ソース

3

あなたの述べた例を誤解しているに違いないと思います。どの二次関数に複数のピークがありますか？

— 枢機inal

@cardinal：説明しよう。境界のないパラメーターについては、正規分布の単純な例でも尤度関数が最大値に達しない理由の1つです。ただし、私のポイントは最適化の観点から、ローカルおよびグローバルな最大値という一般的な問題があるということです。組換え率を推定しながら、私は集団遺伝学でこの問題にしばしば直面しました。：また、この（関数の）物品部3と、図3の文書URL参照citeseerx.ist.psu.edu/viewdoc/...

— バイオスタット

「複数のピークを持つ2次関数」は、たとえばガウス混合モデルへの参照であると言っているのでしょうか。その場合、編集により混乱が解消される可能性があります。

— 枢機inal

更新されました。

— Biostat

2

（+1）アップデート用。ガウス混合モデルでは、一般に無制限の尤度と複数の極大値の両方が存在することに注意してください。さらに悪いことに、特に病理学的な解決策では可能性が無限になります。一般に、複数の最大値は問題ほど悪くないかもしれません。場合によっては、これらの最大値が十分に速く互いに収束するため、それらのいずれかを選択しても、目的のパラメーターの合理的な（さらには効率的な）推定量が漸近的に得られます。

— 枢機

3

私は何かを見逃しているかもしれませんが、

これが推定問題であり、目標が未知のパラメーターを推定することであり、そのパラメーターが閉じた境界付きセットから得られることがわかっており、尤度関数が連続している場合、最大化するこのパラメーターの値が存在する必要があります尤度関数。つまり、最大値が存在する必要があります。（一意である必要はありませんが、少なくとも1つの最大値が存在する必要があります。すべてのローカル最大値がグローバル最大値になるという保証はありませんが、最大値が存在するための必要条件ではありません。）

尤度関数が常に凸である必要があるかどうかはわかりませんが、最大値が存在するために必要な条件ではありません。

何かを見落としていたら、私が行方不明になっていることを聞いて歓迎します。

— DW
ソース

4

追加の仮定がない場合、最大値に関する記述は誤りです。たとえば、パラメーター空間が閉じて境界があり、尤度関数がパラメーターで連続している場合、最大値が存在する必要があります。これらの追加条件がない場合、結果を保持する必要はありません。凸面に関しては、最も単純で一般的な例でも失敗します。:)

— 枢機

2

（+1）パラメータ空間の有界性は、多くの単純な場合でも成り立ちません。しかし、実用的な目的のために、一般的にパラメーターが制限されていることを知っています。:)

— 枢機

3

おそらく誰かが次の簡単な例を役に立つと思うでしょう。

$\theta$ $\theta \in (0,1)$ 。セット以来 $(0,1)$ 開いている場合、パラメータ空間はコンパクトではありません。の可能性 $\theta$ によって与えられます

{\begin{cases} θ & 頭 \\ 1 - θ & しっぽ \end{cases} 。

$\begin{cases} \theta & \text{heads} \\ 1-\theta & \text{tails} \end{cases} .$ どちらの場合でも、

θ

$\theta$ に

(0, 1)

$(0,1)$ 。

— メフ
ソース