最大尤度は再パラメーター化不変ではありません。それで、どうやってそれを使うのが正当化できるのでしょうか？

max-likelihood推定量について私を混乱させる何かがあります。私がいくつかのデータとパラメータの下の可能性を持っていると仮定します $\mu$ です

L (D | μ) = e^{- (.7 - μ)^{2}}

$L(D|\mu) = e^{-(.7-\mu)^2}$

これは、スケーリングまでのガウスの可能性として認識できます。今私の最尤推定量は私にくれます $\mu=.7$ 。

今、私はそれを知らず、代わりにパラメータを操作していたとしましょう $t$ そのような $\mu=\sin(t)$ 。また、これはすべて数値であり、次の可能性がどのように愚かに見えるかはすぐにはわかりません。

L (D | t) = e^{- (.7 - \sin (t))^{2}}

$L(D|t) = e^{-(.7-\sin(t))^2}$

今、私は最大の可能性を解決し、追加のソリューションを取得します。これを確認するために、以下にプロットします。

したがって、この観点からすると、max-likelihood は再パラメーター化不変ではないため、愚かなことのように思えます。何が欠けていますか？

可能性は常に測度とともに来るため、ベイズ分析は当然これを処理します。

L (D | μ) P (μ) d μ = L (D | μ (t)) P (μ (t)) \frac{d μ}{d t} d t

$L(D|\mu) P(\mu) d\mu = L(D|\mu(t)) P(\mu(t)) \frac{d\mu}{dt} dt$

応答とコメントの後に部分を追加（2018年3月16日に追加）

上の2つの最大値が $t_1,t_2$ 対応する $.7=\sin(t_1)=\sin(t_2)$ 。彼らは同じ点を特定しています。以下の議論と回答が意味をなすように、私は上記を守りました。しかし、私が理解しようとしている問題のより良い例を以下に示します。

取る

L (D | μ) = e^{- (a - μ)^{2}}

$L(D|\mu) = e^{-(a-\mu)^2}$

ここで、パラメータを再設定するとします $\mu=\mu(t)$ 次に、最大尤度を行います $t$ 私は得る

\frac{\partial L}{\partial t} = \frac{\partial L}{\partial μ} \frac{\partial μ}{\partial t}

$\frac{\partial L}{\partial t} = \frac{\partial L}{\partial \mu} \frac{\partial \mu}{\partial t}$

私が最大化して得た場所以外の場所で最大値が必要な場合 $\mu$ 私は求める

\frac{\partial L}{\partial μ} \neq 0

$\frac{\partial L}{\partial \mu} \ne 0$

そして

\frac{\partial μ}{\partial t} = 0, \frac{\partial L}{\partial μ} \frac{\partial^{2} μ}{\partial t^{2}} < 0

$\frac{\partial \mu}{\partial t} =0, \qquad \frac{\partial L}{\partial \mu} \frac{\partial^2 \mu}{\partial t^2} < 0$

したがって、私は簡単な例をとることができます

μ = b - (a - b) t^{2} + t^{3}

$\mu = b - (a-b)t^2+t^3$

以下の結果をプロットします。私たちはそれをはっきりと見ることができます $\mu=a$ は、グローバルな最大値です（最大化する場合は1つだけです）。 $\mu$ ）しかし、別の極大値も $t=0$ に関して最大化するとき $t$ 。

地図に注意してください $\mu(t)$ 全単射ではありませんが、なぜそうする必要があるのかわかりません。また、少なくともこの例では、グローバルな最大値は常に $\mu=a$ しかし、常連主義者の観点から、私はある種の加重平均の1 / 1.6の $\mu=a$ および.6 / 1.6 of $\mu=b$ （これは $t=0$ ）私が完全に働いていた場合 $t$ スペース？

bayesian maximum-likelihood frequentist

— ボルン・チョードリー
ソース

逆に、解は不変です。正しい定式化は、すべての値

t

$t$ 最小化する

L (μ (t))

$L(\mu(t))$ の値に対応

μ

$\mu$ 最小化する

L (μ)

$L(\mu)$ -これは、表記法だけで明らかなはずです。この結果が保持されるかどうかは問題ではありません

μ

$\mu$ 結局のところ、説明するのは、可能性が最も大きい分布に名前を付ける方法だけなので、可逆、1対1、連続、またはその他のすべてです。「他の名前のバラは、甘い香りがします。」

— whuber

私の例は良くなかったので、編集する必要がありました。新しい例は

L = e^{- (a - μ)^{2}}

$L=e^{-(a-\mu)^2}$ そして

μ = b - (a - b) t^{2} + t^{3}

$\mu=b-(a-b) t^2 + t^3$ 。これにより、追加の「ローカル」最大値が

t = 0

$t=0$ 。可能性は二峰性ではないので、加重平均を取るべきではありませんか？もしそうなら、これはソリューションを不変ではないようにします。

— Borun Chowdhury

@whuber可能性はスカラーであるため、別の名前のバラが甘い香りを放つように、再パラメーター化のもとでグローバルマキシマは不変であることに同意します。私は、いくつかの極大値を生成し、加重平均を取らないことの正当性についてさらに話していました。

— Borun Chowdhury

結局のところ、数値ではなく分布を記述しているため、平均値は必ずしも意味を成しません。多対1の変換では、すべての最大値が同じ分布に対応するため、同じ分布をそれ自体で「平均化」する必要がありますが、これらの分布に割り当てた数値の「名前」の平均は意味がありません。

— whuber

回答:

グラフを見ると、 $\hat{t} \in \{0.7753975, 2.346194\}$ のMLEでかなり合理的な推測です $t$ 。これらの値を $\sin$ 戻る関数 $\mu$ 結果は $\hat{\mu} = \{0.7, 0.7\}$ または $0.7$ 、それがあるべきように。したがって、MLEの間に不一致はありません。 $\mu$ とのMLE $t$ 。

何が起こっているのですか $\mu \to t$ それは1-1ではありません。この場合、真の値は $\mu$ 複数の値にマップ $t$ なので、驚くことではありませんが、 $t$ 。ただし、以前に制限されていなかった場合を除き、これはベイジアン分析を行っていた場合も同じです。 $t$ 間隔に $[-\pi/2, \pi/2)$ またはそのようなもの。そうした場合、比較可能性のために、MLEの範囲を制限する必要があります。 $t$ 同じ範囲で、その場合、尤度関数の複数の最大値を取得できなくなります。

ETA：振り返ってみると、私は例による説明に焦点を合わせすぎており、根本的な原理には十分ではありませんでした。この点に関するOPへの応答として、@ whuberのコメントよりも良いことはほとんどありません。

一般に、パラメータがある場合 $\theta$ および関連するMLE $\hat{\theta}$ 、そしてあなたは関数を構築します $\theta = f(t)$ 、代替パラメーターを効果的に作成しました $t$ 。のMLE $t$ 、それにラベルを付ける $\hat{t}$ 、の値になります $t$ そのような $f(t) = \hat{\theta}$ 、つまり、 $f(\hat{t}) = \hat{\theta}$ 。

— jbowman
ソース

私の例は、私が期待していたものとまったく同じではないことに同意します。帰り道で気づきました。より良い例は

μ = b - t^{2} + t^{3}

$\mu=b-t^2+t^3$ 。ここで最大値を取得します

t

$t$ マッピングしない

μ = .7

$\mu=.7$ （応じて

b

$b$ ）。それにもかかわらず、それはまた全単射ではありません。

— Borun Chowdhury 2018

パラメータ化が全単射でなければならない理由がわかりません。実際、同じ答えを出すためにどのパラメーター化を実行できるかを尋ねているのではなく、再パラメーター化不変でない場合に最大尤度が使用される理由を尋ねています。

— Borun Chowdhury 2018

私の最良の考えのいくつかはラッシュアワーの交通で行われます...あなたは思いつくことができますか

μ

$\mu$ 、

b

$b$ そして

t

$t$ そのため

μ = b - t^{2} + t^{3}

$\mu = b - t^2 + t^3$ プラグインすると、尤度関数の値が異なります

μ

$\mu$ 差し込むときよりも

b - t^{2} + t^{3}

$b - t^2 + t^3$ 代わりに

μ

$\mu$ ？私はそうではないと思います...上記の@whuberのコメントを参照してください。

— jbowman

関数の1-1ではない性質に関する私のポイントは、関数がまったく機能しないということではありません。それが、尤度関数のマルチモダリティの原因であるということです。

t

$t$ （まあそれとその関数はで1-1ではありません

μ

$\mu$ 、これは明らかにより制限的です。）

— jbowman '15

上記の例を含むように編集しました。私が取った

μ = b - (a - b) t^{2} + t^{3}

$\mu= b- (a-b) t^2 + t^3$ 。その後、限り

a \neq b

$a \ne b$ 追加の「ローカル」最大値があります

t = 0 (μ = b)

$t=0 (\mu=b)$ 。極大であっても、その高さは同等であるため、最大尤度は次の加重平均でなければなりません。

μ = a, b

$\mu=a,b$ （私はそれが二峰性の最大尤度のために行われていることだと思います）。

— Borun Chowdhury

私の以前の答えは全単射の必要性について完全に明確ではなかったので（私の答えは単に間違っていると主張することができました）。私は再パラメータ化の全体についていくつかの調査を行いましたが、これが私が見つけたものです。@whuberと@jbowmanの両方が同じもののいくつかに触れています。

理論

したがって、理論的には、最尤推定量は $\hat{\theta}$ 尤度関数の $L\left(\theta\right)$ 、再パラメータ化に対して不変です。だから、あなたはいくつかの既知の機能を持っているとしましょう $g$ 、再パラメータ化 $\theta$ に $\lambda=g(\theta)$ （ここでの寸法 $\theta$ そして $\lambda$ 必ずしも同じではありません）。次に、2つの事実が当てはまります。

最大化 $L\left(\theta\right)$ に関して。 $\theta$ 、つまり、MLEを見つける、 $\hat{\theta}$ 、次にそれを再パラメータ化し、 $g(\hat{\theta})$ 、のMLEを生成します $\hat{\lambda}$ 。要するに、 $\hat{\lambda}=g\left(\hat{\theta}\right)$ 。
さらに、 $g$ 逆、最大化があります $L\left(g^{-1}(\lambda)\right)$ に関して。 $\lambda$ 、つまり、MLEを見つける $\hat{\lambda}$ 同じ最大値を生成します $\hat{\theta}$ 。のMLE $\theta$ です $\hat{\theta}=g^{-1}\left(\hat{\lambda}\right)$ 。

これらの2つのサブケースで不変性を分割することは少し不自然に思えるかもしれませんが、それらは再パラメーター化の2つの異なるユースケースを表すので便利です。

実際には

最初のユースケースは、何らかの方法で何らかの方法でMLEを識別できる場所ですが、実際にはその変数の特定の変換が必要です。たとえば、あなたは推定者を持っています、 $\hat{\sigma},$ パラメータ用 $\sigma$ 正規分布では、実際には分散のMLEに関心があります $\sigma^{2}$ 。次に、不変性の原理を使用して、単純に $\sigma$ -MLE、 $\hat{\sigma^{2}}=(\hat{\sigma})^{2}$ 。

2番目の使用例は、尤度関数を最大化するための勾配降下法やニュートンラフソン法などの数値アルゴリズムを使用する場合です。たとえば、パラメータを推定したいとします $\sigma^{2}$ 正規分布から。パラメータは定義により厳密に正ですが、数値手順では制約を作成できません。まあ、あなたは不変性プロパティを使用して設定することができます $\sigma^{2}=\exp(\lambda)$ アルゴリズムを変えましょう $\lambda$ の代わりに $\sigma^{2}$ 、このようにして、 $\sigma^{2}$ ポジティブを保ちます。指数は全単射ですが、これは厳密には必要ありません。私たちは使うことができた $\sigma^{2}=\lambda^{2}$ 代わりに、これは全単射ではありません。しかし、バイジェクションを使用する方が実用的です。 $\sigma^{2}$ に $\lambda$ ユニークな方法で戻ってきました。

手続き

のMLEを定義するには $\lambda$ より正式には、いわゆるプロファイル尤度関数を次のように定義する必要があります。

L^{*} (λ) = sup_{θ | λ = g (θ)} L (θ) .

$L^{\ast}(\lambda)=\sup_{\theta\vert\lambda=g\left(\theta\right)}L\left(\theta\right).$

だから、与えられた $\lambda$ -valueプロファイルの尤度値。すべての上限です $\theta$ それを確実にする $g\left(\theta\right)$ 等しい $\lambda$ 。

プロファイル尤度を定義すると、次のMLEを定義できます $\lambda$ 、 $\hat{\lambda}$ 、最大化する値として $L^{\ast}\left(\lambda\right)$ 。

これらの定義が整っていると、再パラメーター化の不変性は次のようになります。

L^{*} (\hat{λ}) = L (\hat{θ})

$L^{\ast}\left(\hat{\lambda}\right)=L\left(\hat{\theta}\right)$

これは、

L^{*} (\hat{λ}) = max_{λ} L^{*} (λ) = max_{λ} sup_{θ | λ = g (θ)} L (θ) = sup_{θ} L (θ) = max_{θ} L (θ)

$L^{\ast}\left(\hat{\lambda}\right)=\max_{\lambda}L^{\ast}\left(\lambda\right)=\max_{\lambda}\sup_{\theta\vert\lambda=g\left(\theta\right)}L\left(\theta\right)=\sup_{\theta}L\left(\theta\right)=\max_{\theta}L\left(\theta\right)$

私がそれを仮定したところ $L\left(\theta\right)$ 最大があります。

再パラメータ化が全単射の場合、つまり可逆である場合、 $L^{\ast}\left(\lambda\right)$ 単に $L(g(\theta))$ それぞれから $\theta$ 一意にマップする $\lambda$ 、したがって、「すべて」の上限 $\theta$ ユニークに崩壊するだけです $L(\theta)$ 。それで、私たちはそれを得ます、

\begin{aligned} L^{*} (λ) & = L (g (θ)) \\ L^{*} (g^{- 1} (λ)) & = L (θ) \end{aligned}

$\begin{align*} L^{\ast}\left(\lambda\right) & =L\left(g\left(\theta\right)\right)\\ L^{\ast}\left(g^{-1}(\lambda)\right) & =L\left(\theta\right) \end{align*}$ それゆえ、

\hat{θ} = g^{- 1} (\hat{λ}) .

$\hat{\theta}=g^{-1}\left(\hat{\lambda}\right).$ 参照：

MLEの不変性プロパティ：のMLEとは $\theta^2$ 通常の $\bar{X}^2$ ？

http://www.stats.ox.ac.uk/~dlunn/b8_02/b8pdf_6.pdf

http://www.stat.unc.edu/faculty/cji/lecture7.pdf

https://en.wikipedia.org/wiki/Maximum_likelihood_estimation#Functional_invariance

— ダッファウ
ソース