プロファイル尤度の欠点は何ですか？

パラメータのベクトルを考えてみましょうで、関心のパラメータ、および A迷惑パラメータ。 $(\theta_1, \theta_2)$ $\theta_1$ $\theta_2$

場合データから構築尤度さのために、プロファイル尤度として定義されるここで、はの固定値に対するです。 $L(\theta_1, \theta_2 ; x)$ $x$ $\theta_1$ $L_P(\theta_1 ; x) = L(\theta_1, \hat{\theta}_2(\theta_1) ; x)$ $\hat{\theta}_2(\theta_1)$ $\theta_2$ $\theta_1$

$\bullet$ に関するプロファイル尤度を最大化すると、およびに関する尤度を同時に最大化することで得られる推定値と同じ推定値得られます。 $\theta_1$ $\hat{\theta}_1$ $\theta_1$ $\theta_2$

$\bullet$ の標準偏差は、プロファイル尤度の2次導関数からも推定できると思います。 $\hat{\theta}_1$

$\bullet$ の尤度統計 $H_0: \theta_1 = \theta_0$ は、プロファイル尤度に関して記述できます： $LR = 2 \log( \tfrac{L_P(\hat{\theta}_1 ; x)}{L_P(\theta_0 ; x)})$ 。

したがって、プロファイル尤度は、まるで本物の尤度であるかのように使用できるようです。本当にそうですか？そのアプローチの主な欠点は何ですか？そして、プロファイル尤度から得られた推定量が偏っているという「うわさ」についてはどうでしょう（編集：漸近的であっても）？

maximum-likelihood likelihood profile-likelihood

— ocram
ソース

注意点として、尤度からの推定量にもバイアスをかけることができます。古典的な例は、正常サンプルの尤度分散推定です。

— mpiktas

@mpiktas：コメントありがとうございます。実際、古典的なmleにもバイアスをかけることができます。質問を編集して、物事を明確にします。

— ocram

漸近的バイアスとは何ですか？矛盾した推定量について話しているのですか？

— mpiktas

@mpiktas：はい、これは...私が言っているべきである

— ocram

プロファイル尤度からのの推定値は単なるMLEです。最大化する各可能なため、次いでに対して最大限に対して最大限と同じである共同。 $\theta_1$ $\theta_2$ $\theta_1$ $\theta_1$ $(\theta_1, \theta_2)$

主な弱点は、プロファイルの尤度の曲率に基づいてのSEの推定を行う場合、不確実性を完全に考慮していないことです。 $\hat{\theta}_1$ $\theta_2$

McCullagh and Nelder、一般化線形モデル、第2版には、プロファイル尤度に関する短いセクションがあります（セクション7.2.4、pgs 254-255）。彼らが言う：

[A]近似的な信頼セットは通常の方法で取得できます。...このような信頼区間は、[ フィッシャー情報の合計に対して[の次元]が小さい場合は十分ですが、そうでない場合は誤解を招く可能性があります。 ..残念ながら、[プロファイル対数尤度]は通常の意味での対数尤度関数ではありません。最も明らかに、その導関数には、平均をゼロにしない、方程式を推定するために不可欠な特性がありません。 $\theta_2$

— カール
ソース

ご回答どうもありがとうございました。それを受け入れる前に、もう少し質問してください。の意味は何ですか？

E \frac{\partial l_{P} (θ_{1})}{\partial θ_{1}} \neq 0

$E \frac{\partial l_P(\theta_1)}{\partial \theta_1} \neq 0$

— ocram

興味深い質問ですが、本棚への旅行が必要でした（とにかくやるべきでした）。この点に関する回答に少し追加しました。

— カール

編集していただきありがとうございます。プロパティ（真のパラメーター値で評価されたスコアの平均はゼロ）は、方程式の推定に不可欠であると言われています。ただし、プロファイルログ尤度はその特性を満たしていませんが、MLEを生成します。私が見逃しているものはありますか？

— ocram

そのプロパティは、MLEを提供するために必要ではありません。

— カール