経験的尤度の例示的な用途は何ですか？

オーウェンの経験的可能性について聞いたことがありますが、最近まで興味のある論文で出くわすまで気にしませんでした（Mengersen et al。2012）。

それを理解するための努力の中で、観測されたデータの尤度は、ここでおよびです。

L = \prod_{i} p_{i} = \prod_{i} P (X_{i} = x) = \prod_{i} P (X_{i} \leq x) - P (X_{i} < x)

$L = \prod_i p_i = \prod_i P(X_i=x) = \prod_i P(X_i \le x) - P(X_i \lt x)$

\sum_{i} p_{i} = 1

$\sum_i p_i = 1$

p_{i} > 0

$p_i > 0$

しかし、私はこの表現を観察に関する推論を行うためにどのように使用できるかと結びつける精神的な飛躍をすることができませんでした。おそらく、モデルのパラメータについての尤度を考えることにあまりにも根ざしていますか？

とにかく、私は概念を内在化するのに役立つ経験的可能性を採用しているいくつかの論文をGoogle Scholarで検索しています... 明らかに、経験的可能性に関するアートオーウェンの本がありますが、Googleブックスはすべてのおいしい部分を省き、私はまだ図書館間貸し出しの遅いプロセスにいます。

それまでの間、誰かが経験的尤度の前提とそれがどのように採用されているかを明確に示す論文や文書を親切に私に指し示すことができますか？EL自体の説明も歓迎します！

— サメ
ソース

特に計量経済学者はELに恋をしています。あなたがアプリケーションを探しているなら、その文献は見るべきより良い場所の一つかもしれません。

— 枢機

回答:

経験的可能性について学ぶには、オーウェンの本ほど良い場所はないと思います。

を考える実用的な方法の1つは、観測データポイント多項分布の尤度としてです。したがって、尤度は確率ベクトル関数であり、パラメーター空間は実際には確率ベクトルの次元シンプレックスであり、MLEは各観測値に重みを付けています（それらを仮定すると）すべて異なる）。パラメーター空間の次元は、観測の数とともに増加します。 $L = L(p_1, \ldots, p_n)$ $x_1, \ldots, x_n$ $(p_1, \ldots, p_n)$ $n$ $1/n$

中心的な点は、経験的尤度が、パラメトリックモデルを指定せずにプロファイリングによって信頼区間を計算する方法を提供するということです。対象のパラメーターが平均である場合、確率ベクトル、平均はそしてプロファイル尤度をとして計算できその後、我々は、フォームの信頼区間を計算することができるとを。ここで、は経験的平均であり、 $\mu$ $p = (p_1, \ldots, p_n)$

μ (p) = \sum_{i = 1}^{n} x_{i} p_{i},

$\mu(p) = \sum_{i=1}^n x_i p_i,$

L_{prof} (μ) = max {L (p) ∣ μ (p) = μ} .

$L_{\text{prof}}(\mu) = \max \{ L(p) \mid \mu(p) = \mu \}.$

I_{r} = {μ ∣ L_{prof} (μ) \geq r L_{prof} (\bar{x})}

$I_r = \{ \mu \mid L_{\text{prof}}(\mu) \geq r L_{\text{prof}}(\bar{x}) \}$

r \in (0, 1)

$r \in (0,1)$

\bar{x}

$\bar{x}$

L_{prof} (\bar{x}) = n^{- n}

$L_{\text{prof}}(\bar{x}) = n^{-n}$ 。間隔に関するステートメントは事前に作成されていないため、間隔はおそらく（プロファイル）尤度間隔と呼ばれるべきです。小さくすると、間隔（はい、間隔です）は、入れ子になった信頼区間の増加ファミリーを形成します。たとえば、漸近理論またはブートストラップを使用してを調整し、95％のカバレッジを達成できます。

I_{r}

$I_r$

r

$r$

I_{r}

$I_r$

r

$r$

オーウェンの本はこれを詳細にカバーし、より複雑な統計的問題やその他の関心のあるパラメータの拡張を提供します。

— NRH
ソース

（+1）本へのアクセスが不足しているため、理論の基礎を得るために、常にオリジナルの論文から始めることができます。本のように、論文も非常に明確に書かれています。

— 枢機

いくつかのリンク：（1）A. Owen（1988）、単一機能の経験的尤度比信頼区間、Biometrika、vol。75、No. 2、pp。237-249、（2）A. Owen（1990）、経験的尤度比信頼領域、Ann。統計学者。、vol。18、いいえ。1、pp。90-120（オープンアクセス）、および（3）A. Owen（1991）線形モデルの経験的尤度、Ann。統計学者。、vol。19、いいえ。4、pp。1725-1747（オープンアクセス）。

— 枢機

@cardinal Fantastic！自分でそれを考えるべきだった。

— サミール

@NHS説明ありがとうございます！明確にするために、はでですか？また、理由を説明できますか？おそらくでしょうか？

L_{p r o f} (μ)

$L_{prof}(\mu)$

a r g m a x

$argmax$

p

$p$

L_{p r o f} (\bar{x}) = n^{n}

$L_{prof}(\bar{x})=n^n$

\prod_{i} n^{- 1} = n^{- n}

$\prod_i n^{-1} = n^{-n}$

— サミール

@Sameer、タイプミスは修正されました。ただし、argmax ではありません。これは、指定された値を持つすべてのパラメーターベクトルの尤度を最大化することによって得られるプロファイル尤度です。ところで、適切な大学へのアクセスがあれば、オーウェンの本の個々の章のCRCから電子版を入手しました。

μ

$\mu$

— NRH

計量経済学では、多くの応用論文は、という仮定から始まりここで、はデータのベクトル、は方程式の既知のシステム、は不明なパラメーターです。関数は経済モデルに由来します。目標はを推定することです。

E [g (X, θ)] = 0

$E[g(X,\theta)] = 0$

X

$X$

g

$g$

q

$q$

θ \in Θ \subseteq R^{p}

$\theta \in \Theta \subseteq \mathbb{R}^p$

q \geq p

$q \geq p$

g

$g$

θ

$\theta$

計量経済学における従来のアプローチでは、推定と推論のために、一般的なモーメント法を使用します。ここで、は正定重み行列で、経験的尤度は、GMMの代替推定量を提供します。考え方は、ノンパラメトリックな尤度を最大化するときに、制約としてモーメント条件を強制することです。まず、修正します。次に、対象 $\theta$

{\hat{θ}}_{GMM} = {argmin}_{θ \in Θ} {\bar{g}}_{n} (θ)^{'} W {\bar{g}}_{n} (θ)

$\hat{\theta}_\text{GMM} = \text{argmin}_{\theta \in \Theta} \; \bar{g}_n(\theta) 'W \bar{g}_n(\theta)$

W

$W$

{\bar{g}}_{n} (θ) := \frac{1}{n} \sum_{i = 1}^{n} g (X_{i}, θ) .

$\bar{g}_n(\theta) := \frac{1}{n} \sum_{i=1}^n g(X_i,\theta).$

θ

$\theta$

L (θ) = max_{p_{1}, \dots, p_{n}} \prod_{i = 1}^{n} p_{i}

$L(\theta) = \max_{p_1,\ldots,p_n} \; \prod_{i=1}^n p_i$

\sum_{i = 1}^{n} p_{i} = 1, p_{i} \geq 0, \sum_{i = 1}^{n} p_{i} \cdot g (X_{i}, θ) = 0.

$\sum_{i=1}^n p_i=1, \qquad p_i \geq 0, \qquad \sum_{i=1}^n p_i \cdot g(X_i,\theta) = 0.$ これは「内部ループ」です。 '。次に最大化する：このアプローチは、GMMよりも高次の特性が優れていることが示されています（Newey and Smith 2004、Econometricaを参照）。これが、 GMMよりも望ましい理由の1つです。詳細については、ImbensとWooldridgeによるメモと講義を参照してください（講義15）。

θ

$\theta$

{\hat{θ}}_{EL} = {argmax}_{θ \in Θ} \log L (θ) .

$\hat{\theta}_\text{EL} = \text{argmax}_{\theta \in \Theta} \; \log L(\theta).$

ELが計量経済学で注目を集めた理由はもちろん他にもたくさんありますが、これが役に立つ出発点になることを願っています。経験平等モデルでは、モーメント平等モデルが非常に一般的です。

— アエルモア
ソース

このような明確でよく参照された答えを書いてくれてありがとう。コミュニティへようこそ！

— whuber

生存分析では、カプラン・マイヤー曲線は、生存関数の最も有名なノンパラメトリック推定量です。ここで、はイベント発生までの確率変数を示します。基本的に、は、打ち切りを可能にする経験的分布関数の一般化です。ほとんどの実用的な教科書で与えられているように、発見的に導出することができます。ただし、最大（経験的）尤度推定量として正式に導出することもできます。詳細はこちらです。 $S(t) = Pr(T > t)$ $T$ $\hat{S}$

— ocram
ソース