（任意に）重み付けされた最尤推定量の分布は何ですか？

独立変数のベクトルと従属変数を、尤度で観察するとします。が独立していると仮定します。またあなたが肯定与えられていると仮定した重み、任意であり、加重最尤推定量を計算する（WMLEか？）： WMLE、の分布は？$X_i$$y_i$$l\left(\theta;X_i,y_i\right)$$y_i$$w_i$

2つに分割せずに質問をさらに複雑にする可能性がある場合は、2つのケースを検討する必要があります。

1. $w_i$完全に独立して$X_i$と$y_i$。
2. $w_i$従属変数に依存$y_i$何らかの方法で（おそらく、決定論的または確率的。）

一般的に、あなたの質問には答えがありません。理由はいくつかあります。

1）すべてのと仮定します。その場合でも、MLE推定の分布はデータの分布、つまり関数依存します。たとえば、指数関数的な分布のファミリといくつかの制限を組み合わせて、MLE推定が漸近的に正規であることを証明できます。ただし、が指数関数のファミリーから外れると、何かが起こる可能性があります。$w_i = 1$$l(\theta;x,y)$$l(\theta;x,y)$

2）が指数ファミリーに属している場合でも、重みの存在（特にそれらがxおよびYに依存している場合）により、漸近分布の結果が無効になる可能性が非常に高くなります。$l(\theta;x,y)$

一般的に、Nik Tuzovの答えは正しいですが、一部の詳細は完全に正しくありません。要約すると、WMLEの分布は不明です。MLEの実際の方程式（重みまたはなし）を書き留めて、極値を決定する完全な導関数を書き込めます。これはあなたに計算上の答えを与えます-しかし、根底にある分布についての特定の知識がなければ、それを実行することはできません。

実際には、導関数を計算する必要があるだけなので、重みの存在によって問題が大きく変わることはありません。応用科学におけるLEの一般的な使用法は、Yに依存する重みとまったく同じです。重み付けとして機能する関連する不確実性を伴うポアソニアンとして分布する実験/結果をカウントすると考えてください。

LEが数値で実行される実際のアプリケーションでは、典型的な近似は最大値の周りの放物線形状です。これは、「正規分布」またはテイラー展開の最初の消滅しない要素として解釈できます。しかし、特別な場合を除いて、それは正確ではありません（そして数値的にもはるかに適切に決定できます）。

したがって、基礎となる分布の単純なケースでは、結果の分布の分析的記述を導出できる場合があります-シリーズが実際に収束します。それ以外の場合：いいえ、それで一般的にも：いいえ。