パラメータ推定のために二項分布の尤度関数を導出する方法は?


22

Miller and Freund's Probability and Statistics for Engineers、8ed(pp.217-218)によれば、二項分布(ベルヌーイ試行)で最大化される尤度関数は次のように与えられます。

L(p)=∏私=1npバツ私(1−p)1−バツ私

この方程式に到達する方法は?他の分布であるポアソンとガウス分布に関しては、私にはかなり明らかなようです。

L(θ)=∏私=1ndistのPDFまたはPMF。

しかし、二項式のものは少し異なります。率直に言うと、どのように

nCバツ pバツ(1−p)n−バツ

なる

pバツ私(1−p)1−バツ私

上記の尤度関数で?

回答:


25

最尤推定では、を最大化しようとしています。ただし、これを最大化することは、固定xに対してp x(1 − p )n − xを最大化することと同等です。nCバツ pバツ(1−p)n−バツpバツ(1−p)n−バツバツ

実際、ガウス分布とポアソンの尤度も主要な定数を含まないため、このケースはw


OPのコメントへの対処

詳細は次のとおりです。

まず、は成功の総数であり、x iは単一の試行(0または1)です。したがって:バツバツ私

∏私=1npバツ私(1−p)1−バツ私=p∑1nバツ私(1−p)∑1n1−バツ私=pバツ(1−p)n−バツ

これは、尤度の要因を取得する方法を示しています(上記のステップを逆方向に実行することにより)。

定数が消えるのはなぜですか?非公式に、ほとんどの人(私を含む)が行うことは、先頭の定数が尤度を最大化するの値に影響を与えないことに注意してください。したがって、無視します(事実上1に設定します)。p

尤度関数の対数を取り、その導関数がゼロである場所を見つけることでこれを導き出すことができます。

ln⁡(nCバツ pバツ(1−p)n−バツ)=ln⁡(nCバツ)+バツln⁡(p)+(n−バツ)ln⁡(1−p)

導関数wrt を取り、0に設定します。p0

ddpln⁡(nCバツ)+バツln⁡(p)+(n−バツ)ln⁡(1−p)=バツp−n−バツ1−p=0

⟹nバツ=1p⟹p=バツn

先頭の定数がMLEの計算から脱落したことに注意してください。

L1、L2L1=kL2p

実際のレベルでは、尤度関数を使用した推論は、実際には尤度の絶対値ではなく、尤度比に基づいています。これは、尤度比の漸近理論によるものです(漸近的にカイ二乗-しばしば適切である一定の規則性条件の影響を受けます)。Neyman-Pearson Lemmaにより、尤度比検定が推奨されます。したがって、2つの単純な仮説をテストしようとすると、比率を取得し、共通の先行因子がキャンセルされます。

注:2項モデルと2項モデルを比較している場合、これは起こりません。その場合、定数は重要です。

上記の理由のうち、最初の(Lの最大化子の検索とは無関係)が質問に最も直接答えます。


2
nCバツn

ÉbeIsaacは、いくつかの詳細を追加しました@

2

製品のxiは、個々のトライアルを指します。個々の試行ごとに、xiは0または1であり、nは常に1に等しくなります。したがって、2項係数は1になります。したがって、尤度の積の式では、2項係数の積は1になるため、式にnCxはありません。順を追って解決しながらこれを実現しました:)(フォーマットについては申し訳ありませんが、回答の数式での回答には慣れていません...まだ:))

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.