不可能な推定問題？

質問

負の二項（NB）分布の分散は、常にその平均よりも大きくなります。サンプルの平均がその分散よりも大きい場合、NBのパラメーターを最尤法またはモーメント推定で近似しようとすると失敗します（有限パラメーターの解はありません）。

ただし、NB分布から取得したサンプルの平均は分散よりも大きい可能性があります。Rの再現可能な例を次に示します。

set.seed(167)
x = rnbinom(100, size=3.2, prob=.8);
mean(x) # 0.82
var(x) # 0.8157576

NBは、パラメーターを推定できないサンプル（最尤法とモーメント法）を生成する確率がゼロではありません。

このサンプルに対して適切な推定値を提供できますか？
すべてのサンプルに対して推定量が定義されていない場合、推定理論は何と言いますか？

答えについて

@MarkRobinsonと@Yvesの答えは、パラメータ化が主要な問題であることを実感させました。NBの確率密度は、通常次のように記述されます。

P (X = k) = \frac{Γ (r + k)}{Γ (r) k!} (1 - p)^{r} p^{k}

$P(X = k) = \frac{\Gamma(r+k)}{\Gamma(r)k!}(1-p)^rp^k$ または

P (X = k) = \frac{Γ (r + k)}{Γ (r) k!} {(\frac{r}{r + m})}^{r} {(\frac{m}{r + m})}^{k} .

$P(X = k) = \frac{\Gamma(r+k)}{\Gamma(r)k!} \left(\frac{r}{r+m}\right)^r \left(\frac{m}{r+m}\right)^k.$

最初のパラメーター化では、サンプルの分散が平均よりも小さい場合、最尤推定値はであるため、について有用なことは言えません。2番目の場合、それはなので、合理的な推定値を与えることができます。最後に、@MarkRobinsonショーは、我々が使用して、無限の値の問題を解決することができることをの代わりに。 $(\infty, 0)$ $p$ $(\infty, \bar{x})$ $m$ $\frac{r}{1+r}$ $r$

結論として、この推定問題に根本的な問題はありませんが、サンプルごとにと意味のある解釈を常に行えるとは限りません。公平を期すために、両方の答えにアイデアがあります。私は@MarkRobinsonのそれを彼が与える補数の正しいものとして選んだ。 $r$ $p$

estimation maximum-likelihood negative-binomial

— gui11aume
ソース

そのような場合に最尤法が失敗すると述べるのは誤りです。困難に直面するのはモーメント法のみです。

— 西安

@西安拡大できますか？このサンプルの可能性は、ドメイン最大値を持ちません（たとえば、これも参照）。何か不足していますか？いずれにしても、この場合のパラメーターのML推定値を提供できる場合、質問を更新します。

(0, \infty) \times (0, 1)

$(0,\infty) \times (0,1)$

— gui11aume

尤度は、および無限の距離で最大になる場合があります。同様の問題ですが、診断がより簡単なLomax分布に対するものです。サンプルの変動係数場合、形状のML推定は無限であることが知られてい。しかし、このイベントの確率は、任意のサンプルサイズに対して正であり、たとえばおよびに対して非常に強力です。

p \to 0

$p \to 0$

r \to \infty

$r \to \infty$

CV < 1

$\text{CV} < 1$

α = 20

$\alpha = 20$

n = 200

$n = 200$

— イヴ

@Yvesこの他の例に感謝します（私は知りませんでした）。この場合、人々は何をしますか？

— gui11aume

Lomaxの例では、一部の人々は指数分布を使用することを選択します。これはおよびの制限です。これは、無限のML推定を受け入れることに要約されます。再パラメーター化による不変性のために、場合によっては無限のパラメーターが意味をなすと考えています。NBの例では、から得られるポアソン分布を使用することを選択した場合にも同じことが起こります。

α \to \infty

$\alpha \to \infty$

λ / α \to θ > 0

$\lambda / \alpha \to \theta >0$

r p / (1 - p) \to λ

$rp/(1-p) \to \lambda$

— イヴ

回答:

基本的に、サンプルの場合、サイズパラメーターの推定値はパラメーター空間の境界にあります。d = size /（size + 1）;などの再パラメータ化も検討できます。size = 0、d = 0の場合、サイズが無限大になる傾向がある場合、dは1に近づきます。 Cox-Reid調整プロファイル尤度（APL）推定。これは、NBのMLE推定に代わるものです（ここに例を示します）。平均パラメーター（または「問題」）の推定値は問題ないようです（図を参照、青い線は真の値、赤い点はseed = 167サンプルの推定値です）。APL理論の詳細はこちらです。

だから、私は1に言うでしょう：まともなパラメータ推定値を持つことができる.. size = infinityまたはdispersion = 0は、サンプルが与えられた合理的な推定値です。異なるパラメーター空間を検討すると、推定値は有限になります。

— マーク・ロビンソン
ソース

私の質問に答えるためにサイトに参加してくれてありがとう！Cox-Reid調整済みプロファイル尤度の詳細は非常に有望に見えます。

— gui11aume

負の二項（NB）の例では、尤度は、ドメインの境界で、および無限距離で最大になる可能性があります。ポアソン分布が何らかの平均 NBよりも大きい尤度になる場合、がパスに沿って移動すると尤度が増加する可能性があります。、および。境界で最尤が見つかる確率はゼロではありません。 $p \to 0$ $r \to \infty$ $\Theta := (0,\,1)\times(0,\,\infty)$ $\lambda >0$ $[p,\,r] \in \Theta$ $p \to 0$ $r \to \infty$ $rp/(1-p) \to \lambda$

同様の問題ですが、診断がより簡単なLomax分布に対するものです。サンプルの変動係数場合、形状のML推定は無限であることが知られてい。しかし、このイベントの確率はどのサンプルサイズでも正であり、たとえばおよび場合はです。 $\text{CV} < 1$ $>0.3$ $\alpha = 20$ $n = 200$

MLプロパティは、大きなサンプルサイズ用です。規則性の条件下では、ML推定値が存在し、一意であり、真のパラメーターになりやすいことが示されています。しかし、所定の有限のサンプルサイズに対して、ML推定値がドメインに存在しない場合があります。これは、たとえば境界で最大値に達するためです。最大化に使用されるドメインよりも大きいドメインに存在することもできます。

Lomaxの例では、一部の人々は指数分布を使用することを選択します。これはおよびの制限です。これは、無限のML推定を受け入れることに要約されます。Lomaxは、形状の2パラメーター一般化パレート分布特別な再パラメーター化であるため、GPDを近似し、見つけることができます。の代わりに指数の。NBの例では、ポアソン分布に適合するように選択できます。したがって、NBパラメーターの境界値を受け入れます。 $\alpha \to \infty$ $\lambda / \alpha \to \theta >0$ $\text{GPD}(\sigma,\,\xi)$ $\xi >0$ $\widehat{\xi} < 0$ $\widehat{\xi} = 0$

再パラメータ化による不変性のために、場合によっては無限のパラメータが意味をなすと考えています。

— イブ
ソース