要約統計のみが利用可能な場合の推定方法

これは、次の質問とそれに続く議論によって部分的に動機付けられています。

iidサンプルが観測されたとします。目標はを推定することです。ただし、元のサンプルは利用できません。代わりに、サンプル統計があります。仮定固定されています。推定方法は？この場合の最尤推定量はどうなりますか？ $X_i\sim F(x,\theta)$ $\theta$ $T_1,...,T_k$ $k$ $\theta$

estimation maximum-likelihood

— mpiktas
ソース

既知の関数に対して場合、の分布をことができ、最尤推定量は通常の方法で導出されます。しかし、あなたが何であるかprecisedていない？

T_{i} = f (X_{i})

$T_i=f(X_i)$

f

$f$

T_{i}

$T_i$

T_{i}

$T_i$

— ステファンローラン

既知のの場合に興味があります。これは、がサンプル統計であると言ったときの意味でした。

T_{i} = f (X_{1}, . . ., X_{n})

$T_i=f(X_1,...,X_n)$

f

$f$

T_{i}

$T_i$

— mpiktas

と違いは何ですか？

T_{i}

$T_i$

T_{j}

$T_j$

— ステファンローラン

申し訳ありませんが、それは1つのではなくでした。サンプル全体を引数として取る関数がいくつかあります。

f_{i}

$f_i$

f

$f$

f_{i}

$f_i$

— mpiktas

これは最大エントロピーが設計されたものではありませんか？

— 確率論的

この場合、次の仮定/制限の下で、尤度（および結果的にMLE）のABC近似を考慮することができます。

仮定。元のサンプルサイズは既知です。 $n$

これは、収束に関する観点から、頻度の高い推定量の質がサンプルサイズに依存することを前提とする野生の仮定ではありません。

アイデアはの事後分布からのサンプルを生成することであると、MLEの近似値を生成するために、あなたはのように技術をサンプリング重要性を使用することができます[1]または上に均一な事前検討する上のサポートとを[2]のような適切なセット。 $\theta$ $\theta$

[2]でメソッドを説明します。まず、ABCサンプラーについて説明しましょう。

ABCサンプラー

ましょうサンプルを生成するモデルである場合パラメータは、（推定される）であり、（試料の関数）統計こと及び観察統計こと、ABC用語これが呼び出される要約統計量、メトリック、ことに事前分布及びトレランス。次に、ABC拒否サンプラーを次のように実装できます。 $f(\cdot\vert\theta)$ $\theta \in \Theta$ $T$ $T_0$ $\rho$ $\pi(\theta)$ $\theta$ $\epsilon>0$

からサンプリングします。 $\theta^*$ $\pi(\cdot)$
モデルからサイズサンプルを生成します。 $\bf{x}$ $n$ $f(\cdot\vert\theta^*)$
計算します。 $T^*=T({\bf x})$
場合は、受け入れるの後部からシミュレーションとして。 $\rho(T^*,T_0)<\epsilon$ $\theta^*$ $\theta$

このアルゴリズムは、与えられた場合の事後分布から近似サンプルを生成します。したがって、統計で十分ですが、他の統計を使用できる場合が最良のシナリオです。詳細については、このペーパーを参照してください。 $\theta$ $T({\bf x})=T_0$ $T$

現在、一般的なフレームワークでは、サポートにMLEを含む一様な事前分布を使用する場合、事後確率（MAP）は最尤推定量（MLE）と一致します。したがって、ABCサンプラーで適切な事前分布を考慮する場合、MAPがMLEと一致する事後分布のおおよそのサンプルを生成できます。残りの手順は、このモードを推定することです。この問題は、CV、たとえば「計算上効率的な多変量モードの推定」で説明されています。

おもちゃの例

ましょうからのサンプルであるこのサンプルから入手可能な唯一の情報であることを仮定。ましょうにおけるユークリッドメトリックである及び。でシミュレート試料を用いて上記の方法を用いて近似MLEを取得する方法を以下のRコードを示しとを、サイズの事後分布のサンプル、のための均一な事前オン、および事後サンプルのモードの推定用のカーネル密度推定量（MAP = MLE）。 $(x_1,...,x_n)$ $N(\mu,1)$ $\bar{x}=\dfrac{1}{n}\sum_{j=1}^n x_j$ $\rho$ ${\mathbb R}$ $\epsilon=0.001$ $n=100$ $\mu=0$ $1000$ $\mu$ $(-0.3,0.3)$

rm(list=ls())

# Simulated data
set.seed(1)
x = rnorm(100)

# Observed statistic
T0=mean(x)

# ABC Sampler using a uniform prior 

N=1000
eps = 0.001
ABCsamp = rep(0,N)
i=1

while(i<N+1){
u = runif(1,-0.3,0.3)
t.samp = rnorm(100,u,1)
Ts = mean(t.samp)
if(abs(Ts-T0)<eps){
ABCsamp[i]=u
i=i+1
print(i)
}
}

# Approximation of the MLE
kd = density(ABCsamp)
kd$x[which(kd$y==max(kd$y))]

ご覧のとおり、小さな許容値を使用すると、MLEの非常に優れた近似が得られます（この簡単な例では、十分であると仮定して統計から計算できます）。要約統計量の選択が重要であることに注意することが重要です。通常、分位数は要約統計量に適した選択肢ですが、すべての選択肢が適切な近似を生成するわけではありません。要約統計量はあまり有益ではないため、ABCコミュニティでよく知られている近似の品質が低い場合があります。

更新：同様のアプローチが最近Fanなどで公開されました。（2012）。論文に関する議論については、このエントリを参照してください。

— コミュニティ
ソース

T = \sum_{i} (X_{i} - \bar{X})^{2}

$T = \sum_i (X_i - \bar X)^2$

+1 @procrastinator簡単に言うと、モデルに十分な統計があれば利用できます。しかし、あなたの広範な答えはそれをカバーしているようです。

— マイケルR.チャーニック

簡単な質問の1つとして、ユニフォームプリオールにはMLEがサポートに含まれている必要があります。しかし、MLEは確率的境界のみを持つランダム変数です。つまり、正の確率で境界セットの外側にある可能性があります。

— mpiktas

@mpiktas特定のサンプルについては、ユニフォームの事前の適切なサポートを選択する必要があります。サンプルを変更すると、これが変わる場合があります。これはベイジアン手順ではないことに注意することが重要です。これは単に数値法として使用しているだけなので、事前の選択で遊んでも問題はありません。事前のサポートが小さいほど優れています。これにより、ABCサンプラーの速度が向上しますが、MLEの場所に関する信頼できる手がかりがないという意味で情報が曖昧な場合は、より大きなサポートが必要になる可能性があります（そして料金がかかります）。

(- 1000000, 1000000)

$(-1000000,1000000)$

(0.1, 0.15)

$(0.1,0.15)$

$T_i$

(T_{1}, \dots, T_{k}) \sim g (t_{1}, \dots, t_{k} | θ, n)

$(T_1,\ldots,T_k)\sim g(t_1,\ldots,t_k|\theta,n)$

(T_{1}, \dots, T_{k})

$(T_1,\ldots,T_k)$

(X_{1}, \dots, X_{n})

$(X_1,\ldots,X_n)$

$g$

— 西安
ソース

（頻度）最尤推定量は次のとおりです。

$F$

l (θ | T) = \exp (- ψ (θ) + ⟨ T, ϕ (θ) ⟩),

$l(\theta| T) = \exp\left( -\psi(\theta) + \langle T,\phi(\theta) \rangle \right),$

⟨ \cdot, \cdot ⟩

$\langle \cdot, \cdot\rangle$

T

$T$

ψ (\cdot)

$\psi(\cdot)$

ϕ (\cdot)

$\phi(\cdot)$ 連続2回微分可能です。

実際に尤度を最大化する方法は、ほとんどの場合、扱いやすい方法で尤度を分析的に記述する可能性に依存します。これが可能であれば、一般的な最適化アルゴリズム（ニュートンラプソン、シンプレックス...）を検討できます。扱いやすい尤度がない場合は、EMアルゴリズムのように条件付き期待値を計算する方が簡単な場合があります。これにより、かなり手頃な仮説の下で最尤推定値が得られます。

ベスト

— ジュリアン・スターネマン
ソース

私が興味を持っている問題については、分析的な扱いやすさは不可能です。

— mpiktas

この場合、非圧縮性の理由により、最適化スキームが調整されます。ただし、EMの拡張機能により、通常、これらの理由のほとんどを回避できます。私は"tは私がモデル自体を見ることなく、私の提案で、より特異的であることができると思うドン

— ジュリアンstirnemann