MLEにはiidデータが必要ですか？それとも独立したパラメーターですか？

最尤推定（MLE）を使用してパラメーターを推定するには、分布ファミリー（P（X = x |θ）のパラメーター空間（θ）で発生するサンプル（X）の確率をマッピングします。 ）θの可能な値（注：私はこれで正しいですか？）。私が見たすべての例は、F（X）の積を取ることによってP（X = x |θ）を計算することを含みます。 θおよびXの値はサンプル（ベクトル）です。

データを乗算するだけなので、データが独立していることになりますか？たとえば、MLEを使用して時系列データを適合させることはできませんか？または、パラメーターは独立している必要がありますか？

尤度関数は、モデルパラメーターθの関数としてのイベントE（データセットx）の確率として定義されます。$E$${\bf x}$$\theta$

$${\mathcal L}(\theta;{\bf x})\propto {\mathbb P}(\text{Event }E;\theta)= {\mathbb P}(\text{observing } {\bf x};\theta).$$

したがって、観測値の独立性の仮定はありません。古典的なアプローチでは、パラメーターはランダム変数ではないため、パラメーターの独立性の定義はありません。関連する概念には、識別可能性、パラメーターの直交性、および最尤推定量（ランダム変数）の独立性があります。

いくつかの例、

（1）。個別のケース。と（独立した）別個の観察の試料であるP（観察  XのJ ; θ ）> 0、次いで${\bf x}=(x_1,...,x_n)$${\mathbb P}(\text{observing } x_j ; \theta)>0$

$${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n{\mathbb P}(\text{observing } x_j ; \theta).$$

特に、 $x_j\sim \text{Binomial}(N,\theta)$で、知られている、我々はそれを持っています$N$

$${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n \theta^{x_j}(1-\theta)^{N-x_j}.$$

（2）。連続近似。ましょう連続確率変数からのサンプルであるX分布、Fおよび密度F測定エラーと、ε、これは、あなたがセットの観察（X J - ε 、X j + ϵ ）。それから${\bf x}=(x_1,...,x_n)$$X$$F$$f$$\epsilon$$(x_j-\epsilon,x_j+\epsilon)$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n {\mathbb P}[\text{observing } (x_j-\epsilon,x_j+\epsilon);\theta] = \prod_{j=1}^n[F(x_j+\epsilon;\theta)-F(x_j-\epsilon;\theta)] \end{eqnarray*}$$

が小さい場合、これは（平均値定理を使用して）近似できます。$\epsilon$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n f(x_j;\theta) \end{eqnarray*}$$

通常のケースの例については、こちらをご覧ください。

（3）。従属およびマルコフモデル。仮定しおそらく依存観察のセットであるとlet fが共同密度であるX次いで、${\bf x}=(x_1,...,x_n)$$f$${\bf x}$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta). \end{eqnarray*}$$

さらに マルコフ特性が満たされる場合、

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta) = f(x_1;\theta)\prod_{j=1}^{n-1} f(x_{j+1} \vert x_j ;\theta). \end{eqnarray*}$$

これも見てください。

(+1) Very good question.

マイナーなものは、MLEの略最大あなただけの可能性を最大化することを意味し、尤推定値（倍数ではありません）。これは、IIDサンプリングによって尤度を生成する必要があることを指定していません。

サンプリングの依存関係を統計モデルに記述できる場合、それに応じて尤度を記述し、通常どおり最大化します。

依存性を仮定しない場合に言及する価値がある1つのケースは、多変量ガウスサンプリングのケースです（たとえば、時系列分析）。2つのガウス変数間の依存関係は、共分散項によってモデル化できます。共分散項は、尤度に組み込まれません。

簡単な例を示すために、サイズのサンプルを描くと仮定します $2$同じ平均と分散を持つ相関ガウス変数から。あなたは可能性を次のように書くでしょう

$$\frac{1}{2\pi\sigma^2\sqrt{1-\rho^2}}\exp\left(-\frac{z}{2\sigma^2(1-\rho^2)}\right),$$

where $z$ is

$$z = (x_1-\mu)^2-2\rho(x_1-\mu)(x_2-\mu)+(x_2-\mu)^2.$$

This is not the product of the individual likelihoods. Still, you would maximize this with parameters $(\mu, \sigma, \rho)$ to get their MLE.

Of course, Gaussian ARMA models possess a likelihood, as their covariance function can be derived explicitly. This is basically an extension of gui11ame's answer to more than 2 observations. Minimal googling produces papers like this one where the likelihood is given in the general form.

Another, to an extent, more intriguing, class of examples is given by multilevel random effect models. If you have data of the form

$$y_{ij} = x_{ij}'\beta + u_i + \epsilon_{ij},$$ where indices $j$ are nested in $i$ (think of students $j$ in classrooms $i$, say, for a classic application of multilevel models), then, assuming $\epsilon_{ij} \perp u_i$, the likelihood is $$\ln L \sim \sum_i \ln \int \prod_j f(y_{ij}|\beta,u_i) {\rm d}F(u_i)$$ and is a sum over the likelihood contributions defined at the level of clusters, not individual observations. (Of course, in the Gaussian case, you can push the integrals around to produce an analytic ANOVA-like solution. However, if you have say a logit model for your response $y_{ij}$, then there is no way out of numerical integration.)