色付きノイズが存在する場合の最尤推定

測定ノイズ（1）ホワイトガウスノイズ（2）カラーノイズ-ピンク、バイオレットの存在下でシステムの識別をテストしようとしています。パラメータを推定するとき、iidの存在下で推定すると、ゼロは無相関ノイズを意味します。

Q1：色付きノイズが相関しているかどうか知りたいのですが。それらは異なる分布をしていると思いますが、サンプルが相関するかどうかについては、情報を見つけることができませんでした。

Q2：推定では、ノイズは相関のないiidである加法性ホワイトガウスノイズであると想定しています。ノイズがガウスでない場合はどうなりますか？例：$x = s(\theta) + Colored noise$ 見積もろうとしているところ $\theta$。パフォーマンス、つまりMSEは、色付きノイズと色なしノイズのレベルによって異なりますか？

ノイズプロセスの自己相関関数は、ホワイトノイズの場合のようにデルタ関数ではないため、（異なる時間に取得された）色付きノイズのサンプルは一般 に相関確率変数です。したがって、ゼロ平均プロセス（ノイズは通常、その色に関係なく想定される）を仮定すると、2つの信号の共分散は、$\tau$ 秒は $R(\tau)$ どこ $R(t) = \mathcal F^{-1}(S(f)$プロセスの自己相関関数です（パワースペクトル密度の逆フーリエ変換）。可能であることに注意してください$R(t)$のいくつかの値に対してゼロになる$t$ （例えば $R(t) = \operatorname{sinc}(t)$は有効な自己相関関数です）が、ゼロ以外のすべてに対してゼロにすることはできません$t$。

限り密度プロセスがガウス分布である場合、任意のサンプルの関数、サンプルプロセスがで濾過されていてもガウス分布であるリニアサンプリングする前にフィルタ。プロセスがある場合でもない ガウス各サンプルはラプラシアンないあらゆる種類のフィルタ処理した後、一般的に、プロセスのサンプルの言うことが同じ缶になり、その後ながら、（それは、私たちは、ラプラシアンとしましょう）。つまり、Gaussianityは線形フィルタリングを生き延びますが、LaPlacismは一般的に生き残りません。

---

では、サンプルに相関ノイズがある場合、最尤推定はどのように機能しますか？aの未知の平均を推定したい場合を考えてみましょう。$\mathcal N(\mu, 1)$ 確率変数、2つの観測があります $x$ そして $y$。独立した観測の標準的な場合、尤度関数は次のとおりです。

$$L(\mu) = \frac{1}{2\pi}\exp\left(-\frac{1}{2}\left[(x-\mu)^2+(y-\mu)^2\right]\right).$$ _maximum-likelihood estimator for $\mu$ 数です $\hat{\mu}$ 最大化する $L(\mu)$、それは数になることがわかります $\hat{\mu}$ その最小化 $(x-\mu)^2+(y-\mu)^2$。これは二次式です$\mu$ そして、最尤推定値は $\hat{\mu}=\frac{x+y}{2}$。観測値が相関係数と相関している場合$\rho$、その後 $$L(\mu) = \frac{1}{2\pi\sqrt{1-\rho^2}} \exp\left(-\frac{1}{2\sqrt{1-\rho^2}} \left[(x-\mu)^2-2\rho(x-\mu)(y-\mu)+(y-\mu)^2\right]\right).$$ もう一度見つける必要があります $\hat{\mu}$ どこ $(x-\mu)^2-2\rho(x-\mu)(y-\mu)+(y-\mu)^2$最小値があります。私たちはまだ二次方程式を持っています$\mu$ しかし今、私たちは次のような用語を得ます $xy$係数で。何$\hat{\mu}$ あなたがワークアウトするために残されています。

---

そして、もし $n$ 観察 $n > 2$？上記すべてが引き続き適用されます。サンプル内の独立して同一に分布したガウスノイズの場合、サンプルの平均 $n^{-1}\sum_i x_i$ は、の最尤推定値です $\mu$ しかし、相関ガウス確率変数の場合、最小化しようとしている二次式は共分散行列の逆に依存し、結果は単純な簡単なではなくデータの非線形関数であるため、非常に厄介な最小化問題が発生します。サンプル平均のような結果を思い出してください。

---

ノイズがガウスでない場合はどうなりますか？同じ原則が適用されます-尤度関数を設定し、それが最大値に到達する場所を見つけます-しかし、計算はかなり異なります。