自己相関関数は確率過程を完全に記述していますか？

確率過程はその自己相関関数によって完全に記述されていますか？

そうでない場合、どの追加プロパティが必要になりますか？

autocorrelation

確率過程の完全な説明とはどういう意味ですか？数学的には、確率過程はランダム変数のコレクションで、インデックスセット各瞬間に1つずつ、通常は実数行全体または正の実数行であり、完全な説明は、各整数および瞬間について、（結合）分布を知っていることを意味しますの確率変数、、 $\{X(t) : t \in {\mathbb T}\}$ $t$ $\mathbb T$ $\mathbb T$ $n \geq 1$ $n$ $t_1, t_2, \ldots, t_n \in \mathbb T$ $n$ $X(t_1)$ $X(t_2)$ $\ldots, X(t_n)$ 。これは、莫大な情報量：我々はCDF知っている必要があります、各時刻のための、の（二次元）共同CDFとの時刻のすべての選択肢についておよび、、、およびなどの（3次元）CDF など。 $X(t)$ $t$ $X(t_1)$ $X(t_2)$ $t_1$ $t_2$ $X(t_1)$ $X(t_2)$ $X(t_3)$

したがって、当然のことながら、人々はより単純な説明とより制限的なモデルを探してきました。プロセスが時間原点の変更に対して不変である場合、1つの単純化が発生します。これが意味することは

プロセス内のすべてのランダム変数は同一のCDFを持っています：すべてのに対してです。 $F_{X(t_1)}(x) = F_{X(t_2)}(x)$ $t_1, t_2$
任意の二つの確率変数は、同じ関節CDFた時間のいくつかの指定された量によって分離された任意の他の確率変数の対により分離同じ時間の量。たとえば、ランダム変数およびは、ランダム変数およびと同様に秒で区切られているため、 $X(t_1)$ $X(t_1 + \tau)$ $\tau$ $X(t_2)$ $X(t_2 + \tau)$ $F_{X(t_1), X(t_1 + \tau)}(x,y) = F_{X(t_2), X(t_2 + \tau)}(x,y)$
任意の3の確率変数、、離間及び離れて同じ関節CDFを有する、、どのようにも離間と離れ、 $X(t_1)$ $X(t_1 + \tau_1)$ $X(t_1 + \tau_1 + \tau_2)$ $\tau_1$ $\tau_2$ $X(t_2)$ $X(t_2 + \tau_1)$ $X(t_2 + \tau_1 + \tau_2)$ $\tau_1$ $\tau_2$
すべての多次元CDF についても同様です。たとえば、多次元のケースの詳細については、Peter K.の回答を参照してください。

事実上、ランダムプロセスの確率的記述は、時間軸上の原点と呼ぶものに依存しません。すべての時刻を一定量からだけシフトします。は、確率変数と同じ確率的記述を提供します。この特性は、厳密な意味での定常性と呼ばれ、この特性を享受するランダムプロセスは、厳密に定常的なランダムプロセス、またはより簡単には、定常的なランダムプロセスと呼ばれます。 $t_1, t_2, \ldots, t_n$ $\tau$ $t_1 + \tau, t_2 + \tau, \ldots, t_n + \tau$

厳密な定常性自体は、特定の形式のCDFを必要としないことに注意してください。たとえば、すべての変数がガウス分布であるとは言いません。

形容詞は、より緩やかな形の定常性を定義できることを厳密に示唆しています。場合の関節CDF -order 同じである関節-order CDFすべての選択肢のための及び、ランダムプロセスがあると言われています、順番に静止ととも呼ばれる -order定常ランダムプロセス。次の定常ランダムプロセスも、各正の次定常であることに注意してください。 $N^{\text{th}}$ $X(t_1), X(t_2), \ldots, X(t_N)$ $N^{\text{th}}$ $X(t_1+\tau), X(t_2+\tau), \ldots, X(t_N +\tau)$ $t_1,t_2, \ldots, t_N$ $\tau$ $N$ $N^{\text{th}}$ $N^{\text{th}}$ $n$ $n < N$ 。（これは、引数のが近づくにつれて、次の結合CDFが次のCDF の制限であるためです：一般化）。厳密に定常的なランダムプロセスは、すべての次数に対して定常的なランダムプロセスです。 $n^{\text{th}}$ $N^{\text{th}}$ $N-n$ $\infty$ $F_X(x) = \lim_{y\to\infty}F_{X,Y}(x,y)$ $N$

ランダムプロセスが（少なくとも）次数に定常的である場合、すべてのは同じ分布を持つため、平均が存在すると仮定すると、はすべて同じです。。同様に、はすべてので同じであり、プロセスのパワーと呼ばれます。すべての物理プロセスには有限の力があるため、と仮定するのが一般的です。この場合、特に古い工学文献では、このプロセスは2次プロセスと呼ばれます。名前の選択は、2次との混乱を招くため、残念です $1$ $X(t)$ $E[X(t)] = \mu$ $t$ $E[(X(t))^2]$ $t$ $E[(X(t))^2] < \infty$ 定常性（stats.SEの私のこの回答を参照）、したがって、ここでは、すべてのに対してが有限であるプロセスを呼び出します（は定数です）有限パワープロセスとして、この混乱を避けます。しかし、もう一度注意してください $E[(X(t))^2]$ $t$ $E[(X(t))^2]$

1次定常プロセスは有限パワープロセスである必要はありません。

次数定常的なランダムプロセスを考えます。現在、との共同分布はとの共同分布関数と同じであるため、および値はのみに依存します。これらの期待は有限パワープロセスに対して有限であり、その値はプロセスの自己相関関数と呼ばれます：は関数、時間ランダム変数と分離、および依存しない $2$ $X(t_1)$ $X(t_1 + \tau)$ $X(t_2)$ $X(t_2 + \tau)$ $E[X(t_1)X(t_1 + \tau)] = E[X(t_2)X(t_2 + \tau)]$ $\tau$ $R_X(\tau) = E[X(t)X(t+\tau)]$ $\tau$ $X(t)$ $X(t+\tau)$ $t$ まったく。注意また、そのしたがって自己相関関数は引数の偶数関数です。

E [X (t) X (t + τ)] = E [X (t + τ) X (t)] = E [X (t + τ) X (t + τ - τ)] = R_{X} (- τ),

$E[X(t)X(t+\tau)] = E[X(t+\tau)X(t)] = E[X(t+\tau)X(t + \tau - \tau)] = R_X(-\tau),$

有限パワーの2次定常ランダムプロセスには、次の特性があります。

その平均は定数です $E[X(t)]$

その自己相関関数の関数で、ランダム変数の時間間隔および、としにまったく依存しません。 $R_X(\tau) = E[X(t)X(t+\tau)]$ $\tau$ $X(t)$ $X(t+\tau)$ $t$

定常性の仮定により、ランダムプロセスの記述はある程度単純化されますが、実験データからモデルを構築することに関心のあるエンジニアや統計学者にとって、特に1つのサンプルパスのセグメントしかない場合、それらのすべてのCDFを推定するのは簡単な作業ではありません（または実現）測定を行うことができる。エンジニアがワークベンチ（またはソフトウェアライブラリ内のMATLAB / Python / Octave / C ++のプログラム）に必要な機器を既に持っているため、比較的簡単に実行できる2つの測定は、DC値 ofおよび自己相関関数 $x(t)$ $\frac 1T\int_0^T x(t)\,\mathrm dt$ $x(t)$ $R_x(\tau) = \frac 1T\int_0^T x(t)x(t+\tau)\,\mathrm dt$ （またはそのフーリエ変換、パワースペクトル）。これらの測定値を、有限パワープロセスの平均および自己相関関数の推定値として使用すると、次に説明する非常に有用なモデルが得られます。 $x(t)$

有限パワーランダムプロセスは、一定の平均値とその自己相関関数持つ場合、広義定常（WSS）プロセス（幸いにも同じ初期化WSSも持つ弱定常ランダムプロセス）と呼ばれます。は、時間差（または）のみに依存します。 $R_X(t_1, t_2) = E[X(t_1)X(t_2)]$ $t_1 - t_2$ $t_2 - t_1$

定義は、プロセスを構成するランダム変数のCDFについて何も述べていないことに注意してください。それは完全にランダム変数の1次および2次モーメントに対する制約です。もちろん、有限パワーの2次定常（または次定常（）または厳密に定常の）ランダムプロセスは WSSプロセスですが、その逆は真である必要はありません。 $N^{\text{th}}$ $N>2$

WSSプロセスは、任意の順序で静止している必要はありません。

例えば、ランダムなプロセスを考えるここで 4つの等しい可能性が高い値をとると。（怖がらないでください：このランダムプロセスの4つの可能なサンプルパスは、QPSK信号の4つの信号波形です）。各は離散確率変数であり、一般に、4つの同等の可能性のある値および、一般的におよび $\{X(t)\colon X(t)= \cos (t + \Theta), -\infty < t < \infty\}$ $\Theta$ $0, \pi/2, \pi$ $3\pi/2$ $X(t)$ $\cos(t), \cos(t+\pi/2)=-\sin(t), \cos(t+\pi) = -\cos(t)$ $\cos(t+3\pi/2)=\sin(t)$ $X(t)$ $X(s)$ 分布が異なるため、プロセスは一次定常でさえありません。一方、間、ごとに要するに、プロセスの平均はゼロであり、その自己相関関数は時間差のみに依存するため、プロセスは広義の定常です。しかし、それは一次定常ではないため、高次に対しても定常ではありません。

E [X (t)] = \frac{1}{4} \cos (t) + \frac{1}{4} (- \sin (t)) + \frac{1}{4} (- \cos (t)) + \frac{1}{4} \sin (t) = 0

$E[X(t)] = \frac 14\cos(t)+ \frac 14(-\sin(t)) + \frac 14(-\cos(t))+\frac 14 \sin(t) = 0$

t

$t$

\begin{aligned} E [X (t) X (s)] & = \frac{1}{4} [\cos (t) \cos (s) + (- \cos (t)) (- \cos (s)) + \sin (t) \sin (s) + (- \sin (t)) (- \sin (s))] \\ = \frac{1}{2} [\cos (t) \cos (s) + \sin (t) \sin (s)] \\ = \frac{1}{2} \cos (t - s) . \end{aligned}

$\begin{align} E[X(t)X(s)]&= \left.\left.\frac 14\right[\cos(t)\cos(s) + (-\cos(t))(-\cos(s)) + \sin(t)\sin(s) + (-\sin(t))(-\sin(s))\right]\\ &= \left.\left.\frac 12\right[\cos(t)\cos(s) + \sin(t)\sin(s)\right]\\ &= \frac 12 \cos(t-s). \end{align}$

t - s

$t-s$

2次定常（または厳密に定常）ランダムプロセスであるWSSプロセスでも、ランダム変数の分布の特定の形式についてはほとんど言えません。要するに、

WSSプロセスは必ずしも（任意の順序で）静止しているわけではなく、WSSプロセスの平均および自己相関関数は、プロセスの完全な統計的記述を提供するのに十分ではありません。

最後に、確率過程がガウス過程であると想定されると仮定します（合理的な信頼度でこれを「証明」するのは簡単な作業ではありません）。つまり、各に対して、はガウス確率変数であり、すべての正の整数および時刻、、に対して、ランダム変数、、はガウス確率変数です。結合ガウス密度関数は完全に $t$ $X(t)$ $n \geq 2$ $n$ $t_1$ $t_2$ $\ldots, t_n$ $N$ $X(t_1)$ $X(t_2)$ $\ldots, X(t_n)$ ランダム変数の平均、分散、共分散によって決定され、この場合、平均関数知っている広義に必要な定数である必要はない-定常性）および自己相関関数すべての（広義の定常性に必要なのみに依存する必要はありません）プロセスの統計を完全に決定するには十分です。 $\mu_X(t) = E[X(t)]$ $R_X(t_1, t_2) = E[X(t_1)X(t_2)]$ $t_1, t_2$ $t_1-t_2$

Gaussianプロセスが WSSプロセスである場合、厳密に定常的な Gaussianプロセスでもあります。エンジニアとシグナルプロセッサにとって幸いなことに、多くの物理ノイズプロセスはWSSガウスプロセス（したがって厳密に定常的なプロセス）としてうまくモデル化できるため、自己相関関数の実験的観測はすべてのジョイント分布を容易に提供します。さらに、ガウスプロセスは線形システムを通過するときにガウス特性を保持するため、出力自己相関関数はとして入力自己相関関数に関連しています。

R_{y} = h * \tilde{h} * R_{X}

$R_y = h*\tilde{h}*R_X$ 出力統計も容易に決定できるように、WSSプロセス一般および特にWSSガウスプロセスは、エンジニアリングアプリケーションで非常に重要です。

— ディリップ・サルワテ
ソース

その意味で、「ホワイトノイズ」についてコメントしてください。定義により、での自己相関は確率変数の分散です。AWGN（Additive White Gaussian Noise）の分散が無限であることを意味しますか？通常、人々はと書くので、それは間違っていますか？と書く必要がありますか？ありがとう。

τ = 0

$\tau = 0$

n (t) N (0, N_{0} / 2)

$n(t) ~ N(0, {N}_{0} / 2)$

n (t) N (0, δ (0) N_{0} / 2)

$n(t) ~ N(0, \delta(0) {N}_{0} / 2)$

— -Royi

@Drazick別の質問をしてください。

— ディリップサルワテ

これは、定常プロセスの定義における素晴らしいミニコースです。私はそれのようなものを見たことがない-とても系統的かつ明確にレイアウトされています。コミュニティWiki？

— -abalter

@Dilip Sarwate失礼しました。例では。すべてのtでE [X（t）] = 0なのはなぜですか？エルゴディシティを想定しましたか？期待値を計算するために、シータの確率密度関数からX（t）の確率密度関数をどのように導きましたか？E [X（t）X（s）] = E [cos（t + theta）* cos（s + theta）]でしょ？この表現を単純化し、書いたものにたどり着くためにどのステップを取りましたか？ありがとう

— -VMMF

@VMMFありませんNO使用エルゴード性が。は離散確率変数です。なぜなら、は離散確率変数であり、等しい確率で値およびを取るからです。。エルゴ、。の値をとる（、及びに等しい確率で。したがって、

X (t) = \cos (t + Θ)

$X(t)=\cos(t+\Theta)$

Θ

$\Theta$

\pm \cos (t)

$\pm\cos(t)$

\pm \sin (t)

$\pm\sin(t)$

\frac{1}{4}

$\frac 14$

E [X (t)] = 0

$E[X(t)]=0$

X (t) X (s)

$X(t)X(s)$

\cos (t) \cos (s)

$\cos(t)\cos(s)$

(- \cos (t)) (- \cos (s)) = \cos (t) \cos (s)

$(-\cos(t))(-\cos(s))=\cos(t)\cos(s)$

\sin (t) \sin (s)

$\sin(t)\sin(s)$

(- \sin (t)) (- \sin (s)) = \sin (t) \sin (s)

$(-\sin(t))(-\sin(s))=\sin(t)\sin(s)$

\frac{1}{4}

$\frac 14$

E [X (t) (X (s)] = \frac{1}{2} (\cos (t) \cos (s) + \sin (t) \sin (s)) = \frac{1}{2} \cos (t - s)

$E[X(t)(X(s)]=\frac 12\big(\cos(t)\cos(s)+\sin(t)\sin(s)\big) = \frac 12\cos(t-s)$ 。したがって、

— ディリップ・サーワテ