確定的モデルと確率的モデルの違いは何ですか？

単純な線形モデル：

$x=\alpha t + \epsilon_t$ 〜IID $\epsilon_t$ $N(0,\sigma^2)$

と $E(x) = \alpha t$ $Var(x)=\sigma^2$

AR（1）：

$X_t =\alpha X_{t-1} + \epsilon_t$ 場合〜IID $\epsilon_t$ $N(0,\sigma^2)$

と $E(x) = \alpha t$ $Var(x)=t\sigma^2$

したがって、単純な線形モデルは決定論的モデルと見なされ、AR（1）モデルは確率論的モデルと見なされます。

Ben Lambert-Deterministic vs StochasticによるYoutubeビデオによると、AR（1）が確率モデルとして呼び出されるのは、その分散が時間とともに増加するためです。では、非一定分散の特徴は、確率論的または決定論的を決定する基準になるのでしょうか？

また、モデルに項が関連付けられているため、単純な線形モデルは完全に決定論的ではないと思います。したがって、には常にランダム性があります。それでは、モデルは決定論的または確率論的であるとどの程度言えるでしょうか。 $\epsilon_t$ $x$

— ケンT
ソース

エラー項のあるモデルはすべて確率論的です。それは、時間とともに変化しなければならない分散とは何の関係もありません。

— Michael R.Chernick 2017

@MichaelChernickわかりません。では、なぜ人々は単純な線形回帰が決定論的モデルであると言うのでしょうか？

— ケンT

これがどこで言われるか、そしてなぜそれが言われるかを示すリンクを提供していただけませんか？

— Michael R.Chernick 2017

数年前の時系列分析のコースノートからです。多分それは間違っています。

— ケンT

回答:

ビデオは、モデルではなく、確定的傾向と確率的傾向について話している。ハイライトは非常に重要です。どちらのモデルも確率的ですが、モデル1では傾向は確定的です。

モデル2には傾向がありません。質問文が正しくありません。

あなたの質問のモデル2は定数なしのAR（1）ですが、ビデオではモデルはランダムウォーク（ブラウン運動）です：このモデルは確かに確率的な傾向を持っています。それは平均的にのみため、確率論的です。ランダムな項ため、ブラウン運動の各実現はから逸脱しますが、これは差分によって簡単に確認できます。

x_{t} = α + x_{t - 1} + e_{t}

$x_t=\alpha+x_{t-1}+e_t$

α t

$\alpha t$

α t

$\alpha t$

e_{t}

$e_t$

Δ x_{t} = x_{t} - x_{t - 1} = α + e_{t}

$\Delta x_t=x_t-x_{t-1}=\alpha+e_t$

x_{t} = x_{0} + \sum_{t = 1}^{t} Δ x_{t} = x_{0} + α t + \sum_{t = 1}^{t} e_{t}

$x_t=x_0+\sum_{t=1}^t\Delta x_t=x_0+\alpha t +\sum_{t=1}^t e_t$

— アクサカル
ソース

+1。ただし、完全に明確かつ正確にするために、からの偏差は、だけではなく、ランダム項によるものであることを指摘する必要があるかもしれません。

α t

$\alpha t$

e_{1} + e_{2} + \dots + e_{t}

$e_1+e_2+\dots +e_t$

e_{t}

$e_t$

— whuber

Aksakalが彼の回答で述べたように、Ken Tがリンクしたビデオは、モデルの直接ではなく、トレンドの特性を説明しています。おそらく、計量経済学におけるトレンドと差異の定常性の関連トピックについての指導の一環としてです。あなたの質問でモデルについて尋ねたので、ここではモデルのコンテキストにあります：

ランダム性がある場合、モデルまたはプロセスは確率的です。たとえば、同じ入力（独立変数、重み/パラメーター、ハイパーパラメーターなど）が与えられた場合、モデルは異なる出力を生成する可能性があります。確定的モデルでは、出力はモデルへの入力（独立変数、重み/パラメーター、ハイパーパラメーターなど）によって完全に指定されるため、モデルへの同じ入力が与えられた場合、出力は同一になります。「確率的」という用語の起源は、確率的プロセスに由来します。一般的な経験則として、モデルに確率変数がある場合、確率論的です。確率モデルは、単純な独立確率変数でさえあり得ます。

統計モデル（決定論的、確率的、またはその他...）に関する文献を理解するのに役立ついくつかの用語を開梱しましょう。

確率モデルは、時間依存である必要も、マルコフプロセスである必要もありません（たとえば、過去の状態に依存します。たとえば、は、状態に依存するため、1次のマルコフです）。上でポーズをとった線形モデルは確率的です（確率変数があります）が、マルコフではありません（過去の状態に依存していません）。質問で提示された線形モデルでは、エラー項は無相関であると仮定する確率変数であり（一部の人々はエラーがiidであると述べる）、平均について対称的に分布する（一部の人々はエラーが通常であるとさらに述べる）分布）、平均ゼロ（）などです。線形モデルを推定するのに役立つように、これらの仮定を行います $AR(1)$ $t-1$ $\mu_{\epsilon_t}=0$ エラー項のいくつかのノルムを最小化することにより、従属変数。これらの仮定により、推定量の有用な特性を導き出し、特定の推定量がそれらの仮定の下で最適であることを証明できます。たとえば、OLS推定器はBLUEです。

確率モデルのより簡単な例は、公平なコイン（表または裏）を反転することです。これは、確率的にiidの均一分散バイナリ確率変数またはベルヌーイプロセスとしてモデル化できます。コインのフリップを物理的なシステムと見なして、コインの形状、角度と衝撃力、表面までの距離などを考慮に入れると、（理想的な設定で）決定論的モデルを考え出すこともできます。コインフリップの後者の（物理的）モデルにはランダム変数が含まれていません（たとえば、モデルへの入力の測定誤差は考慮されていません）。

統計を教える際、確率論と異分散論の間には混乱の共通点があります。たとえば、ケンTは、異分散性（または分散の変動性）の確率論を混同しています。このような出力変数としてランダム（確率的）変数、のプロセス又は線形モデルで、そのような時間（のようないくつかの入力上その分散の変化、IFF異分散である）にこのケースでは、母集団内の異なるグループが異なる分散を持ちます。Ken Tがリンクしたビデオ（Ben Lambertによる）で、4：00（4分）に一時停止すると、が表示されます $X_t$ $AR(1)$ $\epsilon_t$ $y_t = ax_t+\epsilon_t$ $t$ $Var[X_t]$ 線形モデルのは一定（同種）であるのに対して、右側のモデルでは（異分散）とともに変化します。 $t$ $Var[X_t]$

さらに、定常的な確率過程と非定常的な確率過程の間で混乱が生じることがあります。定常性とは、平均や分散などの統計がモデル内で時間とともに変化しないことを意味します。どちらも、ランダム性が関与している限り、確率モデル/プロセスと見なされます。マルーンの仲間であるマシューガンが彼の回答で述べているように、ウォルドの分解は、定常的な確率過程は決定論的プロセスと確率論的プロセスの合計として記述できると述べています。

— 私がやります
ソース

正解です。質問：なぜ「…あるパラメーターでの分散が変化する場合に…」と書くのは、ある変数（または変数の関数）での変化ではないのですか？

— Alexis

@Alexisモデルのパラメーターとして時間を参照していました。その通りです、その言語は不正確です。修繕。ありがとうございました。:-)

— ido

AR（1）の分散はどのように変化しますか？

— Aksakal

@Aksakal時間と共に変化しているないが、ため場合 ...（は、Ken Tによってそのように記述されたモデルを指します。）

V a r [ε_{t}]

$Var[\varepsilon_t]$

σ^{2}

$\sigma^2$

V a r [X_{t}] = t σ^{2}

$Var[X_t] = t\sigma^2$

X_{t} = α + X_{t - 1} + ε_{t}

$X_t = \alpha + X_{t-1} + \varepsilon_t$

ε_{t} \sim N (0, σ^{2})

$\varepsilon_t \sim N(0, \sigma^2)$

A R (1)

$AR(1)$

— ido

それがあなたが求めていたものである場合に備えてさらに作業を示すだけです、Aksakal：およびは定数です。がiidであるか、少なくとも相関がないためです。また、言うまでもありませんが、はiidです。

V a r [X_{t}] = V a r [X_{t - 1}] + V a r [ε_{t}] = \sum_{i = 1}^{t} V a r [ε_{i}] = t σ^{2}

$Var[X_t] = Var[X_{t-1}] + Var[\varepsilon_t] = \sum_{i=1}^{t} Var[\varepsilon_i] = t\sigma^2$

V a r [ε_{i}] = σ^{2}

$Var[\varepsilon_i] = \sigma^2$

ε_{t}

$\varepsilon_t$

ε_{t}

$\varepsilon_t$

C o v [X_{t}, X_{t - 1}] = 0

$Cov[X_t, X_{t-1}] = 0$

— ido 2017

非公式の定義

決定論的時系列のみ、時間の関数として記述することができます。ランダム性はありません。いくつかの例：
- $y(t) = 2t$
- $y(t) = e^t$
確率論的プロセス $\{Y_t\}$ 確率変数の系列です。確率変数は、サンプル空間から結果までの関数であることを思い出してください。確率過程は、時間とサンプル空間からの結果の両方の関数です。例： $\Omega$ $Y(t,\omega)$ $t$ $\omega$ $\Omega$
- $y_t = \epsilon_t$ where（つまり、標準正規分布に従います） $\epsilon_t \sim \mathcal{N}(0, 1)$
- $y_t = .7 y_{t-1} + \epsilon_t$
確率的プロセスは、サンプル空間内のすべての結果決定論的なパスと考えることもできます。をランダムに描画すると、パスが得られます。 $\omega$ $\Omega$ $\omega \in \Omega$ $Y_t(\omega)$

いくつかのコメント...

... AR（1）が確率モデルとして呼び出される理由は、その分散が時間とともに増加するためです。

それは理由ではありません！AR（1）が確率的プロセスを定義する理由は、プロセスがランダムであるためです。時間で異なる値が可能であるので、プロセスは確率的です。 $t$

また、モデルに項が関連付けられているため、単純な線形モデルは完全に決定論的ではないと思います。 $\epsilon_t$

あなたがそこに書かれているが、確定ではありません。時系列プロセスがあり、がホワイトノイズプロセスの場合、時系列は確定的ではありません。ランダム性があるので確率的です！ $x_t$ $x_t = \alpha t + \epsilon_t$ $\{\epsilon_t\}$ $\{x_t\}$

時系列は決定論的です。を2つのコンポーネントに分解できます。確定コンポーネントと確率コンポーネントです。 $y_t = \alpha t$ $\{x_t\}$ $\alpha t$ $\epsilon_t$

これにより、ウォルドの定理が導き出され、共分散定常プロセスは、決定論的コンポーネントと確率的コンポーネントに一意に分解できます。

— マシューガン
ソース