時系列回帰の非表示モデルとステートレスモデル

これは非常に一般的な質問です。前の観測に基づいて次の観測を予測するモデルを構築したいとします（は実験的に最適化するためのパラメーターにすることができます）。したがって、基本的に、次の観測を予測するための入力フィーチャのスライディングウィンドウがあります。$N$$N$

隠れマルコフモデルのアプローチ、つまりBaum-Welchを使用してモデルを推定し、Viterbiが最後の観測に基づいて現在の状態を予測し、次に現在の状態に基づいて最も可能性の高い次の状態を予測し、次に次の状態を予測します。最も可能性の高い次の状態とHMMパラメーター（または次の観測の予測分布を見つけるなどのバリアント）を使用した観測。$N$

または、SVM、線形回帰、スプライン、回帰ツリー、最近傍などのステートレスモデル（入力として以前の観測を取得できる）を使用して、はるかに単純なアプローチを使用することもできます。このようなモデルは、いくつかの予測誤差の最小化に基づいていますしたがって、概念的には、隠れた状態ベースのモデルよりもはるかに単純です。$N$

誰かがそのようなモデリングの選択に対処した彼女/彼の経験を共有できますか？HMMを支持して何を話し、回帰アプローチを支持して何を話しますか？直感的には、過剰適合を避けるために可能な限り単純なモデルを採用する必要があります。これは、ステートレスなアプローチを支持して話します...また、両方のアプローチがトレーニングのために同じ入力データを取得することを考慮する必要があります（これは、非表示の状態モデルのモデリングに追加のドメイン知識を組み込まない場合、たとえば特定の状態と遷移確率を修正します。非表示状態モデルのパフォーマンスが向上する理由はありません）。最後に、もちろん両方のアプローチを試して、検証セットで何がより効果的かを確認できますが、実際の経験に基づくいくつかのヒューリスティックも役立つかもしれません...

注：私にとっては、特定のイベントのみを予測することが重要です。私は、「平均的/頻繁な」イベントを予測するが、興味深いイベントはあまり予測しないモデルよりも、「興味深い/まれな」イベントをほとんど予測しないモデルを好みます。おそらくこれはモデリングの選択に影響を与えます。ありがとう。

つまり、彼らは異なる学習パラダイムで働いていると思います。

状態空間モデル（非表示の状態モデル）やその他のステートレスモデルは、さまざまな学習パラダイムにおける時系列の根本的な関係を発見します：（1）最尤推定、（2）ベイズ推論、（3）経験的リスクの最小化。

状態空間モデルでは、

してみましょう隠された状態として、観測として、（何のコントロールがないと仮定）$x_t$$y_t$$t>0$

モデルについて次の関係を想定します。

$P(x_0)$以前の

$P(x_t | x_{t-1})$ for for your state change（HMMでは、これは遷移行列です）$t \geq 1$

$P(y_t | x_t)$の観察方法（HMMでは、を条件とする正規分布である可能性があります）$t \geq 1$$x_t$

そしてのみに依存。$y_t$$x_t$

Baum-Welchを使用してパラメーターを推定する場合、実際にはHMMの最尤推定値を探しています。カルマンフィルターを使用する場合、ベイジアンフィルター問題の特別なケースを解決します（実際には、更新ステップでのベイズの定理の適用です）。

予測ステップ：

$\displaystyle P(x_t|y_{1:t-1}) = \int P(x_t|x_{t-1})P(x_{t-1}|y_{1:t-1}) \, dx_{t-1}$

更新ステップ：

$\displaystyle P(x_t|y_{1:t}) = \frac{P(y_t|x_t)P(x_t|y_{1:t-1})}{\int P(y_t|x_t)P(x_t|y_{1:t-1}) \, dx_t}$

カルマンフィルターでは、ノイズ統計はガウスであり、とは線形であると仮定しています。したがって、および（平均+分散は正規分布に十分ですとして簡単に記述でき、アルゴリズムは行列式として機能します。$P(x_t|x_{t-1})$$P(y_t|x_t)$$P(x_t|y_{1:t-1})$$P(x_t|y_{1:t})$$x_t$

一方、SVM、スプライン、回帰木、最近傍など、言及した他のステートレスモデルの場合。彼らは経験的なリスク最小化によっての根本的な関係を発見しようとしています。$(\{y_0,y_1,...,y_{t-1}\}, y_t)$

最尤推定の場合、最初に基礎となる確率分布をパラメーター化する必要があります（HMMのように、遷移行列があり、観測可能なのはいくつかのです）。$(\mu_j,\sigma_j)$$j$

ベイズの定理を適用するには、であるという意味で、最初にアプリオリを「修正」する必要があります。場合、ため、推論の結果はなります。$P(A)$$P(A) \neq 0$$P(A)=0$$0$$P(A|B) = \frac{P(B|A)P(A)}{P(B)}$

経験的リスク最小化の場合、学習ルールのVCディメンションが利用可能なデータのように急速に成長していない場合、あらゆる根本的な確率分布に対して普遍的な一貫性が保証されます$n \to \infty$