不規則な時間間隔のRNN？

13

RNNは、シーケンシャルデータの時間依存性のキャプチャに非常に適しています。ただし、シーケンス要素の間隔が等間隔でない場合はどうなりますか？

たとえば、LSTMセルへの最初の入力は月曜日に行われ、火曜日から木曜日まではデータがありません。最後に、金曜日、土曜日、日曜日のそれぞれに新しい入力が行われます。1つの可能性は、火曜日から木曜日に供給されるある種のNULLベクトルを持つことですが、NULLエントリがデータを汚染するため、およびリソースの浪費であるため、これはばかげた解決策のようです。

何か案は？RNNはそのような場合をどのように処理しますか？RNN以外の方法がある場合は、それらの提案も歓迎します。

— Tfovid
ソース

それはどのようなデータですか？ある日、継続的ないくつかの機能の測定値が得られると想定できますか？たとえば、ある場所の温度は？

— user0

@ user99889はい、それは例かもしれませんが、私はカウンターについてもっと考えていました。たとえば、午前9時32分に1カウント、その後何もない、午前9時37分に2カウント、その後何もないなど

— Tfovid

2

$v_t$ $t$ $d_t$ $v_t$ $d_t$

また、データがどの程度まばらで不規則であるかに応じて、NULLエントリが適切なソリューションになります。LSTMの入力ゲートにより、LSTMがデータ（メモリ/非表示状態）を汚染することなく、NULLエントリの情報を適切に読み取ることができると思います。

— シマオ
ソース

1

実際には、ワンホットエンコーディングの代わりに、日付を含むLSTMに単一の入力ノードを連結するだけでなく、「現在」の前の時刻を連結するだけではなく、現在がシーケンスの最後の要素になります。この場合、これらのノードには-5（月曜日）、-2（金曜日）、-1（土曜日）、0（日曜日、つまり最新の日）が含まれます。これにより、NULLの必要性が回避され、同時に（できれば）LSTMが再帰の間で "忘れる"必要がある量だけエンコードされます。これは合理的に聞こえますか？

— Tfovid 2017年

はい、うまくいくはずです。

— 島尾

1

y_{t} = c + φ y_{t - 1} + ε_{t}

$y_t=c+\phi y_{t-1}+\varepsilon_t$

y_{t} = c Δ t + e^{- γ Δ t} y_{t - Δ t} + ξ_{t} σ \sqrt{Δ t}

$y_t=c\Delta t+e^{-\gamma\Delta t}y_{t-\Delta t}+\xi_t\sigma\sqrt {\Delta t}$

$\phi$

— アクサカル
ソース

1

データによると思います。たとえば、カウントを処理していて、数日の間にそれを測定するのを忘れた場合、最良の戦略は、欠損値を補間して（たとえば、補間またはガウスプロセスを使用して）、RNTで入力された時系列を処理することです。代入することで、知識を埋め込むことになります。

欠落が意味がある場合（暑すぎて、日によってはカウントを測定する場合）、値を補って、値が欠落している場合は1、それ以外の場合は0のインジケーターベクトルを追加することをお勧めします。

— user0
ソース