異なる周波数の正弦波を学習するRNN

再帰型ニューラルネットワークのウォームアップとして、別の周波数の別の正弦波から正弦波を予測しようとしています。

私のモデルは単純なRNNであり、そのフォワードパスは次のように表すことができます。

$$\begin{aligned} r_t &= \sigma(W_{in} \cdot x_t + W_{rec} \cdot r_{t-1}))\\ z_t &= W_{out} \cdot r_t \end{aligned}$$ どこ $\sigma$ sigmoïd関数です。

入力と期待される出力の両方が同じ周波数の2つの正弦波であるが（おそらく）位相シフトがある場合、モデルは適切な近似に適切に収束できます。

ただし、次の場合、モデルは極小値に収束し、常にゼロを予測します。

• 入力： $x = sin(t)$
• 予想される出力： $y = sin(\frac{t}{2})$

サイズ16のミニバッチ、学習率0.01、シーケンス長16、サイズ32の非表示レイヤーを使用して、10エポックのトレーニング後に完全な入力シーケンスが与えられたときにネットワークが予測するのは、次のとおりです。

そのため、ネットワークは時間をかけて学習することができず、現在の入力にのみ依存して予測を行うと思います。

学習率、シーケンスの長さ、隠しレイヤーのサイズを調整しようとしましたが、あまりうまくいきませんでした。

LSTMでもまったく同じ問題が発生します。これらのアーキテクチャに欠陥があるとは思わないでください。何が間違っているのかについてのヒントはありますか？

Torchにはrnnパッケージを使用していますが、コードはGistにあります。

そのようにトレーニングされたRNNでは、基本的にデータを学習できません。あなたの入力は$\sin(t)$ です $2\pi$-定期的 $\sin(t) = \sin(t+2\pi)$

しかしあなたの目標 $\sin(t/2)$ です $4\pi$-定期的および $\sin(t/2) = -\sin(t+2\pi)$

したがって、データセットには、反対の出力を持つ同一の入力のペアがあります。平均二乗誤差の観点から、これは最適解がnull関数であることを意味します。

これらはプロットの2つのスライスであり、同じ入力が反対のターゲットを見ることができます