Recurrent Neural Network（RNN）トポロジ：なぜ常に完全に接続されているのですか？

私は、リカレントニューラルネットワーク（RNN）と長期短期記憶（LSTM）について読み始めました...

取得できないことが1つあります。非表示層の各インスタンスのニューロンは、以前のself /自分自身（そしておそらく他のカップル）。

完全に接続されていることが本当に必要ですか？ストレージと実行時間を大幅に節約でき、必要がない場合はさらに「ルックバック」できるようです。

これが私の質問の図です...

これは、反復する非表示レイヤー間の「シナプス」の「W ^ hh」行列に対角線（または対角線に近い）要素のみを保持してもよいかどうかを尋ねることに相当すると思います。私はこれを実行中のRNNコード（Andrew Traskの2進加算のデモに基づく）を使用して実行しました-つまり、すべての非対角項をゼロに設定しました-ひどく実行されましたが、対角線に近い項、つまりバンド線形システム3要素幅-完全に接続されたバージョンと同じように機能するように見えました。入力と非表示レイヤーのサイズを増やしたときでも...運が良かったのでしょうか？

私はLai Wan Chanの論文を見つけました。彼は、線形活性化関数の場合、ネットワークを「ヨルダンの標準形式」（つまり、対角要素と近くの要素）に縮小することが常に可能であることを示しています。しかし、そのような証明はシグモイドやその他の非線形活性化には利用できないようです。

また、「部分的に接続された」RNNへの参照は、2003年頃にほとんど姿を消しているように見え、過去数年間に読んだ処理はすべて完全に接続されていると想定しているようです。それで...それはなぜですか？

理由の1つは、数学的な都合によるものかもしれません。バニラリカレントニューラルネットワーク（Elman-type）は、次のように定式化できます。

$\vec{h}_t = f(\vec{x}_t, \vec{h}_{t-1})$$f(\cdot)$$\sigma(W\vec{x}_t + U\vec{h}_{t-1})$

$U$

$W$$U$

高速ウォルシュアダマール変換と同様の方法で配置すると、2つの入力ニューロンを使用できます。したがって、アウトオブプレースアルゴリズムは、一度に2つの要素を順番に入力ベクトルにステップ実行することです。要素の各ペアに2つの2入力ニューロンを作用させます。最初のニューロンの出力を新しいベクトル配列の下半分に順番に配置し、2番目のニューロンの出力を新しいベクトル配列の上半分に順番に配置します。入力として新しいベクトル配列を使用して繰り返します。log_base_2（n）が繰り返された後、入力要素の1つで変更が行われると、すべての出力が変更される可能性があります。あなたができる最善の方法はどれですか。nは、2の正の整数乗でなければなりません。