違い：レプリケーターニューラルネットワークとオートエンコーダー

私は現在、RNN（Replicator Neural Networks）を使用した外れ値の検出に関する論文を研究していて、オートエンコーダーとの違いは何ですか？RNNは、外れ値/異常検出の聖杯として多くの人にとって踏みにじられているようですが、オートエンコーダーが長い間存在していたため、この考え方はかなり古いようです。

どちらのタイプのネットワークも、何らかの圧縮/解凍メカニズムを介して入力を入力した後、入力を再構築しようとします。外れ値の検出では、入力と出力の間の再構成エラーが測定されます-外れ値は、より高い再構成エラーを持つと予想されます。

主な違いは、入力の圧縮方法です。

プレーンオートエンコーダーは、入力/出力レイヤーよりもニューロンが少ない非表示レイヤーを介して入力を絞り込みます。そのため、ネットワークはデータの圧縮表現を学習する必要があります。

レプリケーターニューラルネットワークは、階段のようなアクティベーション機能を使用する非表示のレイヤーを介してデータを絞り込みます。階段のような活性化関数は、特定の数のクラスター（ニューロンの数とステップ数に応じて）にデータを割り当てることにより、ネットワークにデータを圧縮させます。

セグメント音声認識における外れ値モデリングのためのレプリケーターニューラルネットワークから：

RNNはもともとデータ圧縮の分野で導入されました[5]。ホーキンス等。外れ値モデリングのためにそれを提案しました[4]。どちらの論文でも、5層構造が推奨されており、線形出力層と中間層に特別な階段のような活性化機能があります（図2を参照）。このアクティブ化関数の役割は、中間の隠れ層出力のベクトルをグリッドポイントに量子化し、データポイントをいくつかのクラスターに配置することです。