オートエンコーダニューラルネットワークの起源は何ですか？

Google、Wikipedia、Google scholarなどで検索しましたが、オートエンコーダーの起源を見つけることができませんでした。おそらく、それは非常に徐々に進化した概念の1つであり、明確な出発点をさかのぼることはできませんが、それでも開発の主なステップの何らかの要約を見つけたいと思います。

オートエンコーダについての章イアン・グッドフェロー、ヨシュア・ベンジオとアーロンCourvilleの深い学習帳には言います：

オートエンコーダーのアイデアは、数十年にわたりニューラルネットワークの歴史的景観の一部でした（LeCun、1987; Bourlard and Kamp、1988; Hinton and Zemel、1994）。従来、次元の削減または機能の学習にはオートエンコーダーが使用されていました。

パスカルビンセントによるこのプレゼンテーションは次のように述べています。

実際には、古典的なオートエンコーダーを使用したノイズ除去は、ホップフィールドネットワーク（Hopfield、1982）に代わるものとして、はるか以前に導入されました（LeCun、1987; Gallinari et al。、1987）。

これは、その前に「古典的なオートエンコーダー」が存在していたことを暗示しているようです。LeCunとGallinariはそれらを使用しましたが、発明しませんでした。1987年以前の「クラシックオートエンコーダー」の痕跡は見当たりません。

何か案は？

Schmidhuberの「ニューラルネットワークでの深層学習：概要」ニューラルネットワーク（2015）で提供された歴史によると、自動エンコーダーはBallardでの教師なし事前トレーニングの方法として提案されました、「ニューラルネットワークでのモジュラー学習」、Proceedings AAAI（1987）。ただし、オートエンコーダが初めて使用されたのかどうかは明らかではありません。ANNを事前トレーニングする目的で使用されたのは初めてです。

Schmidhuberの記事の紹介から明らかなように、ANNで使用されているすべてのアイデアを帰属させることは、文献が多様であり、用語が時間とともに進化しているため、いくぶん困難です。

以下の論文は、間接的にオートエンコーダーについて語っており、1986年にさかのぼります（1987年にBallardが発表した論文よりも1年早い）

DE Rumelhart、GE Hinton、およびRJ Williams、「エラー伝播による内部表現の学習」。、並列分散処理。Vol 1：基礎。1986年、マサチューセッツ州ケンブリッジのMIT Press。

この論文は基本的に、当時の新しい種類のフィードフォワードネットワークとその数学的形式を説明しています。