オートエンコーダーは距離を維持しますか？

私の理解に基づいて、オートエンコーダを使用して、重要な基本情報を含む入力機能のコンパクトな表現を見つけます。

元の入力空間のL2距離と縮小（コンパクト）空間の間に関係はありますか？そうでない場合、コンパクトな表現が変換後の距離を維持するようにネットワークをトレーニングできますか？

いいえ、ありません。基本的に距離を保てないように設計しています。オートエンコーダは、「意味のある」機能を維持しながら、入力の「意味のある」表現を学習するニューラルネットワークです。引用された単語（ディープラーニングペーパーの多くの用語のように）には厳密な定義はありませんが、一連の入力でトレーニングされたオートエンコーダは、これらの入力のいくつかの一般的な機能を学習して、目に見えない入力を小さなエラー¹。

オートエンコーダーが入力と出力（再構成された入力）の差を最小限に抑える最も簡単な方法は、入力を出力することです。つまり、アイソメトリーである恒等関数を学習することで、距離を保持します。ただし、オートエンコーダがアイデンティティマップを単に学習することは望ましくありません。それ以外の場合は、「意味のある」表現を学習しないためです。つまり、より基本的には、その基本を学習して入力を「圧縮」することを学習しません。セマンティックな機能と細かい詳細（ノイズ、オートエンコーダのノイズ除去の場合）を「捨てる」。

オートエンコーダーが恒等変換を学習し、それが入力を強制的に圧縮するのを防ぐために、オートエンコーダーの非表示レイヤー（ボトルネックレイヤー）のユニット数を減らします。言い換えれば、非線形次元削減の形式を学習するように強制します。線形次元削減のためのよく知られた統計的手順である線形オートエンコーダとPCAの間には深いつながりがあります。

ただし、これにはコストがかかります。オートエンコーダーにある種の非線形次元削減を強制することにより、距離が維持されないようにします。実際、場合、2つのユークリッド空間と間にアイソメトリがない、つまり距離を維持する変換がないことを証明できます（これは暗黙的に証明されます）で別のステートメントのこの証明）。言い換えると、次元を削減する変換は、アイソメにはなり得ません。これは実際には非常に直感的です。オートエンコーダが高次元のベクトル空間要素を、以下に埋め込まれた低次元の多様体要素にマッピングすることを学習する必要がある場合$\mathbb{E}^n$$\mathbb{E}^m$$m < n$$V$$M$$V$、それが「犠牲」にあるいくつかの方向に持っていますのみこれらの方向に沿って異なる2つのベクトルが同じ要素にマッピングされることを意味し、。したがって、それらの距離（最初はゼロ以外）は保持されません（0になります）。$V$$M$

注：それがのマッピングを学習することが可能であることができる有限の要素の集合、要素の有限集合へのでは、ペアワイズ距離が保存されます。これは、多次元スケーリングが試みていることです。ただし、距離を維持しながら、すべての要素を低次元空間の要素にマッピングすることは不可能です。$V$ $S=\{v_1,\dots,v_n\}$$O=\{w_1,\dots,w_n\}\in M$$V$$W$

_{私の好きなオートエンコーダのバリエーションであるVariational Autoencoderを参照すると、}¹ _{つ複雑になりますが、ここではそれらに焦点を当てません。}

あなたはあなたが好きな損失関数でネットワークを訓練することができます。したがって、アプローチ1では、ネットワークをプッシュする損失関数を作成して、出力のミニバッチ内のペア間の距離が入力内のペア間の距離と等しくなるようにします。ミニバッチベースで実行し、バッチサイズが16または32である場合、それは実行不可能ではないようです。または、いくつかのペアをサンプリングして、それらの損失を計算することもできます（たとえば、ランダムにサンプリングされた各ミニバッチのペアの数と同じ数）。

距離を維持することが保証されている非線形ネットワークを作成する限り、アプローチ2、1つのアプローチは、回転などの距離を維持するブロックからネットワークを構築することだと思います。このネットワークが線形変換以外のものである可能性があるかどうかはわかりません。シグモイドつぶしなどの非線形性は、距離を変形させます。

距離1が常に維持される保証はなく、アプローチ1はうまく機能すると思います。正確に維持されるわけではありません。2番目のアプローチは、単一の回転変換に制限されると直感的に聞こえますか？

編集：明確にします。「オートエンコーダーで距離を維持する方法を教えてください」という質問に答えています。「オートエンコーダーは距離を維持しますか？」に私が与えている暗黙の答えは？これはデフォルトではありません。ただし、これが当てはまるように一連の脚注を行うこともできます。つまり、上記のアプローチ1です。

編集2：@DeltaIVは次元削減について良い点を持っています。t-SNEなどの存在、つまり高次元空間の低次元投影は、距離を維持しようとすることの両方の制限を示していることに注意してください（グローバル距離とローカル距離の競合、縮小次元で距離を維持する課題）。しかし、特定の警告/妥協を考えると、それはある程度可能であるとも言えます。