CNNオートエンコーダーのボトルネックレイヤーに有用な情報が含まれていることをどのように証明できますか?


7

CNNオートエンコーダーを使用して状態表現レイヤーを作成しています。これを後で補強エージェントにフィードします。だから私は私のCNNオートエンコーダーを訓練しました、そしてそれは素晴らしい状態表現を与えています。しかし、私は次の質問があります、

  1. オートエンコーダレイヤーを過剰に適合させることはできますか
  2. オーバーフィットがあると、ボトルネックレイヤーに情報が粗末になりますか?

回答:


7

両方の質問にはい。オートエンコーダーオーバーフィットする可能性あり、これにより、ボトルネックが役に立たない情報(すでに保存されている有用な情報に加えて)を保存する原因になります。

これを防ぐいくつかの方法は次のとおりです。

  • より大きなデータセットを見つけるか、現在のデータを増やします。
  • 入力にノイズを追加します(ノイズ除去オートエンコーダーを参照)。
  • 正則化(例:早期停止、スパース性の制約

確認する方法はありますか?私の自動エンコーダは、シミュレータ内の画像で表される状態のみを使用できます。どちらが屋内シナリオですか?したがって、州間にパターンはあまりありません。それはそれがキッチンですそれはキッチンに似たものを持っています 補助損失を伴うトレーニングは、過剰適合を取り除くのに役立ちますか?
Shamane Siriwardhana '20 / 09/20

また、「すでに格納されている有用な情報の横にある」とはどういう意味ですか?これは、ボトルネックを再構築することで、有用な情報が正しく保持されることを意味します。オーバーフィットにもかかわらず
Shamane Siriwardhana '20

2
@ShamaneSiriwardhanaはい、データにラベルを付けている場合、補助損失のある補助出力を使用できます。これにより、オートエンコーダが分類に必要な入力画像の要素を識別しやすくなります。「有用な情報」とは、オートエンコーダーが抽出してボトルネックレイヤーに保存した有用な関係を意味します。これらに加えて、
オートエンコーダー
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.