オートエンコーダーを教師あり学習に使用できますか?


9

出力層を追加せずに、自動エンコーダを教師あり学習に使用できますか?トレーニングのために連結された入出力ベクトルを単純にフィードして、推論を行うときに入力部分から出力部分を再構築できますか?出力部分は、推論中に欠損値として扱われ、補完が適用されます。


よくわかりません。入出力ベクトルを使用してトレーニングする場合は、ネットワークにフィードするための推論を行うときに出力ベクトルも必要になります。どうするつもり?
Didam I

いいえ、それらは欠損値として扱われ、何らかの方法で帰属されます。その後、オートエンコーダーはそれを再構築しようとします(複数の反復が必要になる場合があります)。問題は、まさにこのアイデアの実現可能性についてです。明確にするために編集します。
rcpinto

回答:


2

私が知っていて実装したそのような論文の1つは、ラダーネットワークを使用した半教師あり学習です。ここで、モデルの説明を引用します。

私たちのアプローチは、モデルのすべてのレベルで表現をノイズ除去することを補助タスクとするラダーネットワークを提案したValpola(2015)に従います。モデル構造は、エンコーダーからデコーダーへのスキップ接続を備えたオートエンコーダーであり、学習タスクはノイズ除去オートエンコーダーの場合と同様ですが、入力だけでなくすべてのレイヤーに適用されます。スキップ接続を使用すると、デコーダーがエンコーダーによって破棄された詳細を回復できるため、モデルの上位層で詳細を表すというプレッシャーが軽減されます。

アーキテクチャの詳細な説明については、Yoshua Bengioによる「Deconstructing the Ladder Network Architecture」を参照してください。


1

私はあなたが正しく理解していればそのようなシステムについての論文を読んだことを思い出しますが、現時点ではタイトルを思い出せません。

アイデアは、文字ベースの生成RNNを使用し、「datadatadatadata | answer」のようにエンコードされたシーケンスでそれらをトレーニングし、次に「otherdatadata |」でフィードすることでした。その後、何らかの期待される答えが生成され続けます。

しかし、私が覚えている限り、監視された何かを行うためのデータがあれば、従来の方法でより良い結果が得られるので、それは単なるきちんとした説明でした。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.