GAN（生成的敵対ネットワーク）もテキストに対して可能ですか？

GAN-生成的敵対ネットワーク-は画像だけに適していますか、それともテキストにも使用できますか？

同様に、ネットワークをトレーニングして、要約から意味のあるテキストを生成します。

UPD-GANの発明者イアン・グッドフェローからの引用。

GANはNLPに適用されていません。GANは実数値のデータに対してのみ定義されているためです。（2016）ソース

それは根本的に欠陥のあるアイデアではありません。以下の少なくとも1つを実行できるはずです...（2017）source

はい、GANはテキストに使用できます。ただし、GANの動作と、ニューラルネットワークによるテキストの通常の生成方法の組み合わせには問題があります。

• GANは、ジェネレーターとディスクリミネーターの構成を通じて勾配を伝播することで機能します。
• テキストは通常​​、トークン空間に最終ソフトマックスレイヤーを置くことで生成されます。つまり、ネットワークの出力は通常、各トークン（つまり、離散確率ユニット）を生成する確率です。

これらの2つのことは、個別の確率単位を介して勾配を伝播できないため、単独ではうまく機能しません。これに対処するには、主に2つのアプローチがあります。REINFORCE アルゴリズムとGumbel-Softmax再パラメーター化（コンクリート分布とも呼ばれます）です。REINFORCEの分散が大きいことがわかっているため、適切な勾配推定を得るには大量のデータが必要であることを考慮してください。

テキストGANのREINFORCEの例として、SeqGANの記事を確認できます。Gumbel-Softmaxの例については、この記事をご覧ください。

別の完全に異なるオプションは、ジェネレーターの出力として離散確率ユニットを持たないことです（例えば、埋め込み空間で決定論的にトークンを生成します）。

このトピックに関するさらに具体的な研究があります。

訓練されたジェネレーターは、特定のレベルの文法と論理を備えた文を生成できます。

Xuerong Xiao、「生成的敵対者トレーニングを使用したテキスト生成」

この質問はこれに関連しています：https : //linguistics.stackexchange.com/questions/26448/how-to-translate-pelevins-creative-unit-idea-to-a-scientific-problem

はい、GANは個別データにも使用できるようになりました。この直感の最初の例は、Wasserstein GAN（WGAN）が誕生したときに来ました。Ian Goodfellowは、NIPS 2016 Conferenceでこの問題に対する強化学習アプローチを取り上げました。また、この記事では、離散データに関するGANの進歩について説明します。