Deep Mindの作品のどれだけが実際に再現可能ですか？

Deep Mindは過去数年間にディープラーニングに関する多くの作品を発表しており、そのほとんどはそれぞれのタスクに関する最先端の技術です。しかし、この作品のどれだけが実際にAIコミュニティによって再現されたのでしょうか。たとえば、他の研究者によると、Neural Turing Machine紙は再現が非常に難しいようです。

OP rcpintoの提案に基づいて、「Graves氏の業績を引き継いだ約6冊の論文で、優れた成果を生み出した」とのコメントをいくつかのリンクに提供します。これは、Google DeepMind自体ではなく、NTMに関連する質問の一部にのみ回答することに注意してください。さらに、私はまだ機械学習のロープを学習しているため、これらの論文の一部は頭に残っています。私はグレイブスらの元の論文[ 1] の内容の多くをなんとか把握することができました。そして、テストするために自家製のNTMコードを持っているところに近いです。また、少なくともここ数か月で以下の論文を読み飛ばしました。彼らは厳密な科学的方法でNTM研究を再現していませんが、彼らの実験結果の多くは元の研究を少なくとも正接で支持する傾向があります：

• NTMアドレッシングのバリアントバージョンに関するこのペーパーでは、Gulcehereなど。Graves et al。のテストを正確に再現しようとしないでください。ただし、DeepMindチームと同様に、通常の再発LSTMよりも、元のNTMといくつかのバリアントに対して著しく優れた結果を示しています。彼らは、N-grams Graves et al。ではなく、Facebook Q＆Aデータセットの10,000個のトレーニングサンプルを使用しています。彼らの論文で操作されたので、厳密な意味での複製ではありません。ただし、元のNTMのバージョンといくつかのバリアントを稼働させることに成功し、同じくらいのパフォーマンスの向上を記録しました。2

•元のNTMとは異なり、この研究では差別化できない強化学習のバージョンをテストしました。そのため、コントローラーが前進することに限定されていなかった場合を除き、Repeat-Copyなどのプログラミングのような味覚のいくつかを解決できませんでした。それにもかかわらず、彼らの結果は、NTMのアイデアを支持するのに十分なほど良好でした。彼らの論文のより最近の改訂版は明らかに入手可能であり、私はまだ読んでいないので、おそらくそれらの亜種の問題のいくつかは解決されました。３

• このドキュメントでは、LSTMのような通常のニューラルネットに対してNTMの元のフレーバーをテストする代わりに、いくつかのより高度なNTMメモリー構造と比較しました。彼らは、Gravesらと同じタイプのプログラミングのようなタスクで良い結果を得ました。テストされましたが、彼らは同じデータセットを使用していたとは思いません（彼らの研究がどのようなデータセットで動作していたかを書いている方法からは分かりません）。4

•p。この研究の 8つであるNTMは、Omniglot文字認識データセットのいくつかのLSTM、フィードフォワード、および最近傍ベースのスキームを明らかに上回っています。著者が作成した外部メモリへの代替アプローチは明らかにそれを打ち負かしますが、それでも明らかにうまく機能します。著者はGoogleのライバルチームに所属しているようです。そのため、複製可能性を評価するときに問題になる可能性があります。5

•p。2 これらの著者は、トポロジーを動的に成長させる遺伝的NEATアルゴリズムで進化したはるかに小さなNTMネットワークを使用して、コピータスクのテストで「非常に大きなシーケンス」のより良い一般化を得ることを報告しました。6

NTMはかなり新しいので、元の研究を厳密に再現する時間はまだありません。しかし、夏にスキミングした一握りの論文は、彼らの実験結果を裏付けているようです。優れたパフォーマンス以外の報告はまだありません。もちろん、私は不注意なインターネット検索で簡単に見つけることができるpdfのみを読んでいるため、可用性のバイアスがあります。その小さなサンプルから、フォローアップ調査のほとんどは、複製ではなく概念の拡張に焦点が当てられているようであり、複製可能性データの欠如を説明するでしょう。お役に立てば幸いです。

1墓、アレックス; ウェイン、グレッグ、ダニヘルカ、イボ、2014年、「ニューラルチューリングマシン」、2014年12月10日発行。

2ガルシェレ、カグラ; チャンダー、サラス; Choy、Kyunghyun、Bengio、Yoshua、2016年、「ソフトアドレス指定スキームとハードアドレス指定スキームを備えた動的ニューラルチューリングマシン」、2016年6月30日発行。

3 Zaremba、WojciechおよびSutskever、Ilya、2015年、「強化学習ニューラルチューリングマシン」、2015年5月4日発行。

4張; ウェイ; 2015年10月25日に発行された、Yu、YangおよびZhou、Bowen、2015年の「構造化メモリのニューラルチューリングマシン」。

5サントロ、アダム。バルトゥーノフ、セルゲイ; ボットニック、マシュー; Wierstra、DaanおよびLillicrap、ティモシー、2016年、「記憶拡張型ニューラルネットワークによるワンショット学習」、2016年5月19日発行。

6ボルス・グレーベ、ラスムス。Jacobsen、Emil Juul、Sebastian Risi、日付不明、「進化するニューラルチューリングマシン」。掲載されている出版社はありません

（おそらく）Boll Greve et alを除くすべて。コーネル大学図書館arXiv.orgリポジトリで公開されました：イサカ、ニューヨーク。

私はこの質問は境界線であり、近づくかもしれないと思う傾向があります。とりあえず、いくつかのコメント。

wrongx DeepMindのような会社の仕事の再現には（少なくとも）2つの問題があります。

• 出版物に欠けている技術。
• 同じレベルのデータへのアクセス。

専門性は実行可能でなければなりません。一部の人々は、Atariゲーミングスタントの一部を再現しました。AlphaGoはより複雑に見え、より多くの作業が必要になると思われますが、将来のある時点で実現可能になるはずです（個人は今日のコンピューティングリソースを欠いている可能性があります）。

データはより扱いにくい場合があります。複数の企業がデータセットを公開していますが、データも競争の要です...