タグ付けされた質問 「recurrent-neural-networks」

LSTMベースのRNNの隠れ層の数とこれらのサイズを選択する方法に関する既存の研究を見つけようとしています。 この問題を調査している記事、つまり、1つのメモリセルをいくつ使用する必要があるかという記事はありますか？私はそれが完全にアプリケーションとどのコンテキストでモデルが使用されているかに依存すると仮定しますが、研究は何と言っていますか？

28 neural-networks  machine-learning  research  recurrent-neural-networks  lstm 

これはAIのクローズドベータ版であり、この質問はユーザー番号47によって投稿されています。 ウィキペディアによると、 ボルツマンマシンは、ホップフィールドネットの確率的で生成的な対応物と見なすことができます。 どちらもビットパターンを学習するようにトレーニングできるリカレントニューラルネットワークです。次に、部分的なパターンが提示されると、ネットは完全な完全なパターンを取得します。 ホップフィールドネットワークの容量は0.138であることが証明されています（たとえば、約138ビットのベクトルは、1000ノードごとにストレージから呼び出すことができます、Hertz 1991）。 ボルツマンマシンは確率的であるため、1つの保存されたパターンと別の保存されたパターンのエネルギー差が類似している場合、必ずしも同じパターンを表示するとは限らないというのが私の理解です。しかし、この確率論のために、おそらくより密度の高いパターン保存が可能になりますが、エネルギー差に関して常に「最も近い」パターンを取得できるという保証はありません。これは本当でしょうか？または、Hopfieldネットはより多くのパターンを保存できますか？

17 neural-networks  comparison  recurrent-neural-networks 

驚いたことに、これは以前に尋ねられていませんでした-少なくとも私はいくつかの他に何も見つけませんでした 漠然と関連した質問。 それでは、リカレントニューラルネットワークとは何ですか？また、通常のNNを超える利点は何ですか？

12 recurrent-neural-networks 

近い将来、ニューラルネットワークを置き換える可能性のあるモデルはありますか？ そして、それさえ必要ですか？効率の面でニューラルネットワークを使用する上で最悪のことは何ですか？

10 neural-networks  convolutional-neural-networks  recurrent-neural-networks 

私はニューラルネットワークの実験を開始したかったし、おもちゃの問題として、チャットするようにトレーニングしたかった、つまりcleverbotのようなチャットボットを実装したかった。とにかくそんなに賢くない。 ドキュメントを探してみたところ、一般的なタスクに関する多くのチュートリアルが見つかりましたが、この特定のトピックについてはほとんど見つかりませんでした。私が見つけたものは、実装について洞察を与えることなく結果を公開しただけです。実行したものは、かなり浅いものでした（seq2seqのテンソルフローのドキュメントページには、imhoが不足しています）。 さて、おおむね原理は理解できたと思うのですが、どうすればいいのかよくわかりません。したがって、私は問題にどのように取り組むかを説明し、この解決策についてのフィードバックを希望します。どこが間違っているのか、そしてプロセスに関する詳細な説明と実用的な知識へのリンクがあるかもしれません。 タスクに使用するデータセットは、私のすべてのFacebookとwhatsappのチャット履歴のダンプです。どれくらいの大きさかはわかりませんが、それでも十分な大きさではありません。ターゲット言語は英語ではないため、意味のある会話サンプルをどこにすばやく収集できるかわかりません。 各文から思考ベクトルを生成します。それでも実際にはどうなのかわからない。deeplearning4jのウェブサイトでword2vecの良い例を見つけましたが、文の例はありません。単語ベクトルがどのように構築されるのか、またその理由は理解できましたが、文ベクトルの完全な説明は見つかりませんでした。 入力と出力として思考ベクトルを使用して、ニューラルネットワークをトレーニングします。いくつのレイヤーが必要か、どのレイヤーがlstmレイヤーでなければならないかはわかりません。 次に、思考ベクトルを文を構成する文字のシーケンスに変換できる別のニューラルネットワークが必要です。異なる文の長さを補うにはパディングを使用する必要があると読みましたが、文字をエンコードする方法がありません（コードポイントで十分ですか？）。

10 neural-networks  chat-bots  recurrent-neural-networks  lstm 

トランジスタを使用してニューロンとシナプスを実装できる場合、GPUを作成するのと同じ方法を使用して任意の大規模ニューラルネットワークを作成できないのはなぜですか。 本質的に、シーケンシャルプロセッサに実装された非常に優れた仮想ニューラルネットワークがどのように機能するかを見てきました（GPUもシーケンシャルマシンですが、大量のコアがあります）。 GPUの設計原則（基本的には並列に動作する数千のプログラム可能な処理ユニットを備える）を使用すると想像できますが、はるかに単純な「ニューロン処理ユニット」を作成し、数百万または数十億のこれらのNPUを1つの大きなチップに配置できます。それらは（重みを保存するための）独自のメモリを持ち、バスを共有することにより数百の他のニューロンに接続されます。それらは、例えば20Hzの周波数を持つことができ、それにより、他の多くのニューロンとデータバスを共有することができます。 明らかに、ここにはいくつかの電気工学の課題がありますが、すべての大手テクノロジー企業がこのルートを今までに探究しているように思えます。 多くのAI研究者は、超知能が2045年頃に来ると言います。彼らの推論はムーアの法則と、私たちが持っている最速のコンピューターで実行されるソフトウェアに実装できるニューロンの数に基づいていると思います。 しかし、実際には、今日、何十億ものトランジスタを搭載したシリコンチップを製造しています。SPARK M7には100億個のトランジスタがあります。 （プログラム不可能な）ニューロンとそのための数百のシナプスを実装する場合、たとえば100 000のトランジスタが必要であれば、100 000のニューロンをエミュレートするハードウェアでニューラルネットワークを作成できます。 より多くのニューロンが必要な場合に、物理的に大きくできるようにこのようなチップを設計すると、任意の大きなニューラルネットワークは単に予算の問題であるように思えます。 現在の技術を使用して、ハードウェアで任意の大規模ニューラルネットワークを技術的に作成できますか？ 覚えておいてください。そのようなネットワークが実際に非常にインテリジェントになるかどうかは尋ねていません。私がこれを行うためにインテルに支払うことを決定した場合、私が事実上、任意に大きく、高度に相互接続されたニューラルネットワークを作成できるかどうか尋ねているだけですか？ つまり、一部の科学者がソフトウェアで一般的なインテリジェンスを作成できる日に、ハードウェア機能を使用して、この一般的なインテリジェンスを人間のレベル以上に成長させることができます。

9 neural-networks  recurrent-neural-networks  hardware