タグ付けされた質問 「neural-networks」

ウィキペディアから： ミラーニューロンは、動物が行動するときと、動物が別の動物によって実行される同じ行動を観察するときに発火するニューロンです。 ミラーニューロンは模倣学習に関連しています。これは、現在の現実のAI実装にはない非常に便利な機能です。入出力ニューロンの例（教師あり学習）または報酬（強化学習）から学習する代わりに、ミラーニューロンを備えたエージェントは、他のエージェントを単純に観察し、その動きを独自の座標系に変換することで学習できます。計算モデルに関して、この主題に関して私たちは何を持っていますか？

17 neural-networks  models 

これはAIのクローズドベータ版であり、この質問はユーザー番号47によって投稿されています。 ウィキペディアによると、 ボルツマンマシンは、ホップフィールドネットの確率的で生成的な対応物と見なすことができます。 どちらもビットパターンを学習するようにトレーニングできるリカレントニューラルネットワークです。次に、部分的なパターンが提示されると、ネットは完全な完全なパターンを取得します。 ホップフィールドネットワークの容量は0.138であることが証明されています（たとえば、約138ビットのベクトルは、1000ノードごとにストレージから呼び出すことができます、Hertz 1991）。 ボルツマンマシンは確率的であるため、1つの保存されたパターンと別の保存されたパターンのエネルギー差が類似している場合、必ずしも同じパターンを表示するとは限らないというのが私の理解です。しかし、この確率論のために、おそらくより密度の高いパターン保存が可能になりますが、エネルギー差に関して常に「最も近い」パターンを取得できるという保証はありません。これは本当でしょうか？または、Hopfieldネットはより多くのパターンを保存できますか？

17 neural-networks  comparison  recurrent-neural-networks 

私は、Generative Adversarial Networksの理解（Daniel Seitaによるブログ投稿）で提供されているGAN損失関数の理解に苦労しています。 標準的なクロスエントロピー損失では、シグモイド関数を介して実行された出力と、結果のバイナリ分類があります。 シータ州 バツ1バツ1x_1 H（（x1、y1）、D ）= − y1ログD （x1）− （1 − y1）ログ（1 − D （x1））H（（バツ1、y1）、D）=−y1ログ⁡D（バツ1）−（1−y1）ログ⁡（1−D（バツ1）） H((x_1, y_1), D) = -y_1 \log D(x_1) - (1 - y_1) \log (1 - D(x_1)) これは単なる期待のログであり、理にかなっていますが、GAN損失関数で、同じ反復で真の分布からのデータと生成モデルからのデータをどのように処理できますか？

17 neural-networks  machine-learning  deep-learning  loss-functions  generative-adversarial-networks 

楽しみのためだけに、ニューラルネットワークを開発しようとしています。 さて、逆伝播のために2つのテクニックを見ました。 最初のものは、ここと他の多くの場所でも使用されています。 それは何ですか： 各出力ニューロンのエラーを計算します。 それをネットワークに逆伝播します（各内部ニューロンのエラーを計算します）。 次の式で重みを更新します（ここで、重みの変化、学習速度、シナプスから入力を受信し、シナプスで送信される出力であるニューロンのエラー）。 データセットの各エントリに対して、必要な回数だけ繰り返します。 ただし、このチュートリアルで提案されているニューラルネットワーク（GitHubでも入手可能）は、異なる手法を使用しています。 エラー関数を使用します（他の方法にはエラー関数がありますが、トレーニングには使用しません）。 重みから開始して最終エラーを計算できる別の関数があります。 （勾配降下による）その関数を最小化します。 さて、どのメソッドを使用する必要がありますか？ 最初の1つが最も使用されていると思います（それを使用して別の例を見ていたため） 特に、私は知りません： （二次関数を使用していないため）局所的最小値の影響を受けにくいですか？ 各重みの変動はその出力ニューロンの出力値の影響を受けるため、データセットのエントリは、出力ニューロンだけでなくニューロンでより高い値を生成するだけで、他のエントリよりも重みに影響しませんか？ 今、私は最初の手法を好むのです。なぜなら、実装がより簡単になり、考えやすくなるからです。 しかし、もしそれが私が言及した問題を持っているなら（そうしないことを望みます）、2番目の方法でそれを使用する実際の理由はありますか？

17 neural-networks  machine-learning  backpropagation 

ニューラルネットワークの活性化関数は非線形性の導入に役立つと言われています。 これは何を意味するのでしょうか？ 何をしない非直線性は、この文脈で意味ですか？ この非線形性の導入はどのように役立ちますか？ アクティベーション機能の他の目的はありますか？

17 neural-networks  deep-learning 

モジュラー/マルチプルニューラルネットワーク（MNN）は、互いにまたは別のより高いネットワークにフィードできる、より小さく独立したネットワークのトレーニングを中心に展開します。 原則として、階層構造により、より複雑な問題空間を理解し、より高い機能性に到達することができますが、これに関して過去に行われた具体的な研究の例を見つけることは難しいようです。いくつかのソースを見つけました： https://en.wikipedia.org/wiki/Modular_neural_network https://www.teco.edu/~albrecht/neuro/html/node32.html https://vtechworks.lib.vt.edu/bitstream/handle/10919/27998/etd.pdf?sequence=1&isAllowed=y 私が持っているいくつかの具体的な質問： MNNの使用に関する最近の研究はありますか？ MNNが大規模な単一ネットよりも優れたパフォーマンスを示しているタスクはありますか？ MNNはマルチモーダル分類に使用できます。つまり、各ネットを根本的に異なるタイプのデータ（テキストと画像）でトレーニングし、すべての出力で動作する高レベルの仲介者にフィードフォワードできますか？ ソフトウェアエンジニアリングの観点から見ると、これらはフォールトトレラントであり、分散システムで簡単に分離できるのではないでしょうか。 Neural Architecture Searchなどのプロセスを使用して、サブネットワークのトポロジを動的に適応させる作業はありますか？ 一般的に、MNNは何らかの形で実用的ですか？ これらの質問が素朴に思えるなら、私は生物学/神経科学の背景からMLともっと広くCSにたどり着き、潜在的な相互作用に魅了されました。 お時間を割いてご意見をお寄せいただきありがとうございます。

16 neural-networks  topology  architecture  neurons  biology 

「ニューラルネットワークは、人間の脳をモデル化するための最良の近似である」と何度も聞いていますが、ニューラルネットワークは脳をモデルにしたものであることがよく知られています。 私はこのモデルが単純化されたと強く疑っていますが、どれくらいですか？ バニラNNは人間の脳について知っているものとどれくらい違いますか？知っていますか？

16 neural-networks  brain  topology 

NNには、nnn隠れ層、訓練例、特徴、および各層のノードが含まれているとします。バックプロパゲーションを使用してこのNNをトレーニングする時間の複雑さは何ですか？mmmxxxninin_i 私はアルゴリズムの時間の複雑さをどのように見つけるかについての基本的なアイデアを持っていますが、ここでは4つの異なる要因、すなわち反復、レイヤー、各レイヤーのノード、トレーニング例、そしてさらに多くの要因があります。ここで答えを見つけましたが、十分に明確ではありませんでした。 上記で述べたものとは別に、NNのトレーニングアルゴリズムの時間の複雑さに影響する他の要因はありますか？

16 neural-networks  machine-learning  backpropagation  time-complexity 

CNNで使用するには2400 x 2400のサイズの10Kイメージが必要であると仮定します。ここでの問題は、ダウンサンプリングの特権がない場合に、このような大きな画像サイズをどのように処理するかです。 システム要件は次のとおりです。 Ubuntu 16.04 64ビットRAM 16 GB GPU 8 GB HDD 500 GB 1）トレーニングされるこのような大きな画像を処理する技術はありますか？ 2）どのバッチサイズを使用するのが合理的ですか？ 3）実行する必要のある予防措置、またはハードウェアリソースの増減はありますか？

15 neural-networks  deep-learning  image-recognition  convolutional-neural-networks 

機械学習エンジニアやAIプログラマーが、C ++は技術的にPythonよりも強力な言語であるにもかかわらず、なぜC ++ではなくPythonなどの言語を使用してAIタスクを実行するのかを知りたいだけです。

15 neural-networks  machine-learning  python  data-science  c++ 

入力としてn個のデータポイントを受け取るニューラルネットワークfff：x 1、… 、x nを考えます。次の場合、fは順列不変であると言います。nnnx1,…,xnx1,…,xnx_1, \dots, x_nfff f(x1...xn)=f(pi(x1...xn))f(x1...xn)=f(pi(x1...xn))f(x_1 ... x_n) = f(pi(x_1 ... x_n)) 任意の順列pipipi。 誰かが順列不変ニューラルネットワークの出発点（記事、例、または他の論文）を推奨できますか？

14 neural-networks  machine-learning  reference-request 

ほとんどの人は、ニューラルネットワークで質問に答えようとしています。しかし、質問に答えるのではなく、ニューラルネットワークに質問をさせる方法について考えている人はいますか？たとえば、CNNがオブジェクトが属するカテゴリを決定できる場合、分類を支援するために何らかの質問をすることができますか？

14 neural-networks  deep-learning 

決定論的な問題空間のために、最適なノードとリンク構造を持つニューラルネットワークを見つける必要があります。遺伝的アルゴリズムを使用して多くのニューラルネットワークをシミュレートし、問題領域に最適なネットワーク構造を見つけたいと思います。 このようなタスクに遺伝的アルゴリズムを使用したことはありません。実際的な考慮事項は何ですか？具体的には、ニューラルネットワークの構造をどのようにゲノムにエンコードする必要がありますか？

14 neural-networks  ai-design  genetic-algorithms  evolutionary-algorithms  neuroevolution 

既に存在するトポロジ（パーセプトロン、コノヘンなど）に適合できないか、それらの存在を単に知らないか、またはそれらの理解ができないニューラルネットワークの問題を解決すると仮定しますメカニックと私は代わりに自分自身に依存しています。 任意の問題のニューラルネットワークのトポロジ（つまり、レイヤーの数、アクティベーションのタイプ、接続のタイプと方向など）の選択を自動化するにはどうすればよいですか？ 私は初心者ですが、いくつかのトポロジ（または少なくともパーセプトロン）では、隠れ層のニューロンが数学的に意味のあるコンテキストを表現しないため、内部のメカニズムを理解することは不可能ではないにしても非常に難しいことに気付きました。

14 neural-networks  topology  neuroevolution 

人間の脳は特定の活性化機能を使用していますか？私はいくつかの研究を試みましたが、信号がニューロンを介して送信されるかどうかの閾値であるため、ReLUによく似ています。ただし、これを確認する記事は1つも見つかりません。または、それはステップ関数のようなものですか（入力値ではなく、しきい値を超える場合は1を送信します）。

13 neural-networks  machine-learning  brain