タグ付けされた質問 「neural-networks」

このゲームにはまだエンジンがないため、現在カードゲームをプレイするためのエンジンを作成しています。 後でゲームにニューラルネットを導入して、ゲームのプレイ方法を習得してもらいたいと思っています。 私はAIプレイヤーにとって役立つような方法でエンジンを書いています。選択ポイントがあり、それらのポイントで、有効なオプションのリストが表示されます。ランダム選択でゲームをプレイできます（ただし、うまくいきません）。 ニューラルネットワーク（主にNEATとHyperNEAT）について多くを学び、独自の実装を構築しました。これらのタイプのゲームの1つですべての変数を考慮に入れることができるAIをどのように作成するのが最善かわからない。一般的なアプローチはありますか？KeldonがRftG向けに優れたAIを書いたことは知っていますが、かなり複雑で、彼がどのようにしてこのようなAIを構築できたかはわかりません。 何かアドバイス？実現可能ですか？この良い例はありますか？入力はどのようにマッピングされましたか？ 編集：私はオンラインで調べて、ニューラルネットワークがどのように機能するか、そして通常それらが画像認識や単純なエージェントの操作にどのように関係するかを学びました。複雑な相乗効果を持つカードでの選択にそれを適用するかどうか、またはどのように適用するかわかりません。私が調査しなければならない方向へのどんな方向でも大歓迎です。 ゲームについて：ゲームはMagic：The Gatheringに似ています。健康と能力を持つ指揮官がいます。プレイヤーはボードにミニオンとスペルを置くために使用するエネルギープールを持っています。ミニオンにはヘルス、攻撃値、コストなどがあります。カードにも能力があります。これらは簡単に列挙できません。カードは手札からプレイされ、新しいカードはデッキから引き出されます。これらはすべて、ニューラルネットワークで検討するのに役立つ側面です。

10 neural-networks  machine-learning  gaming  neat 

私はニューラルネットワークの実験を開始したかったし、おもちゃの問題として、チャットするようにトレーニングしたかった、つまりcleverbotのようなチャットボットを実装したかった。とにかくそんなに賢くない。 ドキュメントを探してみたところ、一般的なタスクに関する多くのチュートリアルが見つかりましたが、この特定のトピックについてはほとんど見つかりませんでした。私が見つけたものは、実装について洞察を与えることなく結果を公開しただけです。実行したものは、かなり浅いものでした（seq2seqのテンソルフローのドキュメントページには、imhoが不足しています）。 さて、おおむね原理は理解できたと思うのですが、どうすればいいのかよくわかりません。したがって、私は問題にどのように取り組むかを説明し、この解決策についてのフィードバックを希望します。どこが間違っているのか、そしてプロセスに関する詳細な説明と実用的な知識へのリンクがあるかもしれません。 タスクに使用するデータセットは、私のすべてのFacebookとwhatsappのチャット履歴のダンプです。どれくらいの大きさかはわかりませんが、それでも十分な大きさではありません。ターゲット言語は英語ではないため、意味のある会話サンプルをどこにすばやく収集できるかわかりません。 各文から思考ベクトルを生成します。それでも実際にはどうなのかわからない。deeplearning4jのウェブサイトでword2vecの良い例を見つけましたが、文の例はありません。単語ベクトルがどのように構築されるのか、またその理由は理解できましたが、文ベクトルの完全な説明は見つかりませんでした。 入力と出力として思考ベクトルを使用して、ニューラルネットワークをトレーニングします。いくつのレイヤーが必要か、どのレイヤーがlstmレイヤーでなければならないかはわかりません。 次に、思考ベクトルを文を構成する文字のシーケンスに変換できる別のニューラルネットワークが必要です。異なる文の長さを補うにはパディングを使用する必要があると読みましたが、文字をエンコードする方法がありません（コードポイントで十分ですか？）。

10 neural-networks  chat-bots  recurrent-neural-networks  lstm 

したがって、現在最も一般的に使用されているアクティベーション機能はRe-Luです。だから私はこの質問に答えましたニューラルネットワークの活性化機能の目的は何ですか？そして、答えを書いている間、それは私を驚かせましたが、Re-Luの近似の非線形関数はどのくらい正確にできますか 純粋な数学的定義によれば、確かに、急激な曲がりによる非線形関数ですが、x軸の正または負の部分のみに限定すると、それらの領域では線形になります。また、x軸全体を取り0 --> 90、シグモイドで可能なように単一ノードの非表示レイヤーで正弦波（）のような曲線関数を十分に近似できないという意味で、（厳密な数学的な意味ではなく）その線形も考えますアクティベーション機能。 では、NNでRe-Luが使用されていて、線形であるにもかかわらず、満足のいくパフォーマンスを提供している（私はRe-luの目的を尋ねていません）の背後にある直感は何ですか？または、シグモイドやtanhのような非線形関数がネットワークの途中でスローされることがありますか？ 編集：@Ekaのコメントに従って、Re-Luはその能力をニューラルネットの深い層で機能する不連続性から導き出します。これは、Re-Luが、浅いNNではなく、Deep NNで使用する限り、良いことを意味しますか？

10 neural-networks  machine-learning 

現在、私は五目並べゲームをプレイするためのAIを作成することを目的としたプロジェクトを行っています（これはtic tac toeに似ていますが、15 * 15のボードでプレイし、勝つためには5つ続けて必要です）。私はすでにQラーニングを使用してゲームの状態/アクションをテーブルに保存して、完全な三目並べAIを正常に実装しましたが、15 * 15ボードの場合、ゲーム状態が大きくなりすぎて、このプロジェクトを実装できません。 私の質問は、この問題にはニューラルネットワークまたは遺伝的アルゴリズムを使用する必要があるかということです。より具体的には、これをどのように実装すればよいですか？

9 neural-networks  machine-learning  genetic-algorithms  combinatorial-games 

一般的なコンシューマーグレードのGPUでトレーニング可能なニューラルネットワークのサイズについて、経験則を見積もることはできますか？例えば： 歩行（強化）の出現紙は、ニューロンのTANH活性化を使用してネットワークを訓練します。彼らは、プレーナーウォーカー用の300,200,100ユニットの3層NNを持っています。しかし、彼らはハードウェアと時間を報告していません... しかし、経験則を開発できるでしょうか？また、現在の経験的結果に基づいているため、たとえば次のようになります。 シグモイドアクティベーションを使用するXユニットは、1060で1時間あたりY回の学習反復を実行できます。 または、bの代わりにアクティベーション関数aを使用すると、パフォーマンスが一時的に低下します。 学生/研究者/好奇心がこれらのネットワークで遊ぶためのGPUを購入しようとしている場合、どのように取得するかをどのように決定しますか？1060は明らかにエントリーレベルの予算オプションですが、高出力デスクトップを構築する代わりに安っぽいネットブックを入手して節約した$をオンデマンドクラウドインフラストラクチャに費やすことが賢くないかどうかをどのように評価できますか。 質問の動機：私は1060を購入したばかりで、（賢明なことですが、後で質問するために）$を保持してGoogle Cloudアカウントを作成すればよかったのではないかと思いました。GPUで修士論文シミュレーションを実行できるかどうか。

9 neural-networks 

私はヒントンの新しい論文「カプセル間の動的ルーティング」を読んでいて、要約で「活動ベクトル」という用語を理解していませんでした。 カプセルはニューロンのグループであり、その活動ベクトルは、オブジェクトやオブジェクトパーツなど、特定のタイプのエンティティのインスタンス化パラメータを表します。アクティビティーベクトルの長さを使用して、エンティティが存在する確率とインスタンス化パラメーターを表すその向きを表します。1つのレベルのアクティブカプセルは、変換マトリックスを介して、より高レベルのカプセルのインスタンス化パラメーターを予測します。複数の予測が一致すると、より高いレベルのカプセルがアクティブになります。差別的に訓練された多層カプセルシステムがMNISTで最先端のパフォーマンスを達成し、非常に重複する桁を認識する際に畳み込みネットよりもかなり優れていることを示します。これらの結果を実現するために、合意によるルーティングの反復メカニズムを使用します。 https://arxiv.org/pdf/1710.09829.pdf ベクトルは、ネットワークを介して実行しているデータの配列のようなものだと思いました。 私はAndrew Ngのディープラーニングコースに取り組み始めましたが、すべてが新しく、用語が頭に浮かびます。

9 neural-networks 

私が言及した複数のリソースは、MSEは凸型であるため優れていると述べました。しかし、特にニューラルネットワークのコンテキストでは、その方法がわかりません。 次のものがあるとします。 バツXX：トレーニングデータセット YYY：ターゲット ΘΘ\Theta：モデルfΘfΘf_\Thetaパラメータのセット Θ（非線形性を持つニューラルネットワークモデル） 次に： MSE（Θ ）= （fΘ（X）− Y）2MSE⁡(Θ)=(fΘ(X)−Y)2\operatorname{MSE}(\Theta) = (f_\Theta(X) - Y)^2 なぜこの損失関数は常に凸型になるのでしょうか？これはに依存しないfΘ（X）fΘ(X)f_\Theta(X)？

9 neural-networks  math  backpropagation  gradient-descent 

ニューラルネットの進化（NEAT）を試してみたいと思います。私は90年代にC ++でいくつかのGAとニューラルネットコードをいじって書きましたが、DIYアプローチは労働集約型であることがわかったので、結局それを落としました。 それ以来、状況は大きく変化しており、興味のある人のために、非常に優れたオープンソースライブラリとツールがたくさんあります。私はさまざまなオープンソースライブラリ（DEAPなど）をグーグル化しましたが、適切なものを選択するのにいくつかの助けを借りることができます... 私はコードの作成に多くの時間を費やして、何が起こっているのか（ニューラルネットの状態、ポピュレーションフィットネス）または最終結果（グラフなど）を視覚化しました。たぶん、これは別のオープンソースライブラリで実行する必要がありますが、視覚化のサポートにより、問題や解決策により多くの時間を費やすことができ、実装の詳細に費やす時間を減らすことができます。 C / C ++、Java、C＃、Python、Javascriptなどを知っています。高級言語と家庭用ハードウェアでの優れたパフォーマンスとの間の適切なトレードオフである何かが良い選択でしょう。 経験のある人が優れたオープンソースライブラリまたはツールセットを提案できますか？

9 neural-networks  genetic-algorithms  neat 

最近ポーカープレーヤーのチャンピオンを破ったマシンはどれほど強力ですか？

9 neural-networks  machine-learning 

私は、ディープニューラルネットワークが比較的簡単にだまされ（リンク）、信頼性の対象から完全に（または少なくとも大部分）除外されている合成/人工画像の認識に高い信頼を与えることができることを読みました。 個人的には、合成/人工画像に高い信頼性を与えるDNNの大きな問題は実際にはないと思いますが、これはカメラが見る可能性がある本当に自然な現象であるため、ホワイトノイズ（リンク）に高い信頼性を与えることは問題になると思います現実世界では。 DNNの実際の使用におけるホワイトノイズの問題はどのくらいですか？プレーンノイズからこのような誤検知を検出できますか？

9 neural-networks  deep-network  image-recognition  convolutional-neural-networks  signal-processing 

機械学習に関するAdam Geitgeyのブログに出会ってからずっと、ニューラルネットワークを理解しようと努めてきました。私はできる限り多くのことを読んで（把握できる）、幅広い概念といくつかの仕組み（数学は非常に弱いにもかかわらず）、ニューロン、シナプス、重み、コスト関数、逆伝播を理解していると信じていますしかし、実際の問題をニューラルネットワークソリューションに変換する方法を理解することはできませんでした。 ポイントのケースは、アダムGeitgeyは、使用例、を含むデータセット所与住宅価格予測システムとして与える寝室の特許、スクエアを。フィート、近隣、および販売価格では、ニューラルネットワークをトレーニングして家の価格を予測できます。ただし、コードで可能なソリューションを実際に実装するまでには至っていません。例として、彼に最も近いのは、重みを実装する方法を示す基本的な関数です。 def estimate_house_sales_price(num_of_bedrooms, sqft, neighborhood): price = 0 # a little pinch of this price += num_of_bedrooms * 1.0 # and a big pinch of that price += sqft * 1.0 # maybe a handful of this price += neighborhood * 1.0 # and finally, just a little …

9 neural-networks  machine-learning 

DeepMindは、彼らのディープQネットワーク（DQN）が49のAtariゲームをプレイすることを学びながら、その動作を継続的に適応させることができたと述べています。 同じニューラルネットですべてのゲームを学習した後、エージェントはそれらをすべて「超人的」レベルで同時にプレイできましたか（ゲームの1つがランダムに提示された場合はいつでも）、切り替えたため、一度に1つのゲームだけが得意でした再学習が必要ですか？

9 neural-networks  deep-learning  deepmind 

計算のための総エネルギーバジェットが人間の脳のエネルギーバジェット（12.6ワット）と同等である場合、どのくらい大きな人工ニューラルネットワークを実行できますか（完全なtrain-backpropサイクルまたはネットワーク出力の評価のみ）。 1秒あたり1サイクルを想定します。これは、生体ニューロンの発火率にほぼ一致すると思われます。

9 neural-networks  human-like 

私はテンソルフローの遊び場をいじり回しています。入力データセットの1つはスパイラルです。どの入力パラメーターを選択しても、ニューラルネットワークをどれほど広く深いものにしても、スパイラルに適合できません。データサイエンティストはこの形状のデータにどのように適合しますか？

9 neural-networks  classification  tensorflow 

私たちは、上で読むことができますWikipediaのページ、Googleが機械学習のためのカスタムASICチップを構築し、AIを加速するのに役立ちますTensorFlowに合わせていること。 ASICチップは、その回路を変更することができない特定の用途に合わせて特別にカスタマイズされているため、呼び出される固定アルゴリズムが必要です。 では、アルゴリズムを変更できない場合、ASICチップを使用したAIの加速はどのように正確に機能するのでしょうか。それのどの部分が正確に加速していますか？

9 neural-networks  machine-learning  hardware  neuromorphic-engineering