タグ付けされた質問 「neural-networks」

シンプルなおもちゃのゲームを書いていますが、その上にディープニューラルネットワークをトレーニングするつもりです。ゲームのルールはおおよそ次のとおりです。 ゲームには、六角形のセルで構成されるボードがあります。 両方のプレイヤーは、ボード上で自由に配置することを選択できるピースの同じコレクションを持っています。 互いに位置と構成に応じて、異なるタイプのピースを配置するとポイントが与えられます（または相手のポイントが減ります）。 より多くのポイントを獲得した人が勝ちます。 追加のルール（ターン、ピースの数、タイプなど）がありますが、この質問の文脈では重要ではありません。自分自身と対戦することで繰り返し学習できるディープニューラルネットワークを考案したいと思います。私の質問は、入力と出力の表現についてです。特に： ピースのパターンが重要なので、少なくともいくつかの畳み込み層があると考えていました。ボードはさまざまなサイズにすることができますが、原則として非常に小さいです（テストでは6x10、数個のセルで拡張するため）。それは理にかなっていますか？どのようなプーリングを使用できますか？ 両側を表現するには？で、この論文、外出先について、著者は、2つの入力行列、白の石と黒の石のための1のための1つを使用します。この場合でも機能しますか？しかし、A、B、C、Dなど、さまざまなタイプのピースがあることを思い出してください。2x4の入力行列を使用する必要がありますか？それは非常にまばらで、私にはほとんど効率的ではないようです。たたみ込み層が機能するにはあまりにもまばらになると思います。 出力は、ボードの位置を表すマトリックス上の確率の分布に加えて、プレイするピースを示す確率の別の配列になると考えました。ただし、ターンを渡す能力も表現する必要があります。これは非常に重要です。他の確率の中でその重要性を薄めることなくそれを行うにはどうすればよいですか？ そして最も重要なことは、勝ち手のみを強制するのか、それとも負け手を強制するのか？希望する確率を1に設定しただけなので、勝ちの動きを強制するのは簡単です。その移動確率を0に設定し、他のすべてを同じ値に設定しますか？また、最終的なスコアの差によって動きを強制することは意味がありますが、これはおおよそ確率である出力の意味に反しますか？ また、フレームワークとしてSynapticを使用することを考えてnode.jsでゲームエンジンを開発しましたが、畳み込みネットワークで動作するかどうかはわかりません（ローカルの知覚フィールドに関連付けられた重みを修正する方法があるとは思いません）。ノードと互換性のある他のライブラリに関するアドバイスはありますか？

13 neural-networks  deep-learning  game-ai 

ニューラルネットワーク（フィードフォワード、バックプロパゲーション、RNN）の実装中に作成する最適なレイヤー数を決定する方法

13 neural-networks  hidden-layers 

これらのタイプの質問は問題に依存する可能性がありますが、隠れ層の数とそのサイズ（各層のニューロンの数）が本当に重要かどうかという問題に取り組む研究を見つけようとしました。 私の質問は、たとえば、1000個のニューロンからなる1つの大きな隠れ層と、それぞれ100個のニューロンを持つ10個の隠れ層があるかどうかは本当に重要なのでしょうか？

13 neural-networks 

必要な出力と知っているアクティベーション関数のプロパティに応じて、出力レイヤーのアクティベーション関数を選択します。たとえば、確率を処理する場合はシグモイド関数を選択し、正の値を処理する場合はReLUを選択し、一般的な値を処理する場合は線形関数を選択します。 非表示のレイヤーでは、ReLUではなくリークしたReLUを使用し、シグモイドではなくtanhを回避します。もちろん、私は隠れた単位で線形関数を使用しません。 ただし、非表示層でのそれらの選択は、主に試行錯誤によるものです。 状況によっては、どのアクティベーション機能が適切に機能するかについての経験則はありますか？可能な限り一般的な状況を考えてみましょう。これは、レイヤーの深さ、NNの深さ、そのレイヤーのニューロンの数、選択したオプティマイザー、入力フィーチャの数を指す場合があります。そのレイヤー、このNNのアプリケーションなど で、彼/彼女の答えは、cantordustはELUとSELUのように、私は言及しなかったことを、他の活性化関数を指します。この情報は大歓迎です。ただし、アクティブ化関数が多いほど、非表示のレイヤーで使用する関数の選択に混乱が生じます。そして、コインを投げることがアクティベーション機能を選ぶ良い方法だとは思いません。

13 neural-networks  machine-learning  math  activation-function 

私は生成的敵対的ネットワーク（GAN）について読んでいますが、それに関していくつかの疑問があります。これまでのところ、GANには2つの異なるタイプのニューラルネットワークがあることを理解しています。1つは生成的（GGG）で、もう1つは判別的（DDD）です。生成ニューラルネットワークは、判別ニューラルネットワークが正確性を判断するデータを生成します。GANは、損失関数を両方のネットワークに渡すことで学習します。 判別（DDD）ニューラルネットは、GGGによって生成されたデータが正しいかどうかを最初にどのように知るのですか？最初にDDDを訓練してからGANに追加する必要がありますかGGGますか？ 90％の精度で写真を分類できる、訓練されたDDDネットを考えてみましょう。このDDDネットをGANに追加すると、10％の確率で画像が間違っていると分類されます。このDDDネットでGANをトレーニングすると、画像の分類で同じ10％エラーが発生しますか？はいの場合、GANが有望な結果を示すのはなぜですか？

12 neural-networks  machine-learning  deep-learning  generative-adversarial-networks 

私はニューラルネットワークを初めて使用し、ニューラルネットワークが分類問題で非常に優れている理由を数学的に理解しようとしています。 小さなニューラルネットワーク（たとえば、入力が2つ、非表示層に2つのノード、出力が2つのノード）の例をとると、出力に複雑な関数があり、線形の組み合わせではほとんどシグモイドになります。シグモイドの。 それで、それはどのように彼らが予測を上手くするのですか？最終的な関数は、ある種のカーブフィッティングにつながりますか？

12 neural-networks 

最近の流行の1つは、ニューラルネットワークをトレーニングして、脚本や、フレンズやシンプソンズなどの新しいエピソードを生成することですが、それは問題ありません。興味深いので、実際に生成できるプログラムを作成するために必要な最初のステップになるかもしれません。賢明で理解できるストーリー。 この文脈では、ニューラルネットワークを特別にトレーニングして、ストーリーの構造や脚本を研究し、プロットポイントやヒーローの旅のステップなどを生成して、ストーリーのアウトラインを効率的に作成できますか？ 私には、これはオンラインの無数のプロットポイントジェネレーターとは異なりますが、類似点は認めざるを得ません。テクノロジーや実装がまだそこにあるかどうか、そしてもしそうだとすれば、それをどのように実行するかについて興味があります。

12 neural-networks  deep-learning  applications 

問題は、Deep Residual Networks（ResNets）のアーキテクチャについてです。5つのメイントラックすべてで「大規模視覚認識チャレンジ2015」（ILSVRC2015）で1位を獲得したモデル： ImageNet分類：「超深層」（引用Yann）152層ネット ImageNet検出：2番目より16％優れています ImageNetローカリゼーション：2番目より27％優れています COCO検出：2回目より11％良好 COCOセグメンテーション：2番目より12％優れている 出典： MSRA @ ILSVRC＆COCO 2015コンテスト（プレゼンテーション、2番目のスライド） この作業については、次の記事で説明しています。 画像認識のためのディープ残差学習（2015、PDF） マイクロソフトリサーチチーム（ResNetの開発者：Kaiming He、Xiangyu Zhang、Shaoqing Ren、Jian Sun）の記事： 「深い残余ネットワークにおけるアイデンティティマッピング（2016）」 深度が重要な役割を果たすことを述べる： 「私たちはこれらの結果を、シンプルですが本質的なコンセプトによって取得します—より深くします。これらの結果は、奥行きの限界を押し広げる可能性を示しています。」 それは彼らのプレゼンテーションでも強調されています（より深い-より良い）： -「モデルが深いほど、トレーニングエラーが大きくなることはありません。」 -「より深いResNetの方がトレーニングエラーが少なく、テストエラーも少ない。」 -「より深いResNetの方がエラーが少ない。」 -「すべてがより深い機能からより多くの利益を得る–累積的な利益！」 -「より深い方が良い」 以下は、34層残差の構造です（参照用）。 しかし、最近私は、それらが指数アンサンブルであることを示す残差ネットワークの新しい解釈を導入する1つの理論を発見しました。 残余ネットワークは、比較的浅いネットワークの指数関数的集合です（2016） ディープレスネットは、さまざまな深度で出力がプールされる多くの浅いネットワークとして説明されています。記事に画像があります。説明付きで添付します： 残余ネットワークは従来、式（1）の自然な表現である（a）として示されます。この定式化を方程式（6）に展開すると、3ブロックの残差ネットワーク（b）の解明されたビューが得られます。このビューから、残差ネットワークには入力と出力を接続するO（2 ^ n）暗黙パスがあり、ブロックを追加するとパスの数が2倍になることは明らかです。 記事の終わりにそれは述べられています： それは深さではなく、残差ネットワークを強くするアンサンブルです。残りのネットワークは、ネットワークの深さではなく、ネットワークの多重度の限界を押し上げます。我々の提案された解明された見解と病変研究は、残余ネットワークが指数関数的に多くのネットワークの潜在的なアンサンブルであることを示しています。勾配に寄与するパスのほとんどがネットワークの全体的な深さに比べて非常に短い場合、深さの増加 だけでは、残余ネットワークの主要な特徴にはなりません。パスの数に関するネットワークの表現可能性である多重度が重要な役割を果たすと私たちは今考えています。 しかし、それは確認または反駁できる最近の理論にすぎません。一部の理論が反駁され、記事が取り下げられることが時々起こります。 結局、深いResNetをアンサンブルと考える必要がありますか？アンサンブルまたは深度により、残存ネットワークが非常に強くなりますか？開発者自身でさえ、自分のモデルが何を表しているのか、そしてその中の主要な概念は何であるかをまったく認識していない可能性はありますか？

12 neural-networks  machine-learning  deep-network  deep-learning  pattern-recognition 

私はNLPの新しい学習者です。文章生成タスクに興味があります。私に関する限り、最先端の方法の1つは、RNNを使用して一連の単語を生成するCharRNNです。 ただし、BERTは数週間前にリリースされ、非常に強力です。したがって、この作業をBERTの助けを借りて実行できるかどうか疑問に思っています。私はこの分野の新しい学習者です。アドバイスをありがとう！

12 neural-networks  deep-learning  natural-language-processing 

セグメンテーションタスクの入力として異なる次元の画像を使用するという問題に直面しています。画像のアスペクト比は同じではないことに注意してください。 ここでも提案されているように、一般的にディープラーニングで見つけた1つの一般的なアプローチは、画像をトリミングすることです。しかし、私の場合、セグメンテーションでは出力を入力と同じ次元にする必要があるため、画像をトリミングしてその中心または類似のものを維持することはできません。 このペーパーでは、セグメンテーションタスクで、同じ画像をネットワークに複数回フィードできますが、スケールは異なり、結果を集約できることを示しています。このアプローチを正しく理解した場合、すべての入力画像のアスペクト比が同じである場合にのみ機能します。私が間違っていたら訂正してください。 別の代替案は、各画像のサイズを固定サイズに変更することです。これもこの質問への回答で提案されたと思います。ただし、画像のサイズ変更方法は指定されていません。 情報の損失を避けるために、データセットの最大の幅と高さを取り、すべての画像をその固定サイズにサイズ変更することを検討しました。ただし、画像のエッジがはっきりしない場合があるため、画像が歪んでいる場合、ネットワークに問題が発生する可能性があると思います。ネットワークに送る前に画像のサイズを変更する最良の方法は何ですか？ 異なる次元の画像を使用する問題を解決するために、私が知らない他のオプションはありますか？ また、計算の複雑さだけでなく、ネットワークによってパフォーマンスが低下する可能性を考慮に入れて、これらのアプローチのどれが最善であると思いますか？ 私の質問への回答に、もしあればソースへのリンクが含まれていれば幸いです。ありがとうございました。

12 neural-networks  convolutional-neural-networks  datasets 

次のニューラルネットワークのチートシート（AI、ニューラルネットワーク、機械学習、ディープラーニング、ビッグデータのチートシート）を見つけました。 これらのさまざまな種類のニューラルネットワークは何に使用されますか？たとえば、回帰や分類に使用できるニューラルネットワーク、シーケンスの生成などに使用できるニューラルネットワークはどれですか。アプリケーションの概要（1〜2行）が必要です。

11 neural-networks  machine-learning  deep-learning  applications 

私はセルラーニューラルネットワークを研究しており、すでにチュアの2つの記事（1988）を読んでいます。セルラーニューラルネットワークでは、セルはその隣接セルとのみ関係しています。そのため、リアルタイムの画像処理に簡単に使用できます。画像処理は、19個の数値（AおよびBと呼ばれる2つの3x3マトリックスと1つのバイアス値）で実行されます。 学習アルゴリズムがないので、セルラーニューラルネットワークをニューラルネットワークと呼べるかもしれません。彼らはどちらもある教師も教師なし。

11 neural-networks  terminology  theory 

調査中、私は「複雑な値のニューラルネットワーク」に出会いました。これは、複雑な値の入力（おそらく重みも）で機能するニューラルネットワークです。この種類のニューラルネットワークの、実数値のニューラルネットワークと比較した場合の利点（または単にアプリケーション）は何ですか？

11 neural-networks 

畳み込みニューラルネットワークでは、どのレイヤーがトレーニングで最大の時間を消費しますか？畳み込みレイヤーまたは完全に接続されたレイヤー？これを理解するには、AlexNetアーキテクチャを使用できます。研修過程の時間分解を見てみたい。相対的な時間の比較が欲しいので、一定のGPU構成をとることができます。

11 neural-networks  deep-learning  convolutional-neural-networks 

最近、特定のリソースに対する支出のコスト分析を行う問題に取り組んでいました。私は通常、分析からいくつかの手動の決定を行い、それに応じて計画します。 私は、さまざまな時間枠とタイプ（他のさまざまな詳細な用途）でのリソースの使用を定義する、Excel形式の数百の列を持つビッグデータセットを持っています。また、過去4年間のデータと、それに応じて発生した実際のリソース使用量とコストに関する情報も持っています。 NNをトレーニングして事前にコストを予測し、手動でコスト分析を行う前に計画を立てることを望んでいました。 しかし、私が直面している最大の問題は、そのような分析のための機能を特定する必要があることです。データセットから特徴を特定する方法があることを望んでいました。 PS-私はPCAと他のいくつかの機能セット削減手法について考えがあります。私が見ているのは、そもそもそれらを識別する方法です。

11 neural-networks  machine-learning  datasets  feature-selection