タグ付けされた質問 「deep-learning」

たとえば、メールをスパムとして分類する場合、時間/精度の観点から、別の機械学習アルゴリズムの代わりにディープラーニング（可能であれば）を適用することは価値がありますか？ディープラーニングは、単純ベイズのような他の機械学習アルゴリズムを不要にしますか？

14 machine-learning  deep-learning  classification  applications  comparison 

シンプルなおもちゃのゲームを書いていますが、その上にディープニューラルネットワークをトレーニングするつもりです。ゲームのルールはおおよそ次のとおりです。 ゲームには、六角形のセルで構成されるボードがあります。 両方のプレイヤーは、ボード上で自由に配置することを選択できるピースの同じコレクションを持っています。 互いに位置と構成に応じて、異なるタイプのピースを配置するとポイントが与えられます（または相手のポイントが減ります）。 より多くのポイントを獲得した人が勝ちます。 追加のルール（ターン、ピースの数、タイプなど）がありますが、この質問の文脈では重要ではありません。自分自身と対戦することで繰り返し学習できるディープニューラルネットワークを考案したいと思います。私の質問は、入力と出力の表現についてです。特に： ピースのパターンが重要なので、少なくともいくつかの畳み込み層があると考えていました。ボードはさまざまなサイズにすることができますが、原則として非常に小さいです（テストでは6x10、数個のセルで拡張するため）。それは理にかなっていますか？どのようなプーリングを使用できますか？ 両側を表現するには？で、この論文、外出先について、著者は、2つの入力行列、白の石と黒の石のための1のための1つを使用します。この場合でも機能しますか？しかし、A、B、C、Dなど、さまざまなタイプのピースがあることを思い出してください。2x4の入力行列を使用する必要がありますか？それは非常にまばらで、私にはほとんど効率的ではないようです。たたみ込み層が機能するにはあまりにもまばらになると思います。 出力は、ボードの位置を表すマトリックス上の確率の分布に加えて、プレイするピースを示す確率の別の配列になると考えました。ただし、ターンを渡す能力も表現する必要があります。これは非常に重要です。他の確率の中でその重要性を薄めることなくそれを行うにはどうすればよいですか？ そして最も重要なことは、勝ち手のみを強制するのか、それとも負け手を強制するのか？希望する確率を1に設定しただけなので、勝ちの動きを強制するのは簡単です。その移動確率を0に設定し、他のすべてを同じ値に設定しますか？また、最終的なスコアの差によって動きを強制することは意味がありますが、これはおおよそ確率である出力の意味に反しますか？ また、フレームワークとしてSynapticを使用することを考えてnode.jsでゲームエンジンを開発しましたが、畳み込みネットワークで動作するかどうかはわかりません（ローカルの知覚フィールドに関連付けられた重みを修正する方法があるとは思いません）。ノードと互換性のある他のライブラリに関するアドバイスはありますか？

13 neural-networks  deep-learning  game-ai 

概念とは何ですか？ボトルネック値をどのように計算しますか？これらの値は画像の分類にどのように役立ちますか？簡単な言葉で説明してください。

13 deep-learning  tensorflow  terminology 

私は生成的敵対的ネットワーク（GAN）について読んでいますが、それに関していくつかの疑問があります。これまでのところ、GANには2つの異なるタイプのニューラルネットワークがあることを理解しています。1つは生成的（GGG）で、もう1つは判別的（DDD）です。生成ニューラルネットワークは、判別ニューラルネットワークが正確性を判断するデータを生成します。GANは、損失関数を両方のネットワークに渡すことで学習します。 判別（DDD）ニューラルネットは、GGGによって生成されたデータが正しいかどうかを最初にどのように知るのですか？最初にDDDを訓練してからGANに追加する必要がありますかGGGますか？ 90％の精度で写真を分類できる、訓練されたDDDネットを考えてみましょう。このDDDネットをGANに追加すると、10％の確率で画像が間違っていると分類されます。このDDDネットでGANをトレーニングすると、画像の分類で同じ10％エラーが発生しますか？はいの場合、GANが有望な結果を示すのはなぜですか？

12 neural-networks  machine-learning  deep-learning  generative-adversarial-networks 

Deepmind は、基本的にニューラルネットワークとメモリを組み合わせた「微分可能なニューラルコンピュータ」に関する論文を発表しました。 アイデアは、特定のタスクのために有用な明示的な記憶を作成して呼び出すようにニューラルネットワークに教えることです。これはニューラルネットワークの能力を十分に補完します。NNは重みに暗黙的に知識を保存するだけであり、単一のタスクで動作するために使用される情報はネットワークのアクティベーションにのみ保存され、追加する情報が増えるとすぐに劣化します。（LSTMは、短期記憶のこの低下を遅くしようとする試みの1つですが、それでも起こります。） 現在、アクティベーションで必要な情報を保持する代わりに、アクティベーションで特定の情報のメモリスロットのアドレスを保持しているため、これらも劣化する可能性があります。私の質問は、なぜこのアプローチが拡張されるべきかということです。タスク固有の情報がいくぶん多くても、アクティベーション時に適切なすべてのメモリスロットのアドレスを保持するネットワーク機能が再び圧倒されるべきではないでしょうか。

12 deep-learning  ai-design 

Tensorflowの上に構築された非常に優れたTensorforceライブラリのおかげで、PPOエージェントで強化学習モデルをコーディングしています。 最初のバージョンは非常にシンプルでしたが、今では各ステップですべてのアクションを使用できない、より複雑な環境に飛び込んでいます。 5つのアクションがあり、それらの可用性が内部状態（前のアクションおよび/または新しい状態/観測スペースによって定義される）に依存するとします。 2つのアクション（0と1）は常に利用可能です 2つのアクション（2および3）は、internal_state == 0の場合にのみ使用できます 1つのアクション（4）は、internal_state == 1の場合にのみ使用できます したがって、internal_state == 0の場合は4つのアクションが利用可能であり、internal_state == 1の場合は3つのアクションが利用可能です。 私はそれを実装するいくつかの可能性を考えています： internal_stateに応じて、各ステップでアクションスペースを変更します。これはナンセンスだと思います。 何もしない：使用できないアクションを選択しても影響がないことをモデルに理解させます。 ほとんど何もしない：モデルが利用できないアクションを選択したときに、報酬にわずかにマイナスの影響を与えます。 モデルを支援する：モデルにinternal_state値+箇条書き2または3を通知する整数を状態/監視スペースに組み込む これを実装する他の方法はありますか？あなたの経験から、どれが一番いいですか？

12 deep-learning  reinforcement-learning 

私はJudea PearlのThe Book of Whyを読みました。そこで彼は、ディープラーニングは美化されたカーブフィッティング技術であり、人間のような知性を生み出すことはできないと述べています。 彼の本から、認知能力の3つのレベルを説明するこの図があります： 現在のディープラーニングテクノロジーが生み出す「知性」は、関連性のレベルにしかないと考えています。したがって、AIは「Yをどのようにして実現できるか」（介入）や「私が別の行動をとったとしても、Xは引き続き発生するでしょうか？」（反事実）、そしてカーブフィッティング技術が私たちをより高いレベルの認知能力に近づけることができる可能性はほとんどありません。 私は彼の議論が直感的なレベルで説得力があると思いましたが、私はこの議論を強化するか、疑いを投げかけることができる物理的または数学的な法則を見つけることができません。 それでは、ディープラーニングが強力なAI（人間のような知性）を生成することを妨げる科学的/物理的/化学的/生物学的/数学的な議論はありますか？

12 deep-learning  strong-ai  math  theory  superintelligence 

最近の流行の1つは、ニューラルネットワークをトレーニングして、脚本や、フレンズやシンプソンズなどの新しいエピソードを生成することですが、それは問題ありません。興味深いので、実際に生成できるプログラムを作成するために必要な最初のステップになるかもしれません。賢明で理解できるストーリー。 この文脈では、ニューラルネットワークを特別にトレーニングして、ストーリーの構造や脚本を研究し、プロットポイントやヒーローの旅のステップなどを生成して、ストーリーのアウトラインを効率的に作成できますか？ 私には、これはオンラインの無数のプロットポイントジェネレーターとは異なりますが、類似点は認めざるを得ません。テクノロジーや実装がまだそこにあるかどうか、そしてもしそうだとすれば、それをどのように実行するかについて興味があります。

12 neural-networks  deep-learning  applications 

問題は、Deep Residual Networks（ResNets）のアーキテクチャについてです。5つのメイントラックすべてで「大規模視覚認識チャレンジ2015」（ILSVRC2015）で1位を獲得したモデル： ImageNet分類：「超深層」（引用Yann）152層ネット ImageNet検出：2番目より16％優れています ImageNetローカリゼーション：2番目より27％優れています COCO検出：2回目より11％良好 COCOセグメンテーション：2番目より12％優れている 出典： MSRA @ ILSVRC＆COCO 2015コンテスト（プレゼンテーション、2番目のスライド） この作業については、次の記事で説明しています。 画像認識のためのディープ残差学習（2015、PDF） マイクロソフトリサーチチーム（ResNetの開発者：Kaiming He、Xiangyu Zhang、Shaoqing Ren、Jian Sun）の記事： 「深い残余ネットワークにおけるアイデンティティマッピング（2016）」 深度が重要な役割を果たすことを述べる： 「私たちはこれらの結果を、シンプルですが本質的なコンセプトによって取得します—より深くします。これらの結果は、奥行きの限界を押し広げる可能性を示しています。」 それは彼らのプレゼンテーションでも強調されています（より深い-より良い）： -「モデルが深いほど、トレーニングエラーが大きくなることはありません。」 -「より深いResNetの方がトレーニングエラーが少なく、テストエラーも少ない。」 -「より深いResNetの方がエラーが少ない。」 -「すべてがより深い機能からより多くの利益を得る–累積的な利益！」 -「より深い方が良い」 以下は、34層残差の構造です（参照用）。 しかし、最近私は、それらが指数アンサンブルであることを示す残差ネットワークの新しい解釈を導入する1つの理論を発見しました。 残余ネットワークは、比較的浅いネットワークの指数関数的集合です（2016） ディープレスネットは、さまざまな深度で出力がプールされる多くの浅いネットワークとして説明されています。記事に画像があります。説明付きで添付します： 残余ネットワークは従来、式（1）の自然な表現である（a）として示されます。この定式化を方程式（6）に展開すると、3ブロックの残差ネットワーク（b）の解明されたビューが得られます。このビューから、残差ネットワークには入力と出力を接続するO（2 ^ n）暗黙パスがあり、ブロックを追加するとパスの数が2倍になることは明らかです。 記事の終わりにそれは述べられています： それは深さではなく、残差ネットワークを強くするアンサンブルです。残りのネットワークは、ネットワークの深さではなく、ネットワークの多重度の限界を押し上げます。我々の提案された解明された見解と病変研究は、残余ネットワークが指数関数的に多くのネットワークの潜在的なアンサンブルであることを示しています。勾配に寄与するパスのほとんどがネットワークの全体的な深さに比べて非常に短い場合、深さの増加 だけでは、残余ネットワークの主要な特徴にはなりません。パスの数に関するネットワークの表現可能性である多重度が重要な役割を果たすと私たちは今考えています。 しかし、それは確認または反駁できる最近の理論にすぎません。一部の理論が反駁され、記事が取り下げられることが時々起こります。 結局、深いResNetをアンサンブルと考える必要がありますか？アンサンブルまたは深度により、残存ネットワークが非常に強くなりますか？開発者自身でさえ、自分のモデルが何を表しているのか、そしてその中の主要な概念は何であるかをまったく認識していない可能性はありますか？

12 neural-networks  machine-learning  deep-network  deep-learning  pattern-recognition 

私はNLPの新しい学習者です。文章生成タスクに興味があります。私に関する限り、最先端の方法の1つは、RNNを使用して一連の単語を生成するCharRNNです。 ただし、BERTは数週間前にリリースされ、非常に強力です。したがって、この作業をBERTの助けを借りて実行できるかどうか疑問に思っています。私はこの分野の新しい学習者です。アドバイスをありがとう！

12 neural-networks  deep-learning  natural-language-processing 

次のニューラルネットワークのチートシート（AI、ニューラルネットワーク、機械学習、ディープラーニング、ビッグデータのチートシート）を見つけました。 これらのさまざまな種類のニューラルネットワークは何に使用されますか？たとえば、回帰や分類に使用できるニューラルネットワーク、シーケンスの生成などに使用できるニューラルネットワークはどれですか。アプリケーションの概要（1〜2行）が必要です。

11 neural-networks  machine-learning  deep-learning  applications 

畳み込みニューラルネットワークでは、どのレイヤーがトレーニングで最大の時間を消費しますか？畳み込みレイヤーまたは完全に接続されたレイヤー？これを理解するには、AlexNetアーキテクチャを使用できます。研修過程の時間分解を見てみたい。相対的な時間の比較が欲しいので、一定のGPU構成をとることができます。

11 neural-networks  deep-learning  convolutional-neural-networks 

ディープラーニング（DL）およびディープ（er）ネットワークに関連するすべてのものは「成功」しているように見え、少なくとも非常に速く進行しており、AGIが到達可能であるという信念を育んでいます。これは人気のある想像です。DLは、AGIの作成など、非常に多くの問題に取り組むためのすばらしいツールです。しかし、それだけでは十分ではありません。ツールは必要な要素ですが、多くの場合不十分です。 ドメインの主要人物は、他の場所で進歩を目指しています。このレポート/クレームには、Yoshua Bengio、Yann LeCun、Geoff Hintonの声明へのリンクが集められています。レポートはまた説明します： DLの主な弱点（私がそれらを見ると）は、次のとおりです。最も単純な可能なモデルニューロンへの依存（LeCunがそれらを呼び出すときの「漫画」）。エネルギー関数と対数尤度法の基礎である19世紀の統計力学と統計からのアイデアの使用。バックプロップや確率勾配降下法などの手法でこれらを組み合わせると、適用範囲が非常に限定され（オフライン、ほとんどがバッチ処理、教師あり学習）、高度な才能を持つ実務家（別名「確率的大学院降下」）が必要になり、大量の高価なラベル付きのトレーニングデータと計算能力。才能を誘惑または購入し、無制限のリソースを展開してデータを収集し、それを処理することができる大企業にとっては優れていますが、DLはほとんどの人にとってアクセスも有用でもありません。 このような説明は興味深く関連性がありますが、実際には問題の要点を扱っていません。何が不足していますか？ 質問は広いようですが、それは単純な答えがないためかもしれません。AGIに欠けているDLを特定する方法はありますか？

11 deep-learning  deep-network  agi 

ホップフィールドネットワークは、ベクターを保存し、ノイズの多いバージョンからベクターを取得できます。これらは、すべてのニューロンがベクトル値に等しく設定されている場合にエネルギー関数を最小化するために重みを設定し、そのノイズバージョンを入力として使用してベクトルを取得し、ネットがエネルギー最小値に落ち着くようにします。 ネットが最も近い最小値に落ち着くという保証がないという事実などの問題は残しておきます–問題は最終的にはボルツマンマシンで解決され、最終的には逆伝播で解決されます–ブレークスルーは、それらが抽象的な表現を持つための出発点だったということです。同じドキュメントの2つのバージョンは同じ状態を呼び起こし、ネットワークでは同じ状態で表されます。 ホップフィールド自身が1982年の論文で発表したように、創発的集団計算能力を持つニューラルネットワークと物理システム 現在のモデリングは、エンティティまたはゲシュタルトがその特徴のコレクションを表す入力に基づいてどのように記憶または分類されるかに関連している可能性があります。 一方、ディープラーニングの画期的な進歩は、入力の複数の階層表現を構築する機能であり、最終的にAI開業医の生活を容易にし、機能エンジニアリングを簡素化することにつながりました。（例えば、表現学習：レビューと新しい展望、ベンジオ、クールビル、ビンセントを参照）。 概念的な観点から、私はディープラーニングをホップフィールドネットの一般化と見なすことができると信じています。単一の表現から表現の階層までです。 計算/トポロジーの観点からもそうですか？「単純な」Hopfieldネットワークの状態（2ステートニューロン、無向、エネルギー関数）を考慮しない場合、ネットワークの各層をHopfieldネットワークとして、プロセス全体を以前に記憶されたGestaltの順次抽出、および再編成として見ることができます。これらのゲシュタルト？

11 deep-learning  topology 

Trusted Region Policy Optimization（TRPO）とProximal Policy Optimization（PPO）は、2つの最先端のポリシーグラディエントアルゴリズムです。 単一の連続アクションを使用する場合、通常、損失関数に確率分布（たとえば、ガウス分布）を使用します。大まかなバージョンは次のとおりです。 L （θ ）= ログ（P（a1））A 、L（θ）=ログ⁡（P（a1））あ、L(\theta) = \log(P(a_1)) A, どこああA報酬の利点である、P（a1）P（a1）P(a_1)によって特徴付けられるμμ\muとσ2σ2\sigma^2ここでは振り子の環境にいるかのように、ニューラルネットワークから出てくるもの：https://github.com/leomzhong/DeepReinforcementLearningCourse/blob/69e573cd88faec7e9cf900da8eeef08c57dec0f0/hw4 /main.py。 問題は、ポリシーグラディエントを使用した2+連続アクションに関する論文が見つからないことです（Q関数からグラディエントを転送することで別のアプローチを使用する俳優批評家のメソッドではありません）。 LunarLander環境で2つの連続アクションにTRPOを使用してこれを行う方法を知っていますか？ 次のアプローチは、政策勾配損失関数に対して正しいですか？ L （θ ）= （logP（a）+ ログP（a2））∗ AL（θ）=（ログ⁡P（a）+ログ⁡P（a2））∗あL(\theta) = (\log P(a_) + \log P(a_2) )*A

11 deep-learning  reinforcement-learning  trpo