タグ付けされた質問 「neural-networks」

ニューラルネットワークとSVMについて学習してきました。私が読んだチュートリアルでは、SVMにとってカーネル化がいかに重要であるかを強調しました。カーネル関数がない場合、SVMは単なる線形分類器です。カーネル化により、SVMは非線形機能を組み込むこともできるため、より強力な分類器になります。 カーネル化をニューラルネットワークに適用することもできるように思えますが、私が見たニューラルネットワークのチュートリアルではこれについて言及していません。人々は一般的にニューラルネットワークでカーネルトリックを使用しますか？それが大きな違いを生むかどうかを確かめるために誰かが実験していたに違いないと思います。カーネル化は、SVMと同じくらいニューラルネットワークに役立ちますか？なぜですか、なぜそうではありませんか？ （カーネルトリックをニューラルネットワークに組み込むいくつかの方法を想像できます。1つの方法は、適切なカーネル関数を使用して、入力（RんRん\mathbb{R}^nのベクトル）をより高次元の入力であるベクトルに前処理することですin RメートルRメートル\mathbb{R}^{m} for M ≥ Nメートル≥んm\ge n。複数層のニューラルネットの場合、別の方法は、ニューラルネットワークの各レベルでカーネル関数を適用することです。

9 machine-learning  artificial-intelligence  neural-networks 

ニューラルネットワークの初期の重みが乱数として初期化されるのはなぜですか？これは「対称性を壊す」ために行われ、これによりニューラルネットワークの学習が速くなることをどこかで読んだことがあります。対称性を壊すことで、学習がどのように速くなりますか？ 重みを0に初期化した方がいいでしょうか？そうすれば、重みはそれらの値（正または負）をより速く見つけることができますか？ 初期化時に重みが最適値に近いことを期待することとは別に、重みをランダム化する背後にある他の基本的な哲学はありますか？

9 machine-learning  artificial-intelligence  neural-networks 

人工ニューラルネットワークアルゴリズムをマップリデュース操作で表現できますか？また、ANNに適用される並列化の方法と、クラウドコンピューティングへのそれらの適用にも、より一般的に興味があります。 1つのアプローチは、各ノードで完全なANNを実行し、グリッドを単一のエンティティのように扱うために結果を統合することを含むと思います（入力/出力と機械学習の特性に関して）。そのような統合戦略はどのように見えるか。

9 parallel-computing  artificial-intelligence  neural-networks 

2層のニューラルネットワーク（CUDAを使用）を実装しました。（レイヤーあたり2ニューロン）。私は、バックプロパゲーションを使用して2つの単純な2次多項式関数を学習させるようにしています。 しかし、収束するのではなく、それは発散します（出力は無限大になります） これが私が試したことの詳細です： 初期の重みを0に設定しましたが、発散していたため、初期の重みをランダム化しました（範囲：-0.5〜0.5） 学習率が高すぎるとニューラルネットワークが分岐する可能性があるため、学習率を0.000001に下げました。 追加しようとしている2つの関数は次のとおりです。3* i + 7 * j + 9およびj * j + i * i + 24（レイヤーiおよびjを入力として指定しています） 私は以前にそれを単一の層として実装しました、そしてそれは今それをしているよりも多項式関数をよりよく近似することができました このネットワークに勢いをつけることを考えていますが、それが学習に役立つかどうかはわかりません 線形（noのように）アクティベーション関数を使用しています 最初は振動がありますが、いずれかのウェイトが1を超えると出力が発散し始めます コードをチェックして再チェックしましたが、コードになんら問題はないようです。 だから私の質問です：ここで何が問題になっていますか？ どんなポインタでも大歓迎です。

9 machine-learning  artificial-intelligence  neural-networks 

私はCSの学部生です（ただし、AIについてはよく知りませんが、AIについてのコースを受講していません。最近までNNについてはまったく何もしていませんでした）。AIで学校のプロジェクトをやろうとしているので、ニューラルネットワークで強化学習を使用した（文脈自由言語およびおそらく文脈依存言語のサブセットの）文法誘導。私は以前に成功したアプローチを最初に研究してそれらを微調整できるかどうかを確認し始めましたが、今私は長期短期記憶による教師あり学習を使用してアプローチを理解しようとしています。私は「忘れる学習：LSTMによる継続的予測」を読んでいます。。私ものぞき穴に関する論文を読んでいますが、それはさらに複雑に思われ、単純なことを最初に試みています。私は、メモリセルとネットワークトポロジがどのように機能するかを正しく理解していると思います。現時点では取得できないのは、トレーニングアルゴリズムです。だから私は尋ねるいくつかの質問があります： 異なる入力はどの程度正確に区別されますか？どうやらネットワークは各入力の後にリセットされず、異なる入力を区切る特別な記号はありません。ネットワークは、入力の終わりと次の始まりがどこであるかについての手掛かりなしに、文字列の連続ストリームを受信するだけですか？ 入力と対応するターゲット出力の間のタイムラグはどれくらいですか？確かにある程度のタイムラグが必要であるため、ネットワークは、処理するのに十分な時間がない入力からターゲット出力を取得するようにトレーニングすることはできません。使用されたのがReberの文法ではなく、より多くの情報を格納および取得する必要がある可能性のあるより複雑なものである場合、情報にアクセスするために必要な時間は、入力によって異なり、おそらく予測できないものです。トレーニングを行うためのタイムラグを決定している間。 トレーニングアルゴリズムのより直感的な説明はありますか？すべての複雑な数式の背後で何が行われているのかを理解するのは難しいと思います。後で強化学習アルゴリズムに微調整する必要があるため、理解する必要があります。 また、このペーパーでは、ノイズの多いトレーニングデータについては何も触れられていません。ネットワークが非常にノイズの多いテストデータを処理できることを他の場所で読んだことがあります。LSTMが、トレーニングデータが不要な情報で破損/上書きされる可能性がある状況を処理できるかどうかを知っていますか？

9 formal-languages  machine-learning  artificial-intelligence  neural-networks 

ニューラルネットワークの多くの活性化関数（シグモイド、tanh、softmax）は、単調で、連続的で、微分可能です（ただし、導関数が存在しないいくつかの点を除く）。 連続性と微分可能性の理由は理解していますが、単調性の理由は本当に理解できません。

8 machine-learning  neural-networks 

いくつかのケースでは、かなり複雑なデータセット（バックギャモンの位置とOCR）を使用して、ニューラルネットワーク（バックプロパゲーションネットワーク）をトレーニングしました。これを行う場合、学習に最適な構成を見つけるために、多くの作業にネットワークのさまざまな構成を試すことが含まれるようです。多くの場合、使用/学習がより速い小さなネットと、より多くの知識を表すことができる大きなネットとの間には妥協点があります。 次に、高速で大規模なネットワークをいくつか作成できるかどうか考えます。すべてのニューロンが完全に接続されていないネットワークでは、すべての層で完全に接続されているネットよりも計算が速くなるはずだと私は考えています。特定のニューロンが特定の入力を必要としないため、それらの接続を削除することを検出したのはトレーニングである可能性があります。同様に、一部のニューロンが「過負荷」になっているように思われる場合、トレーニングには新しいニューロンの追加も含まれます。 これは成功して試されたものですか？この種の動作を持つネットワークのクラスは存在しますか？

8 machine-learning  neural-networks  learning-theory 

私はニューラルネットワークに非常に慣れていないため、いくつかのことを理解しようとしています。したがって、100個の入力、200個のノードを持つ非表示層、および32個の出力を持つニューラルネットワークに遭遇したとします。また、ニューラルネットワークのこの特定のインスタンスの「発見者」であるあなたが、個々のニューロンの重みを読み取ることができるとしましょう。その機能について何を理解できますか？ 1）ニューラルネットワーク内に含まれているアルゴリズムまたはロジックを特定できますか？すべての可能な入力をフィードし、それが生成する出力を調査する以外は。 2）ニューラルネットワークの接続に関する情報が提供された場合（ネットワークが完全に接続されていない可能性があります）、上記の質問を解決する方が簡単でしょうか？

8 machine-learning  neural-networks 

私はAI試験の勉強をしており、次の問題を解決するより良い方法を探しています。 グラフは、単位正方形内の分類問題を示しクラスAが（点線上の点を含まない）図中の灰色の領域によって示され、そしてクラスBは、そうでなければ発生します。[ 0 、1 ]2[0、1]2[0,1]^2 この問題を解決するには、2つのパーセプトロンを構築する必要があります。両方のパーセプトロンは、入力が灰色の領域にある場合は1を出力し、そうでない場合は少なくとも1つが0を出力します。 私が知っている入力とバイアスに適切な重みを見つける方法は3つあります。 試行錯誤 パーセプトロン学習アルゴリズム（ランダムな重み、学習率、複数のエポックを含む） 重みのベクトルを見つけるための幾何学的な方法（境界関数への直交線を見つけることを含む） ペンと紙だけでそれを行うと、それらすべてが非常に時間がかかります。 分類グラフに基づいてパーセプトロンの重みを計算/検索する簡単な方法はありますか？

8 artificial-intelligence  neural-networks 

私はさまざまな論文、主にマース（1997）からスパイキングニューラルネットワークをオンラインで研究しています。レートコードと見なされている以前のANNとは対照的に、SNNのパルスコードが何であるかを完全に理解しているわけではありません。私は神経科学のバックグラウンドを持っているので、用語と比率を理解しています。実際の実装について質問しています。 各ニューロンがSNNの現在の状態を更新するとき、それはすべてのシナプス前ニューロンの履歴全体を扱い、最後のステップだけではないという事実の実際的な違いはありますか？それは、前世代のANNに欠けている時間的特性を与えるものですか？

8 terminology  artificial-intelligence  neural-networks 

Hopfield再帰型ニューラルネットワークのようなものを使用して巡回セールスマン問題を解決する上で何か新しい開発があるかどうか私は興味を持った。最近の研究が何か突破口を開いているのを見たような気がしますが、学術論文はどこにもありません。この分野での新しい、斬新な展開を知っている人はいますか？

7 np-hard  neural-networks  traveling-salesman 

人工ニューラルネットワークで最も人気のある分野の1つであるディープラーニングは、データセットの精度の点で大きな期待を示しています。スパイキングニューラルネットワークと比較してどうですか。最近クアルコムがSNNでその0番目のプロセッサを発表したので、代わりにディープラーニングを使用する場合に違いがあるかどうか考えていました。

7 machine-learning  neural-networks