タグ付けされた質問 「neural-network」

矢印のトップダウン画像があり、この矢印が作る角度を予測したいとします。これは間であろう及び度、又は間にと。問題は、このターゲットが円形であり、度と度がまったく同じであるということです。これは、ターゲットに組み込む不変性であり、一般化に大きく役立つはずです（これは私の仮定です）。問題は、これを解決する明確な方法が見当たらないということです。この問題（または同様のもの）に取り組む試みの論文はありますか？私はそれらの潜在的な欠点についていくつかのアイデアを持っています。0003603603600002π2π2\pi000360360360 、シグモイド又はTANH活性化を使用する（それをスケーリング0,2π)0,2π)0, 2\pi)の範囲と損失関数に円形のプロパティを組み込みます。境界線上にある場合（最悪の予測）、わずかなノイズのみが重みを何らかの方法で押し上げるため、これはかなり難しいと思います。また、近い方の境界に値000と2π2π2\pi絶対事前活性値が無限大に近いことが必要となるため、到達するのがより困難になります。 と 2つの値に回帰し、これらの2つの値がなす角度に基づいて損失を計算します。これにはもっと可能性があると思いますが、このベクトルの標準には制限がなく、数値の不安定性につながり、トレーニング中に爆発するか0になる可能性があります。これは、この規範が1から離れすぎないようにするために、奇妙なレギュラーを使用することで解決できる可能性があります。xxxyyy 他のオプションはサイン関数とコサイン関数で何かをすることですが、複数の事前アクティベーションが同じ出力にマッピングされると、最適化と一般化も非常に難しくなると思います。

15 neural-network  deep-learning  loss-function  parameter-estimation 

10個のオブジェクトを認識するために、事前に訓練されたネットワークで転移学習を行ったとします。トレーニング済みの10個のすべてのカテゴリも、トレーニング済みの元のモデルからの情報も失うことなく、ネットワークが分類できる11番目の項目を追加するにはどうすればよいですか？友人から、この分野で活発な研究が行われていると言われましたが、関連する論文や検索する名前が見つかりませんか？ ありがとうございました。

15 neural-network  deep-learning 

リカレントニューラルネットワークIとテキスト生成について読んでいる間、いくつかの例は、テキストを生成するために実施されたことに気づいた単語単位で、他の文字によって文字実際に理由を述べずに。 だから、テキストを予測するRNNモデルの違いは何ですごとの単語の基礎とテキスト予測するものにつき-CHAR根拠は？単語ベースのRNNには、より大きなコーパスサイズが必要ですか？文字ベースのRNNはより一般化されていますか？たぶん、唯一の違いは入力表現（ワンホットエンコーディング、単語埋め込み）でしょうか？テキスト生成に選択するものはどれですか？

15 machine-learning  neural-network  nlp  rnn 

ニューラルネットワークの活性化関数の種類を研究しました。関数自体は非常に単純ですが、アプリケーションの違いは完全には明らかではありません。 目的のバイナリ/連続出力に応じて、論理型関数と線形型関数を区別することは合理的ですが、シグモイド関数の単純な線形関数に対する利点は何ですか？ たとえば、ReLUを理解するのは特に困難です。たとえば、正の入力の場合は線形のように動作し、負の場合は「フラット」な関数を使用するポイントは何ですか？この背後にある直感は何ですか？それとも、単なる単純な試行錯誤のものなのでしょうか？

15 neural-network  activation-function 

現在、ニューラルネットワークに関する試験の準備をしています。以前の試験のいくつかのプロトコルで、ニューロンの活性化機能（多層パーセプトロン）は単調でなければならないことを読みました。 アクティベーション関数は微分可能でなければならず、ほとんどの点で0でない導関数を持ち、非線形でなければならないことを理解しています。単調であることが重要である/役立つ理由がわかりません。 次のアクティベーション関数を知っており、それらは単調であることを知っています。 ReLU シグモイド タン Softmax：単調性の定義が関数適用可能かどうかわかりません withf：Rn→ Rmf：Rn→Rmf: \mathbb{R}^n \rightarrow \mathbb{R}^mn 、m > 1n、m>1n, m > 1 ソフトプラス （身元） ただし、たとえばような理由はまだわかりません。φ （x ）= x2φ（バツ）=バツ2\varphi(x) = x^2 アクティベーション関数が単調でなければならないのはなぜですか？ （関連する質問：対数/指数関数がアクティベーション関数として使用されない理由はありますか？）

15 machine-learning  neural-network 

畳み込みニューラルネットワークをトレーニングして、霧の状態（3クラス）で画像を分類しています。ただし、約150.000個の画像のそれぞれについて、画像のクラスの予測に役立つ可能性のある4つの気象変数も利用できます。気象変数（温度、風速など）を既存のCNN構造に追加して、分類に役立つようにするにはどうすればよいのかと思っていました。 私がすでに考えることができる1つの方法は、CNNと一緒に別の（小さな）フィードフォワードニューラルネットを作成し、CNNレイヤーの出力と非イメージニューラルネットの非表示レイヤーを密なレイヤーで互いに連結することです。 私が考えることができる2番目の方法は、これらの機能を密なレイヤーに接触させることです。ただし、この場合、非画像変数は線形予測のみを行うことができます。 非画像機能をモデルに含めることができる他の（より良い）方法はありますか？そして、私が持っているデータの量を考慮して、推奨される方法は何でしょうか？ 私が持っている別の質問は、これらの非画像機能でトレーニング中に畳み込み層をフリーズ解除する必要があるかどうかです。Resnet-18のこれらのレイヤー（ImageNetで事前トレーニング済みとして初期化された）は、画像を使用して既に微調整されています。私の推測では、非画像フィーチャが画像フィーチャと「接触」するのはここだけであるため（CNNの初期段階ではない）、それらを凍結したまま高密度レイヤーのみを凍結解除する必要があります。これが間違っている場合は、そう言ってください！

14 machine-learning  neural-network  deep-learning  tensorflow  cnn 

LSTMをスタックすることはどのような状況で有利なのでしょうか？

14 machine-learning  neural-network  deep-learning  lstm 

私は脳を使用して、正と負の両方の値を含む機能セットでニューラルネットワークをトレーニングしています。しかし、脳には0〜1の入力値が必要です。データを正規化する最良の方法は何ですか？

14 machine-learning  neural-network  feature-scaling  normalization  javascript 

Quora公式データセットで重複する質問を予測するLSTMモデルを作成しました。テストラベルは0または1です。1は質問のペアが重複していることを示します。使用してモデルを構築した後model.fit、私が使用してモデルをテストしmodel.predict、テストデータに。出力は、以下のような値の配列です。 [ 0.00514298] [ 0.15161049] [ 0.27588326] [ 0.00236167] [ 1.80067325] [ 0.01048524] [ 1.43425131] [ 1.99202418] [ 0.54853892] [ 0.02514757] 配列の最初の10個の値のみを表示しています。これらの値の意味と、各質問ペアの予測ラベルは何ですか？

14 machine-learning  python  neural-network  keras  lstm 

約3000枚の画像を含むデータセットでディープラーニングモデルをトレーニングしたいと考えています。データセットは巨大なので、GPUがサポートされているため、Google colabを使用したいと思います。このフル画像フォルダをノートブックにアップロードして使用するにはどうすればよいですか？

14 machine-learning  neural-network  deep-learning  dataset  colab 

私の理解では、遺伝的アルゴリズムは多目的最適化のための強力なツールです。 さらに、ニューラルネットワーク（特に深いネットワーク）のトレーニングは難しく、多くの問題があります（非凸コスト関数-極小、勾配の消失および爆発など）。 また、GAを使用してNNを概念的にトレーニングすることも可能です。私は、なぜ彼らが実際に使われないのだろうと思っていましたか？パフォーマンスの問題ですか？

13 neural-network  optimization  genetic-algorithms 

勾配降下が、Adam、Adagrad、RMSProp、および他のいくつかのオプティマイザーなどのオプティマイザーで使用される主要なアルゴリズムであるかどうかを知りたいです。

13 machine-learning  neural-network  deep-learning  optimization  gradient-descent 

そうですアダプティブモーメントの推定（アダム）（より速く、より確実に世界最小の到達）オプティマイザは、ほとんど常に良い作品ニューラルネットを訓練してコスト関数を最小化するとき。 いつもAdamを使わないのはなぜですか？なぜRMSPropやモメンタムオプティマイザーを使用する必要があるのですか

13 neural-network  optimization 

この質問に対する小さなサブ質問があります。 最大プーリング層を逆伝播すると、最大として選択された前の層のニューロンがすべての勾配を取得するように勾配が戻されることを理解しています。私が100％確信していないのは、次のレイヤーの勾配がどのようにプーリングレイヤーに戻されるかです。 したがって、最初の質問は、下の画像のように、完全に接続されたレイヤーに接続されたプーリングレイヤーがあるかどうかです。 プール層のシアンの「ニューロン」の勾配を計算するとき、FC層のニューロンからのすべての勾配を合計しますか？これが正しい場合、プーリング層のすべての「ニューロン」に同じ勾配がありますか？ たとえば、FC層の最初のニューロンの勾配が2で、2番目の勾配が3で、3番目の勾配が6の場合、プール層の青と紫の「ニューロン」の勾配は何ですか。なぜですか。 2番目の質問は、プーリングレイヤーが別の畳み込みレイヤーに接続されるタイミングです。勾配を計算する方法は？以下の例を参照してください。 プール層の最上部の右端の「ニューロン」（緑色の輪郭線）については、次のconv層の紫色のニューロンの勾配を取得し、それを元に戻します。 緑色の塗りつぶしはどうですか？チェーンルールのため、次のレイヤーのニューロンの最初の列を乗算する必要がありますか？または、それらを追加する必要がありますか？ 方程式の束を投稿しないでください、そして、方程式に頭を包み込もうとしているので、私の答えがそこにあると言ってください、そして、私はまだそれを完全に理解していないので、私はこの質問を簡単に尋ねています仕方。

13 machine-learning  neural-network  convnet  backpropagation 

トレーニング中に重みをプロットするために、多層ネットワーク用のヒントン図に相当するものを見つけようとしています。 訓練されたネットワークは、Deep SRNに多少似ています。つまり、複数のヒントンダイアグラムの同時プロットを視覚的に混乱させる多数のウェイトマトリックスがあります。 誰もが複数のレイヤーを持つリカレントネットワークの重み更新プロセスを視覚化する良い方法を知っていますか？ このトピックに関する論文はあまり見当たりません。何かが思いつかない場合は、代わりにレイヤーごとの重みに時間関連の情報を表示することを考えていました。たとえば、各レイヤーの経時的な重みの差分（すべての単一接続の使用を省略します）。PCAは別の可能性です。ただし、視覚化はトレーニング中にオンラインで行われるため、あまり多くの計算を行わないようにします。

13 machine-learning  neural-network  visualization  deep-learning