タグ付けされた質問 「neural-network」

Heらによる最近の論文。（画像認識のためのディープ残差学習、Microsoft Research、2015年）は、最大4096のレイヤー（ニューロンではない！）を使用すると主張しています。 紙を理解しようとしているのですが、「残差」という言葉に出会いました。 誰かが私にこの場合の残差の意味を説明/定義してくれませんか？ 例 参照されていない関数を学習する代わりに、層の入力を参照して残差関数を学習するように、層を明示的に再構成します。 [...] いくつかの積み重ねられた各層が望ましい基本的なマッピングに直接適合することを期待する代わりに、これらの層を残余のマッピングに明示的に適合させます。正式には、望ましい基礎となるマッピングをH（x）H（バツ）\mathcal{H}(x)、積み重ねられた非線形層を別のマッピングに適合させます F（x ）：= H（x ）− xF（バツ）：=H（バツ）−バツ\mathcal{F}(x) := \mathcal{H}(x)−x。元のマッピングはに再キャストされますF（x ）+ xF（バツ）+バツ\mathcal{F}(x)+x。残余マッピングを最適化する方が、元の参照されていないマッピングを最適化するよりも簡単であると仮定します

7 machine-learning  neural-network 

私はStandford / Coursera Machine Learningコースを受講しました。そしてそれはかなり順調に進んでいます。コースから成績を取得するよりも、トピックの理解に本当に興味があるので、私はすべてのコードをより流暢なプログラミング言語で書き込もうとしています（簡単に掘り下げることができるもの）のルーツ）。 私が最もよく学ぶ方法は、問題に取り組むことです。そのため、ニューラルネットワークを実装しましたが、機能しません。テストの例に関係なく、各クラスの確率は同じになるようです（たとえば、入力値に関係なく、クラス0の0.45、クラス1の0.55）。奇妙なことに、すべての非表示のレイヤーを削除した場合、これは当てはまりません。 ここに私がすることの簡単な概要があります。 Set all Theta's (weights) to a small random number for each training example set activation 0 on layer 0 as 1 (bias) set layer 1 activations = inputs forward propagate; Z(j+1) = Theta(j) x activation(j) [matrix operations] activation(j+1) = Sigmoid function (Z(j+1)) [element …

7 machine-learning  neural-network 

目標： 機械学習とニューラルネットワークの実験は初めてです。一連の5つの画像を入力として受け取り、次の画像を予測するネットワークを構築したいと考えています。私のデータセットは、実験のために完全に人工的なものです。例として、入力と予想される出力の例をいくつか示します。 データポイントとターゲットのイメージは同じソースからのものです。データポイントのターゲットイメージは他のデータポイントに表示され、その逆も同様です。 私がやった事： 今のところ、1つの非表示層を持つパーセプトロンを構築し、出力層が予測のピクセルを提供します。2つの層は密度が高く、シグモイドニューロンで構成されています。平均二乗誤差を目的として使用しました。画像はかなりシンプルで、それほど変化しないので、これはうまく機能します。200〜300の例と50の非表示の単位があるため、テストデータで適切なエラー値（0.06）と適切な予測が得られます。ネットワークは勾配降下法で学習されます（学習率のスケーリングを使用）。ここに私が得る学習曲線の種類とエポックの数によるエラーの進展があります： 私がやろうとしていること： これで十分ですが、データセットの次元を減らして、より大きな画像やより多くの例にスケーリングできるようにしたいと思います。PCAを適用しました。ただし、次の2つの理由により、データポイントのリストではなく画像のリストに適用しました。 全体としてのデータセットでは、共分散行列は24000x24000になり、ラップトップのメモリに収まりません。 同じ画像でできているので、画像上で行うことで、ターゲットを圧縮することもできます。 画像はすべて類似しているように見えるので、1e-6の差異のみを失いながら、なんとかサイズを4800（40x40x3）から36に減らしました。 機能しないもの： 削減されたデータセットとその削減されたターゲットをネットワークに供給すると、勾配降下法は非常に速く収束して高いエラー（約50！）になります。上記と同等のプロットを見ることができます： 学習曲線が高い値から始まり、その後下がって戻るとは思いもしませんでした...そして、勾配降下がそれほど速く停止する通常の原因は何ですか？パラメータの初期化にリンクできますか（私はlasagneライブラリのデフォルトであるGlorotUniformを使用しています）。 次に、削減されたデータをフィードしても、元の（非圧縮）ターゲットをフィードすると、最初のパフォーマンスに戻ることに気付きました。したがって、ターゲットイメージにPCAを適用することは良い考えではなかったようです。何故ですか？結局、入力とターゲットを同じ行列で乗算しただけなので、トレーニング入力とターゲットは、ニューラルネットワークが理解できるようにリンクされています。何が欠けていますか？ シグモイドニューロンの総数が同じになるように4800ユニットの追加のレイヤーを導入しても、同じ結果が得られます。要約すると、私は試しました： 24000ピクセル=> 50シグモイド=> 4800シグモイド（= 4800ピクセル） 180 "ピクセル" => 50シグモイド=> 36シグモイド（= 36 "ピクセル"） 180 "ピクセル" => 50シグモイド=> 4800シグモイド（= 4800ピクセル） 180 "ピクセル" => 50シグモイド=> 4800シグモイド=> 36シグモイド（= 36 "ピクセル"） 180 "ピクセル" => 50シグモイド=> 4800シグモイド=> 36線形（= 36 "ピクセル"） （1）および（3）正常に動作します。（2）、（4）、（5）ではなく、その理由がわかりません。特に、（3）は機能するので、（5）は（3）と同じパラメータと最後の線形層の固有ベクトルを見つけることができるはずです。ニューラルネットワークではそれは不可能ですか？

7 machine-learning  neural-network 

ニューラルネットワークの使用について質問があります。私は現在R（neuralnetパッケージ）を使用しており、次の問題に直面しています。私のテストと検証セットは、履歴データに関して常に遅れています。結果を修正する方法はありますか？多分私の分析で何かが間違っている 毎日ログを返す シグモイド関数でデータを正規化します（セット全体で計算されたシグマとミュー） ニューラルネットワークを10の日付でトレーニングし、出力はこれらの10の日付に続く正規化された値です。 トレンドを追加しようとしましたが、改善はありません。1〜2日遅れて観察しました。私のプロセスは問題ないようですが、それについてどう思いますか？

7 r  neural-network  time-series  forecast 

まず、質問がウェブサイトに適さない可能性があることはわかっていますが、ポインタを教えていただければ幸いです。 私は16歳のプログラマーです。さまざまなプログラミング言語の経験があり、しばらく前にCourseraでコースを開始しました。機械学習入門というタイトルで、その瞬間からAIについて学ぶ意欲が高まり、ニューラルネットワークについて読んで、Javaを使用して実用的なパーセプトロンを作成しましたが、それは本当に楽しかったですが、もう少し難しいこと（数字認識ソフトウェアの構築）を始めたとき、私は多くの数学を学ばなければならないことがわかりました。数学が大好きですが、ここの学校はあまり教えてくれません。数学の教師である誰かがAIを学ぶために数学（特に微積分）を学ぶ必要があると思いますか、それとも、それらを学ぶまで待つべきでしょうか。学校？ また、私がAIと機械学習を学習する過程で、他にどのようなことが役立つでしょうか？他の手法（SVMなど）でも強力な計算が必要ですか？ 私の質問が長い場合は申し訳ありませんが、AIの学習で経験したことを教えていただければ幸いです。

7 machine-learning  neural-network  svm 

以下のような単語画像があります。 256x64画像だとしましょう。私の目的は、画像からテキストを抽出することです73791096754314441539。これは、基本的にOCRが行うことです。 画像から単語を認識できるモデルを作ろうとしています。 私が言葉を言っているとき、それは次のいずれかであることができます： 辞書の単語、非辞書の単語 az、AZ、特殊文字を含む spaces 以下のようにテンソルフローでモデル（会社のポリシーによりスニペット）を作成しました： inputs = tf.placeholder(tf.float32, [common.BATCH_SIZE, common.OUTPUT_SHAPE[1], common.OUTPUT_SHAPE[0], 1]) # Here we use sparse_placeholder that will generate a # SparseTensor required by ctc_loss op. targets = tf.sparse_placeholder(tf.int32) # 1d array of size [batch_size] seq_len = tf.placeholder(tf.int32, [common.BATCH_SIZE]) model = tf.layers.conv2d(inputs, 64, (3,3),strides=(1, 1), padding='same', …

6 neural-network  deep-learning  tensorflow  rnn  ocr