タグ付けされた質問 「neural-networks」

私は最近、テンソルフローを実行して学習しており、解釈方法がわからないヒストグラムをいくつか取得しました。通常、バーの高さは頻度（または相対頻度/カウント）と考えます。しかし、通常のヒストグラムのようにバーが存在しないという事実と、陰影が付いているという事実は、私を混乱させます。また、一度に多くの行/高さがありますか？ 誰かが次のグラフを解釈する方法を知っていますか（そしておそらくテンソルフローでヒストグラムを読むのに役立つ一般的なアドバイスを提供します）： 元の変数がベクトルまたは行列またはテンソルである場合、実際にテンソルフローは各座標のヒストグラムのように表示されますか？また、この情報を取得して人々を自立させる方法を参照することは、ドキュメントで有用なものを見つけるのが困難であるため、今は素晴らしいでしょう。たぶん、いくつかのチュートリアルの例など？それらを操作する上でのアドバイスもいいかもしれません。 参考として、これを与えたコードの抜粋を以下に示します。 (X_train, Y_train, X_cv, Y_cv, X_test, Y_test) = data_lib.get_data_from_file(file_name='./f_1d_cos_no_noise_data.npz') (N_train,D) = X_train.shape D1 = 24 (N_test,D_out) = Y_test.shape W1 = tf.Variable( tf.truncated_normal([D,D1], mean=0.0, stddev=std), name='W1') # (D x D1) S1 = tf.Variable( tf.constant(100.0, shape=[]), name='S1') # (1 x 1) C1 = tf.Variable( tf.truncated_normal([D1,1], mean=0.0, stddev=0.1), name='C1' ) …

23 machine-learning  neural-networks  conv-neural-network  tensorflow 

ドキュメントhttp://keras.io/optimizers/を見ると、SGDに減衰用のパラメーターがあります。私はこれが時間の経過とともに学習率を低下させることを知っています。しかし、私はそれが正確に機能する方法を理解することはできません。lr = lr * (1 - decay) それは指数関数的であるような学習率を掛けた値ですか？また、モデルが使用している学習率をどのように確認できますか？model.optimizer.lr.get_value()いくつかのエポックにわたってフィットを実行した後に印刷すると、減衰を設定しても、元の学習率が返されます。 また、運動量を使用するためにnesterov = Trueを設定する必要がありますか、または使用できる運動量の種類が2つだけありますか。たとえば、これを行うポイントがありますsgd = SGD(lr = 0.1, decay = 1e-6, momentum = 0.9, nesterov = False)

23 neural-networks  python 

統計とモデルのことについて勉強し始めたところです。現在、私の理解では、MLEを使用してモデルの最適なパラメーターを推定することです。ただし、ニューラルネットワークがどのように機能するかを理解しようとすると、通常、代わりに別のアプローチを使用してパラメーターを推定するようです。なぜMLEを使用しないのか、またはMLEをまったく使用できないのですか？

23 maximum-likelihood  neural-networks 

だから私は畳み込みネットを使って人間の画像の事前訓練をしようとしています。論文（Paper1とPaper2）とこのstackoverflowリンクを読みましたが、ネットの構造を理解しているかどうかはわかりません（論文で明確に定義されていません）。 質問： 入力に続いてノイズレイヤー、コンバーレイヤー、プーリングレイヤーの順に入力することができます-その後-出力を与える前にプールを解除します（これは入力イメージと同じです）？ 複数（135,240）の画像があるとします。32（12,21）カーネルを使用し、続いて（2,2）プーリングを使用すると、32（62、110）の機能マップになります。ここで、プールを解除して32（124、220）の機能マップを取得し、それらをフラット化しますか？（135,240）出力レイヤーを与える前に？ 複数のこのようなコンボプールレイヤーがある場合、スタックされたノイズ除去オートエンコーダーのように、それらを1つずつトレーニングする必要がありますか？または-input-conv-pool-conv-pool-conv-pool-output（出力は入力と同じです）のようなものを持つことができますか？その場合、プーリング、デプールはどのように管理されるべきですか？出力前に最後のプール層でのみプール解除する必要がありますか？そして再び-そのプール解除のサイズ変更要因は何でしょうか？機能マップを入力の形状に戻すつもりですか？ conv-pool-depoolレイヤーごとにノイズレイヤーを導入する必要がありますか？ そして、微調整するとき-デプール層を削除し、残りは同じままにする必要がありますか？または、ノイズ層とプール解除層の両方を削除する必要があります 画像の事前トレーニングを行うために、このようなスタック型畳み込み自動エンコーダーのアーキテクチャを詳しく説明したURL /ペーパーを教えてください。

23 neural-networks  deep-learning  autoencoders  deep-belief-networks 

ResNetモジュール/スキップ接続を使用してニューラルネットワークを介して勾配がどのように逆伝播されるかについて興味があります。ResNetに関するいくつかの質問（スキップレイヤー接続のニューラルネットワークなど）を見てきましたが、これは特にトレーニング中の勾配の逆伝播について尋ねています。 基本的なアーキテクチャは次のとおりです。 この論文「画像認識のための残差ネットワークの研究」を読み、セクション2で、ResNetの目標の1つが、勾配がベースレイヤーに逆伝播するためのより短い/より明確なパスを可能にすることについて話します。 勾配がこのタイプのネットワークをどのように流れているのか説明できますか？加算操作、および加算後のパラメーター化されたレイヤーの欠如が、より良い勾配伝播を可能にする方法をよく理解していません。加算演算子を介して流れるときに勾配が変化せず、乗算なしで何らかの形で再配布される方法と関係がありますか？ さらに、グラデーションがウェイトレイヤーを通過する必要がない場合、消失するグラデーションの問題がどのように軽減されるかを理解できますが、ウェイトを通るグラデーションフローがない場合、逆方向パス後にどのように更新されますか？

22 machine-learning  neural-networks  conv-neural-network  gradient-descent  backpropagation 

ここにも同様のスレッドがあります（ニューラルネットワークのコスト関数は非凸状ですか？） 差の二乗コスト関数の合計を使用している場合、最終的にという形式の何かを最適化します。ここではトレーニング中の実際のラベル値ですphaseおよびは予測ラベル値です。これは正方形の形をしているので、これは凸コスト関数でなければなりません。それでは、NNで非凸になる可能性があるのは何ですか？ΣNi=1(yi−yi^)2Σi=1N(yi−yi^)2 \Sigma_{i=1}^{N}(y_i - \hat{y_i})^2yyyy^y^\hat{y}

22 machine-learning  neural-networks  optimization  loss-functions  convex 

Tensorflowを使用して、1つの隠れ層のみを持つ単純なニューラルネットワークで遊んでいた後、隠れ層に対して異なるアクティベーションを試みました。 レルー シグモイド ソフトマックス（まあ、通常ソフトマックスは最後のレイヤーで使用されます。.） Reluは、最高の列車精度と検証精度を提供します。これを説明する方法がわかりません。 Reluには、勾配のない消失などのスパース性などの優れた特性があることがわかっていますが、 Q：Reluニューロンはシグモイド/ソフトマックスニューロンよりも一般的に優れていますか？ほとんど常にNN（またはCNNでも）Reluニューロンを使用する必要がありますか？ 複雑すぎるニューロンはより良い結果をもたらすだろうと考えました。少なくともオーバーフィットを心配する場合は、精度を訓練します。 PS：コードは基本的に「Udacity-Machine learning -assignment2」からのものです。これは、単純な1-hidden-layer-NNを使用したnotMNISTの認識です。 batch_size = 128 graph = tf.Graph() with graph.as_default(): # Input data. tf_train_dataset = tf.placeholder(tf.float32, shape=(batch_size, image_size * image_size)) tf_train_labels = tf.placeholder(tf.float32, shape=(batch_size, num_labels)) tf_valid_dataset = tf.constant(valid_dataset) tf_test_dataset = tf.constant(test_dataset) # hidden layer hidden_nodes = 1024 hidden_weights = tf.Variable( tf.truncated_normal([image_size …

22 machine-learning  neural-networks  conv-neural-network  tensorflow  sigmoid-curve 

逆伝播アルゴリズムを使用してニューラルネットワークをトレーニングする場合、勾配降下法を使用して重みの更新を決定します。私の質問をされています。むしろ、ゆっくりと一定の重量に対して、最小点を見つけるために勾配降下法を使用するよりも、なぜ私たちは派生しないでください、そして、誤差を最小にする重みの値を見つけますか？d(Error)dw=0d(Error)dw=0\frac{d(\text{Error})}{dw}=0www また、逆伝播におけるエラー関数が最小になると確信しているのはなぜですか？代わりに、エラー関数が最大値であることがわかりませんか？任意の重みと入力ベクトルを持つ任意の数の隠れノードを持つネットワークが常に最小値を持つエラー関数を与えることを保証する、スカッシュ関数の特定のプロパティはありますか？

22 neural-networks  gradient-descent  backpropagation 

フィルターの次元を選択し、ユニットをプールし、畳み込み層の数を決定するいくつかの系統的な方法をカバーする優れた論文はありますか？

22 neural-networks  deep-learning  conv-neural-network 

私が直面している分類問題について、ニューラルネットワークで実験したいと思っていました。RBMについての論文に出くわしました。しかし、私が理解できることから、それらは多層ニューラルネットワークを持つことと違いはありません。これは正確ですか？ さらに、私はRで働いていますが、RBMの缶詰パッケージは見ていません。私は基本的にスタックされたRBMであるディープラーニングネットワークについて話している文献に出会いましたが、Rでそれらを実装する努力の価値があるかどうかはわかりません。ありがとう

22 r  machine-learning  classification  neural-networks 

私の質問を説明するために、たとえば入力にはある程度のノイズがあり、出力にはないトレーニングセットがあるとします。 # Training data [1.02, 1.95, 2.01, 3.06] : [1.0] [2.03, 4.11, 5.92, 8.00] : [2.0] [10.01, 11.02, 11.96, 12.04] : [1.0] [2.99, 6.06, 9.01, 12.10] : [3.0] ここで、出力は、ノイズがない場合の入力配列の勾配です（実際の勾配ではありません）。 ネットワークをトレーニングした後、特定の入力に対して出力は次のようになります。 # Expected Output [1.01, 1.96, 2.00, 3.06] : 95% confidence interval of [0.97, 1.03] [2.03, 4.11, 3.89, 3.51] : 95% …

22 regression  machine-learning  neural-networks  confidence-interval  prediction-interval 

まあ質問はそれをすべて言います。 「ニューラルネットワークの事前トレーニング」とはどういう意味ですか？誰かが純粋な英語で説明できますか？ 私はそれに関連するリソースを見つけることができないようです。誰かが私にそれらを指し示すことができれば素晴らしいでしょう。

22 neural-networks  pre-training 

深い畳み込みニューラルネットでは、画像認識、画像分類などに関して多くの進歩があったことを認識しています。 しかし、たとえばPNG画像でネットをトレーニングすると、そのようにエンコードされた画像でのみ機能しますか？これに影響する他の画像プロパティは何ですか？（アルファチャンネル、インターレース、解像度など？）

22 neural-networks  deep-learning  image-processing 

アブレーション研究とは何ですか？そしてそれを実行する体系的な方法はありますか？たとえば、モデルとして呼び出す線形回帰には予測子があります。nnn これに対してアブレーション研究をどのように実行しますか？どの指標を使用すればよいですか？ 包括的な情報源または教科書をいただければ幸いです。

22 regression  machine-learning  neural-networks 

バックグラウンド： はい、制限付きボルツマンマシン（RBM）を使用して、ニューラルネットワークの重みを開始できます。また、深い信念ネットワークを構築するための「層ごとの」方法で使用することができる訓練すること、である（の上に番目の層（N - 1 ）、次いで番目の層、及び訓練しますの上に層目番目の層、リンスを繰り返し...） nnn（n − 1 ）（n−1）(n-1)n + 1n+1n+1nnn。 RBMの使用方法については、制限付きボルツマンマシン（RBM）の優れたチュートリアルのスレッドから詳細を見つける ことができます。ここでは、いくつかの論文やチュートリアルを見つけることができます。 私の質問は次のとおりです。 RBMは産業プロジェクトまたは学術プロジェクトで実際に使用されていますか はいの場合、どのプロジェクトがどのように使用されていますか？ 人気のあるライブラリ（tensorflow、Caffe、Theonoなど）はRBMモジュールを提供しますか？ 共有してくれてありがとう。RBMが実際に本当に役立つかどうか知りたいです。

21 machine-learning  neural-networks  deep-learning  deep-belief-networks  rbm