タグ付けされた質問 「neural-networks」

このページを読む：http : //neuralnetworksanddeeplearning.com/chap3.html また、クロスエントロピーを備えたシグモイド出力層は、対数尤度を備えたsoftmax出力層と非常に類似していると述べました。 出力層で対数尤度を持つシグモイドまたはクロスエントロピーを持つソフトマックスを使用するとどうなりますか？大丈夫ですか？なぜなら、クロスエントロピー（eq.57）の方程式にはほとんど違いがないからです： C= − 1n∑バツ（ylna + （1 − y）ln（1 − a ）））C=−1n∑バツ（yln⁡a+（1−y）ln⁡（1−a））C = -\frac{1}{n} \sum\limits_x (y \ln a + (1-y) \ln (1-a)) および対数尤度（eq.80）： C= − 1n∑バツ（lnaLy）C=−1n∑バツ（ln⁡ayL）C =-\frac{1}{n} \sum\limits_x(\ln a^L_y)

31 neural-networks  maximum-likelihood  softmax 

ニューラルネットは、何らかの目標を達成する手段としてデータセットの特徴を学習します。完了したら、ニューラルネットが何を学習したかを知りたい場合があります。機能とは何で、なぜそれを気にかけたのですか。誰かがこの問題に関係する仕事の本文にいくつかの参照を与えることができますか？

30 neural-networks  deep-learning 

[この質問はスタックオーバーフローでも発生しました] 要するに質問 私は畳み込みニューラルネットワークを研究していますが、これらのネットワークはすべての入力ニューロン（ピクセル/パラメーター）を同等に処理するとは限りません。入力画像に畳み込みを適用する深いネットワーク（多くのレイヤー）があるとします。画像の「中間」にあるニューロンには、多くのより深い層のニューロンへの多くのユニークな経路があります。つまり、中間のニューロンの小さな変動が出力に強い影響を与えます。しかしながら、画像のエッジでのニューロンしか持た（の順序または、正確な実装に応じて、方法1それらの情報はグラフを通って流れる経路）。これらは「過少表示」されているようです。111111 エッジニューロンのこの区別は、ネットワークの深さ（層の数）に応じて指数関数的にスケーリングするため、私はこれを心配しています。最大プーリング層を追加しても指数関数的な増加は止まりません。完全な接続のみがすべてのニューロンを同じ足場にします。しかし、私は自分の推論が正しいと確信していないので、私の質問は次のとおりです。 この効果が深い畳み込みネットワークで発生するのは正しいですか？ これについて何か理論はありますか、それは文献で言及されたことがありますか？ この影響を克服する方法はありますか？ これで十分な情報が得られるかどうかわからないので、問題の説明と、これが懸念事項であると考える理由についてもう少し詳しく説明します。 より詳細な説明 入力として画像を受け取るディープニューラルネットワークがあるとします。画像にピクセルの畳み込みフィルターを適用し、そのたびに畳み込みウィンドウを4ピクセルずつシフトするとします。これは、入力のすべてのニューロンが、活性化をレイヤー2の16 × 16 = 265ニューロンに送信することを意味します。これらのニューロンはそれぞれ、その活性化を別の265に送信し、最上位のニューロンが265 2個の出力ニューロンで表されるようにします。64×6464×6464\times 6444416×16=26516×16=26516 \times 16 = 26522226526526526522652265^2 ただし、これはエッジのニューロンには当てはまりません。これらは少数の畳み込みウィンドウでのみ表される可能性があり、そのため、次のレイヤーでニューロンのみをアクティブにします。エッジに沿ってミラーリングするなどのトリックを使用しても、これは役に立ちません。投影される第2層ニューロンはまだエッジにあります。エッジニューロンも同様です）。ご覧のように、この不一致は層の数とともに指数関数的に増加します。111 問題を視覚化するために画像を作成しました。これはここにあります（投稿自体に画像を含めることはできません）。このネットワークには、サイズ畳み込みウィンドウがあります。ニューロンの隣の数字は、最深ニューロンまでの経路の数を示しています。画像はパスカルの三角形を連想させます。333 https://www.dropbox.com/s/7rbwv7z14j4h0jr/deep_conv_problem_stackxchange.png?dl=0 なぜこれが問題なのですか？ この効果は一見問題ではないようです。原則として、ネットワークが機能するように重みを自動的に調整する必要があります。さらに、画像のエッジは、画像認識ではとにかくそれほど重要ではありません。この効果は、日常の画像認識テストでは目立たないかもしれませんが、次の2つの理由で依然として懸念されます。1。他のアプリケーションへの一般化、 2。非常に深いネットワークの場合に発生する問題。 1.音声認識や音声認識など、真ん中のニューロンが最も重要であるとは言えない他のアプリケーションがあるかもしれません。畳み込みの適用はこの分野でよく行われますが、私が関心を持っている効果について言及している論文を見つけることができませんでした。 2.非常に深いネットワークが気づく指数関数的に中枢ニューロンは、大きさの複数の順序によって過剰に存在することができることを意味する境界ニューロンの識別、の悪い効果を（我々は想像の層を、上記の例では、与えること265の10の方法中枢ニューロンを情報を投影できます）。レイヤーの数を増やすと、重みがこの効果を適切に補正できない限界に到達することになります。1010102651026510265^{10} ここで、すべてのニューロンをわずかに摂動させたとします。中央ニューロンは、エッジニューロンと比較して、出力を数桁大きく変化させます。一般的なアプリケーションや、非常に深いネットワークの場合、問題の回避方法を見つける必要があると思いますか？

30 machine-learning  neural-networks  convolution 

ニューラルネットワーク、ベイジアンネットワーク、ディシジョンツリー、ペトリネットの違いは何ですか？それらはすべてグラフィカルモデルであり、因果関係を視覚的に示していますが。

30 machine-learning  neural-networks  bayesian-network  fuzzy 

ウェイトをゼロで初期化するのはなぜ危険なのですか？それを示す簡単な例はありますか？

30 neural-networks  backpropagation 

ディープコンボリューショナルニューラルネットワークを使用したImageNet分類の論文を読んでいたのですが、セクション3では、コンボリューショナルニューラルネットワークのアーキテクチャについて説明し、次の使用方法を説明しました。 非飽和非線形性f（x ）= m a x （0 、x ）。f（バツ）=maバツ（0、バツ）。f(x) = max(0, x). 訓練するのが速かったからです。その論文では、CNNで使用されるより伝統的な関数、シグモイド関数および双曲線正接関数（すなわち、および（飽和）。f（x ）= t a n h （x ）f（バツ）=tanh（バツ）f(x) = tanh(x)f（x ）= 11 + e− x= （1 + e− x）− 1f（バツ）=11+e−バツ=（1+e−バツ）−1f(x) = \frac{1}{1 + e^{-x}} = (1 + e^{-x})^{-1} なぜこれらの関数を「飽和」または「非飽和」と呼ぶのですか？これらの機能はどのような意味で「飽和」または「非飽和」ですか？畳み込みニューラルネットワークのコンテキストでは、これらの用語はどういう意味ですか？機械学習（および統計）の他の分野で使用されていますか？

30 machine-learning  neural-networks  terminology  conv-neural-network 

例で問題を説明します。いくつかの属性（年齢、性別、国、地域、都市）を与えられた個人の収入を予測するとします。あなたはそのようなトレーニングデータセットを持っています train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")), Income=c(31,42,71,65, 50,51,101,38, 47,50,55,23)) train CountryID RegionID CityID Age Gender Income 1 1 1 1 23 M 31 2 1 1 1 48 F 42 3 1 1 2 62 M 71 4 …

29 regression  machine-learning  multilevel-analysis  correlation  dataset  spatial  paired-comparisons  cross-correlation  clustering  aic  bic  dependent-variable  k-means  mean  standard-error  measurement-error  errors-in-variables  regression  multiple-regression  pca  linear-model  dimensionality-reduction  machine-learning  neural-networks  deep-learning  conv-neural-network  computer-vision  clustering  spss  r  weighted-data  wilcoxon-signed-rank  bayesian  hierarchical-bayesian  bugs  stan  distributions  categorical-data  variance  ecology  r  survival  regression  r-squared  descriptive-statistics  cross-section  maximum-likelihood  factor-analysis  likert  r  multiple-imputation  propensity-scores  distributions  t-test  logit  probit  z-test  confidence-interval  poisson-distribution  deep-learning  conv-neural-network  residual-networks  r  survey  wilcoxon-mann-whitney  ranking  kruskal-wallis  bias  loss-functions  frequentist  decision-theory  risk  machine-learning  distributions  normal-distribution  multivariate-analysis  inference  dataset  factor-analysis  survey  multilevel-analysis  clinical-trials 

ニューラルネットワークでバイアスノードが使用される理由 いくつ使うべきですか？ どのレイヤーで使用する必要があります：すべての非表示レイヤーと出力レイヤー？

29 machine-learning  neural-networks  bias-node 

キャレットを使用して、データセットに対してクロス検証されたランダムフォレストを実行しています。Y変数は要因です。データセットにNaN、Inf、またはNAはありません。ただし、ランダムフォレストを実行すると、 Error in randomForest.default(m, y, ...) : NA/NaN/Inf in foreign function call (arg 1) In addition: There were 28 warnings (use warnings() to see them) Warning messages: 1: In data.matrix(x) : NAs introduced by coercion 2: In data.matrix(x) : NAs introduced by coercion 3: In data.matrix(x) : NAs introduced by …

29 r  random-forest  caret  regression  prediction  fitting  social-science  poisson-distribution  distributions  characteristic-function  bayesian  prior  regression  normal-distribution  interaction  nonparametric  skewness  svm  standard-deviation  standard-error  regression-coefficients  igraph  natural-language  word2vec  word-embeddings  regression  machine-learning  sampling  r  regression  machine-learning  random-forest  ensemble  sampling  unbiased-estimator  proof  estimators  mse  probability  conditional-probability  bayes  anova  missing-data  neural-networks  recommender-system  r  confidence-interval  sample  multiple-imputation  r  time-series  forecasting  mase 

統計および機械学習モデルには、複数のレベルの解釈可能性があります：1）アルゴリズム全体、2）アルゴリズムの一般的な部分3）特定の入力のアルゴリズムの部分、およびこれらの3つのレベルはそれぞれ2つの部分に分かれています1つはトレーニング用、もう1つは機能評価用です。最後の2つの部分は、最初の部分よりもはるかに近いです。私は＃2について尋ねていますが、これは通常＃3のより良い理解につながります）。（それらが「解釈可能性」を意味するものでない場合、私は何を考えるべきですか？） 解釈可能性に関する限り、ロジスティック回帰は最も簡単に解釈できるものの1つです。このインスタンスがしきい値を超えたのはなぜですか？そのインスタンスにはこの特定のポジティブな特徴があり、モデル内の係数が大きいためです。それはとても明白です！ ニューラルネットワークは、解釈が難しいモデルの典型的な例です。これらの係数はすべてどういう意味ですか？それらはすべて非常に複雑でクレイジーな方法で加算されるため、特定の係数が実際に何をしているのかを言うのは困難です。 しかし、すべてのディープニューラルネットが出てきているので、物事がより明確になっているように感じます。DLモデル（ビジョンなど）は、初期のレイヤーでエッジや向きなどをキャプチャしているように見え、後のレイヤーでは、いくつかのノードが実際にセマンティックであるようです（ことわざの「祖母セル」）。例えば： （「ディープラーニングについての学習」から） これは、プレゼンテーション用に手作業で作成されたグラフィックです（多くの場合）しかし、それが誰かがそれがどのように機能するかを考える証拠です。 過去には、認識可能な機能を見つけるのに十分なレイヤーがなかったかもしれません。モデルは成功しましたが、特定のモデルを事後的に分析するのは簡単ではありませんでした。 しかし、グラフィックは希望的観測に過ぎないかもしれません。おそらくNNは本当に不可解です。 しかし、ノードに画像のラベルが付いた多くのグラフィックスも非常に魅力的です。 DLノードは本当に機能に対応していますか？

27 neural-networks  deep-learning  interpretation 

CIFAR10データセットで簡単なニューラルネットワークをトレーニングしています。しばらくすると、検証の損失が増加し始めましたが、検証の精度も向上しています。テストの損失とテストの精度は向上し続けています。 これはどのように可能ですか？検証損失が増加すると、精度が低下するようです。 PS似たような質問がいくつかありますが、そこで何が起こっているのか誰も説明しませんでした。

27 neural-networks  deep-learning  conv-neural-network  overfitting 

完全たたみ込みネットワークなどのピクセルセグメンテーションニューラルネットワークをトレーニングする場合、クロスエントロピー損失関数とダイス係数損失関数のどちらを使用するかをどのように決定しますか？ これは短い質問ですが、他にどのような情報を提供すべきかはよくわかりません。2つの損失関数に関する多くのドキュメントを見ましたが、どちらを使用するかを直感的に理解することはできません。

27 neural-networks  loss-functions  cross-entropy 

f = x * y標準的なディープニューラルネットワークを使用して単純な回帰を実行するとします。 1つの非表示層を持つNNがすべての関数を近似できることを示す再調査があることを覚えていますが、正規化なしではNNはこの単純な乗算でさえ近似できませんでした。データのログ正規化のみが役立ちましたがm = x*y => ln(m) = ln(x) + ln(y). 、それはチートのように見えます。NNはログ正規化なしでこれを行うことができますか？揺れは明らかに（私にとって）-はい、それで質問はそのようなNNのタイプ/構成/レイアウトはどうあるべきかということですか？

27 regression  machine-learning  neural-networks  deep-learning 

私はここで次を読みました： シグモイド出力はゼロ中心ではありません。これは、ニューラルネットワークの処理の後の層のニューロン（これについては後ほど説明します）がゼロ中心でないデータを受信するため、望ましくありません。これは、勾配降下中のダイナミクスに影響を与えます。ニューロンに入るデータが常に正の場合（たとえば 、f = w T x + bでx>0x>0x > 0要素単位）、逆伝播中の重みwの勾配は次の いずれかになります。すべて正またはすべて負（式全体の勾配fに依存） f=wTx+bf=wTx+bf = w^Tx + bwwwfff）。これにより、重みの勾配更新に望ましくないジグザグダイナミクスが導入される可能性があります。ただし、これらの勾配がデータのバッチ全体で加算されると、重みの最終更新に可変符号が付き、この問題が多少緩和されることに注意してください。したがって、これは不便ですが、上記の飽和した活性化の問題と比較して、それほど深刻な結果はありません。 すべてのx>0x>0x>0（要素ごと）がwwwすべて正またはすべて負の勾配になるのはなぜですか？

26 neural-networks  deep-learning  backpropagation 

バイナリ分類を行うと仮定します（クラスAまたはクラスBに属するもの）。ニューラルネットワークの出力層でこれを行う可能性がいくつかあります。 1つの出力ノードを使用します。出力0（<0.5）はクラスAと見なされ、1（> = 0.5）はクラスBと見なされます（シグモイドの場合） 2つの出力ノードを使用します。入力は、最高の値/確率（argmax）を持つノードのクラスに属します。 これを議論する（また）書かれた論文はありますか？検索する特定のキーワードは何ですか？ この質問はすでにこのサイトですでに尋ねられています。たとえば、実際の答えのないこのリンクを参照してください。私は選択する必要があります（修士論文）ので、各ソリューションの賛否両論の洞察を得たいと思います。

26 machine-learning  classification  neural-networks