タグ付けされた質問 「neural-network」

私の理解では、各活性化関数の勾配が1未満のときにニューラルネットワークをトレーニングすると消失勾配問題が発生し、補正が多くの層で逆伝播すると、これらの勾配の積は非常に小さくなります。 整流器活性化関数のような他の解決策があることを知っていますが、私の質問は、よく使用されるtanh関数のバリエーションを単純に使用できない理由です。 アクティベーション機能が次の形式の場合 tanh(nx)tanh⁡(nx)\tanh(n x) 次に、可能な最大勾配は nnn。したがって、n>1n>1n > 1勾配の積が必ず 0になるケースはなくなりました。 このようなアクティベーション機能が失敗する理由は何かありますか？

7 machine-learning  neural-network  deep-learning  activation-function 

大規模な画像コレクションがあり、コレクションから他の画像をコピーしているように見える、そのコレクション内の画像を特定したいと考えています。 一致として分類したい画像ペアの種類を理解するために、次の例を検討してください。 私はおよそ.25Mの一致する画像のペアを手で分類しました。次に、それらの手でラベル付けされた一致を使用してニューラルネットワークモデルをトレーニングします。どのアーキテクチャがこのタスクに理想的に適しているかはわかりません。 元々は同様のタスクに使用されているので、シャムネットワークが適切かもしれないと思っていましたが、これらの分類子からの出力は、同じオブジェクトの異なる形を見つけるのに理想的です（これは私が望むものではありません）。同じ形の（それが私が欲しいものです）。 私が準備したトレーニングデータを前提として、画像の特定に理想的な論文やアーキテクチャを推奨できる人がいれば、私はあなたが提供できるあらゆる洞察に非常に感謝します。

7 machine-learning  neural-network  convnet  image-classification  computer-vision 

助けるために私はの利点と欠点を理解しdecision trees、KNN、Neural Networks、私は2クラス（中分類という単純な分類器構築したいBird SoundとはNon-Bird Sound）上記の3つの方法のすべてを使用します。そのため、kaggleからサウンドデータセットをダウンロードし、pysoundfileをサウンドファイルを読み取るためのモジュールとして探索していました。したがって、次のスタブ： data, samplerate = sf.read('xc94652.flac') numpy ndarrayを返します。shapeデータの各ファイル、いくつかのビーイングに応じて変化(8637686,)し、いくつかのビーイング(3227894,)。各ファイルは長さが異なるため、ファイルの形状はdataファイルごとに異なります。いくつかの方法があります、私は形をdata等しくすることができますか？すべてのファイルからデータセットの形状を最小の長さにすることを計画していました。しかし、それは間違いなくサウンドファイルデータセットを正当化しません。多くの機能が失われる可能性があり、最終的にモデルの精度が失われる可能性があります。

7 machine-learning  python  neural-network  decision-trees  k-nn 

次のような散布図があるとします。 私はこのような散布図をたくさん持っているので(x,y)、NNに入力するために特徴変換、つまり単一の用語でスカッシュを実行したいと思います。どのタイプの変換x/y、(x/y)^2または他の変換がこのタイプのグラフで最も効果的に機能するか、つまり、単一の項に押しつぶしながら分離をさらに増やします。

7 machine-learning  neural-network  feature-extraction 

これに似たCNNダイアグラムを描く必要があります。 https://datascience.stackexchange.com/a/14900に記載されているすべてのツールを試しましたが、簡単な方法はありません。自動化する方法はありますか？または手動で行う必要がありますか？ さらに、これを描くことは可能ですか？： http://alexlenail.me/NN-SVG/LeNet.htmlを見つけましたが、この場合、各レイヤーへの入力は完全な正方形であると想定されています。したがって、上の図を描くことはできません。

7 machine-learning  neural-network  deep-learning 

この質問は少し奇妙に見えるかもしれません。私は情報理論についていくつかの自習をしていて、ディープラーニングについてさらに正式な調査を行うことにしました。私が説明しようとするので、我慢してください。私はMNISTの大きな「トレーニング」サブセットをモルモットとして使用しました。 1）MNISTのすべての画像を「白黒」に変換（ピクセル値は0または1のみ） 2）すべてのデータ画像を合計してピクセルのヒストグラムを作成しました-データセットで各ピクセルが1の値を取得する回数をカウントしました 3）「真の」確率分布の推定値を取得するための正規化されたヒストグラム 4）これから、私は次の確率分布を得ました（matplotlibでヒートマップとして示されています）： [ 5）今私はエントロピーを計算して得た：ビット191191191 6）デービッドマッケイの情報理論の本によると、ニューラルネットワークをノイズの多いチャネルとして解釈し、各ニューロンが2ビットの容量を持つと見なすことができます。彼はこの考えを注意して使うように述べていますが。彼の本の第40章http://www.inference.org.uk/itila/book.html） 7）したがって、大まかな見積もりとして（そして注意して）、このMNISTトレーニングセット（190/2）のラベルをエンコードできるようにするには、95ニューロンのニューラルネットワークが必要になると言えます。8）これで、私の質問に： これが非常に「エンベロープの逆」計算である場合でも、ラベリングを学習できるニューラルネットワークは、少なくとも95ニューロンの球場にあるべきではないでしょうか。たとえば、99％の精度を得るために21840パラメータを持つニューラルネットワークが必要なのはなぜですか？（MNISTのPyTorchの例の1つを考慮：https : //github.com/pytorch/examples/blob/master/mnist/main.py）

7 neural-network  deep-learning  information-theory 

2つ（原則としてそれ以上）の1xN時系列があり、両方の次の値を予測するようにNNをトレーニングしたいと思います。それらを2xNマトリックスとして配置し、このマトリックスからのウィンドウをNNへの入力としてフィードできますが、NN自体をどのように構成するかわかりません。 私は単一シリーズでかなりまともな仕事をすることができる畳み込みでNNを作成しましたが、シリーズ間相関を活用したいと思います。NNに時系列間の相関関係を通知させるには、どのトポロジが機能しますか？

7 machine-learning  neural-network  time-series  correlation 

回帰問題で、XGBoostやニューラルネットワークなどのモデルを指定して、特定の予測の信頼性/信頼性スコアを計算することはできますか？

7 machine-learning  neural-network  regression  decision-trees  xgboost 

標準のReLUはスペースの半分（勾配がゼロのx <0）を使用できないため、リークのあるReLUのパフォーマンスははるかに優れているように見えます。しかし、これは発生せず、実際にはほとんどの人が標準のReLUを使用しています。

7 neural-network  gradient-descent 

私の理解では、GPUの方がニューラルネットを実行する方が効率的ですが、最近誰かがGPUはトレーニングフェーズでのみ必要であると提案しました。いったんトレーニングされると、CPUで実行する方が実際にはより効率的です。 これは本当ですか？

7 neural-network  deep-learning  gpu 

入力が異なる長さのベクトルである場合、一貫した出力を提供するニューラルネットワークを作成することは可能ですか？ 私は現在、さまざまな長さのオーディオファイルを多数サンプリングし、ニューラルネットワークをトレーニングして、特定の入力で必要な出力が得られる状況にあります。異なる番号の入力を行う、長さが異なるオーディオファイルのサンプルを指定して、MFCC機能を生成できる回帰ネットワークを作成しようとしています。

7 neural-network  regression  tensorflow  supervised-learning  audio-recognition 

ReLUは、として定義されるアクティブ化関数です。ここで、a = Wx + bです。h=max(0,a)h=max(0,a)h = \max(0, a)a=Wx+ba=Wx+ba = Wx + b 通常、SGD、Adam、RMSprop、Adadelta、Adagradなどの1次の方法でニューラルネットワークをトレーニングします。1次メソッドの逆伝播には、1次導関数が必要です。したがって、xxxは1に導出され111ます。 しかし、2次法を使用する場合、ReLUの導関数は000ますか？なぜならxxxに誘導される111と再び導かれる000。エラーでしょうか？たとえば、ニュートンの方法では、0で除算します000。（まだヘッセなしの最適化を理解していません。IIRC、それは実際のヘッセの代わりに近似のヘッセを使用することの問題です）。 このh '' = 0の影響は何h′′=0h″=0h''=0ですか？二次法のReLUでニューラルネットワークをトレーニングできますか？それとも、トレーニング不可/エラー（nan / infinity）でしょうか？ 明確にするために、これはf（x）としてのReLU f(x)f(x)f(x)です。 f(x)=f(x)=f(x) = 0xforforx&lt;0x≥00forx&lt;0xforx≥0\begin{array}{rcl} 0 & \mbox{for} & x < 0\\ x & \mbox{for} & x \ge 0\end{array} f′(x)=f′(x)=f'(x) = 01forforx&lt;0x≥00forx&lt;01forx≥0\begin{array}{rcl} 0 & \mbox{for} & x < 0\\ 1 …

7 neural-network  optimization  backpropagation 

独自のトレーニングアルゴリズムを作成していますが、バイアスの重みを設定する方法がわかりません。 どのレイヤーでもバイアスを設定する必要がありますか？ バイアスの重みは、すべてのレイヤーで更新する必要がありますか？

7 machine-learning  neural-network  backpropagation 

ニューラルネットワークアーキテクチャでは、一部のレイヤーでシグモイド関数を使用し、他のレイヤーでtanh関数を使用できますか？それは良い選択ですか？

7 neural-network 

私は実際の信用借入者のデータセット（50,000レコード）を持っています。このセットには、既婚、独身、離婚などのカテゴリと、収入、年齢などの連続データが含まれます。一部のレコードは不完全であるか、外れ値が含まれています。従属変数はDefaulted / Good（0,1）です。ニューラルネットワークをトレーニングして、トレーニングデータに基づいてデフォルトを予測しようとしています。ニューラルネットワークの経験があり、サンプルデータに使用して素晴らしい結果を得ましたが、ノイズの多い実世界のデータを正規化する必要はありませんでした。 私が心に留めておくべきことについての考え：-カテゴリを正規化する方法。インデックス番号を割り当てることはできますか？それらを層別化する必要がありますか？-欠損データの扱い方。0を割り当てますか？-デフォルトがデータセットの約5％に過ぎないという事実に対処する方法。これらの低い確率を予測するためにどの伝達関数が役立つでしょうか。-基本的に、その他の実世界のデータに関するアドバイスは非常に高く評価されています。 前もって感謝します！

7 machine-learning  neural-network  data-cleaning  forecast