タグ付けされた質問 「deep-learning」

バギングは、単一の予測子としてアンサンブルとして機能する複数の予測子の生成です。ドロップアウトは、考えられるすべてのサブネットワークを平均化するためにニューラルネットワークに教える手法です。最も重要なKaggleのコンペティションを見ると、この2つの技術は非常に頻繁に使用されているようです。実際の実装以外に理論的な違いは見られません。実際のアプリケーションで両方を使用する理由を誰が説明できますか？そして、両方を使用するとパフォーマンスが向上するのはなぜですか？

17 machine-learning  neural-network  deep-learning 

Andrej Karphatyの次のメモに基づいて、モデルをトレーニングするためにGPUに必要なメモリ量を計算しようとしています：http ://cs231n.github.io/convolutional-networks/#computational-considerations 私のネットワークには、532,752のアクティベーションと19,072,984のパラメーター（重みとバイアス）があります。これらはすべて32ビットのfloat値であるため、それぞれが4バイトのメモリを消費します。 私の入力画像は180x50x1（幅x高さx奥行き）= 9,000 float 32値です。私は画像増強を使用しないので、その他のメモリはミニバッチサイズにのみ関連すると思います。128個の画像のミニバッチサイズを使用しています。 Andrejの推奨に基づいて、次のメモリサイズを取得します。 アクティベーション： 532,752 * 4 /（1024 ^ 2）= 2.03 MB パラメーター： 19,072,984 * 4 /（1024 ^ 2）* 3 = 218.27 MB その他： 128 * 9,000 * 4 /（1024 ^ 2）= 4.39 MB したがって、このネットワークをトレーニングするための合計メモリは224,69 MBになります。 TensorFlowを使用していますが、何かが足りないと思います。私はまだトレーニングを実行していませんが、（過去の経験に基づいて）使用中のメモリが計算した値よりもはるかに大きいことを確信しています。 ミニバッチの各画像について、TensorFlowが勾配を保持して、単一の重み/バイアス更新ステップで後で正規化できる場合、メモリは別の532,752 * 128の値を考慮する必要があると思います（各画像の勾配ミニバッチ）。その場合、128個のイメージ/ミニバッチでこのモデルをトレーニングするには、260.13 MBがさらに必要になります。 ディープラーニングモデルをトレーニングするためのメモリに関する考慮事項を理解するのに役立ちますか？上記の考慮事項は正しいですか？

17 deep-learning  tensorflow 

著者識別問題に関するプロジェクトを行っています。データのトレーニングにtf-idf正規化を適用し、そのデータでsvmをトレーニングしました。 分類子を使用する場合、テストデータも正規化する必要があります。正規化の基本的な目的は、学習中に、学習アルゴリズムがより重要な機能により重点を置くようにすることだと感じています。そのため、トレーニングが完了すると、どの機能が重要であり、どれが重要ではないかをすでに知っています。正規化をテストデータにも適用する必要はありますか？ この分野は初めてです。質問が愚かに見える場合は無視してください？

17 machine-learning  neural-network  deep-learning 

Kerasでのトレーニングval_lossとlossトレーニング中の違いは何ですか？ 例えば Epoch 1/20 1000/1000 [==============================] - 1s - loss: 0.1760, val_loss: 0.2032 検証時に読んだいくつかのサイトでは、ドロップアウトが機能していませんでした。

17 machine-learning  deep-learning  keras 

Tensorflow Webサイトから機械学習を学び始めています。ディープラーニングプログラムがたどる流れについて、非常に初歩的な理解を身に付けました（この方法は、本や大きな記事を読む代わりに、速く学ぶことができます）。 私が遭遇したいくつかの紛らわしいことがありますが、そのうちの2つは次のとおりです。 バイアス 重量 tensorflowウェブサイトに関するMNISTチュートリアルでは、画像内の特定のパターンの存在の証拠を見つけるためにバイアスと重みが必要であると述べています。私が理解できないのは、BiasとWeightの値がどこでどのように決定されるかです。 これらの値を提供する必要がありますか、それともTensorFlowライブラリはトレーニングデータセットに基づいてこれらの値を自動的に計算しますか？ また、ディープラーニングで私のペースを加速する方法についていくつかの提案を提供できれば、それは素晴らしいことです！ Tensorflow初心者向けチュートリアル

16 machine-learning  deep-learning  tensorflow 

私はconvnetsで少し遊んでいます。具体的には、猫または犬（それぞれ12500）としてラベル付けされた25000個の画像で構成されるkaggle cats-vs-dogsデータセットを使用しています。 テストセットで約85％の分類精度を達成できましたが、90％の精度を達成するという目標を設定しました。 私の主な問題は過剰適合です。どういうわけか、それは常に起こることになります（通常、エポック8-10の後）。私のネットワークのアーキテクチャは、VGG-16に大まかに触発されています。具体的には、画像のサイズを128 x 128 x 3128x128x3128x128x3に変更し、次に実行します。 Convolution 1 128x128x32 (kernel size is 3, strides is 1) Convolution 2 128x128x32 (kernel size is 3, strides is 1) Max pool 1 64x64x32 (kernel size is 2, strides is 2) Convolution 3 64x64x64 (kernel size is 3, strides is 1) Convolution …

16 neural-network  deep-learning  convnet  image-recognition  dropout 

corr()元のdfからdf を作成します。corr()DFは、70 X 70から出てきたし、ヒートマップを可視化することは不可能です... sns.heatmap(df)。を表示しようとするcorr = df.corr()と、テーブルが画面に収まらず、すべての相関関係を確認できます。dfサイズに関係なく全体を印刷する方法ですか、ヒートマップのサイズを制御する方法ですか？

16 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 

でKerasゼロからトレーニングconvnetsにブログ、コードのショーは唯一のネットワークは、トレーニングや検証データ上で実行されています。テストデータはどうですか？検証データはテストデータと同じですか（そうではないと思います）。trainおよびvalidationフォルダーと同様の行に個別のテストフォルダーがあった場合、テストデータの混同マトリックスを取得する方法を教えてください。これを行うにはscikit learnまたは他のパッケージを使用する必要があることはわかっていますが、テストデータのクラスごとの確率に沿って何かを取得するにはどうすればよいですか？これを混同行列に使用したいと思っています。

16 machine-learning  python  deep-learning  keras  confusion-matrix 

違いは何であるfit()とfit_generator()Kerasでは？ いつfit()vs を使用すべきfit_generator()ですか？

16 deep-learning  keras 

矢印のトップダウン画像があり、この矢印が作る角度を予測したいとします。これは間であろう及び度、又は間にと。問題は、このターゲットが円形であり、度と度がまったく同じであるということです。これは、ターゲットに組み込む不変性であり、一般化に大きく役立つはずです（これは私の仮定です）。問題は、これを解決する明確な方法が見当たらないということです。この問題（または同様のもの）に取り組む試みの論文はありますか？私はそれらの潜在的な欠点についていくつかのアイデアを持っています。0003603603600002π2π2\pi000360360360 、シグモイド又はTANH活性化を使用する（それをスケーリング0,2π)0,2π)0, 2\pi)の範囲と損失関数に円形のプロパティを組み込みます。境界線上にある場合（最悪の予測）、わずかなノイズのみが重みを何らかの方法で押し上げるため、これはかなり難しいと思います。また、近い方の境界に値000と2π2π2\pi絶対事前活性値が無限大に近いことが必要となるため、到達するのがより困難になります。 と 2つの値に回帰し、これらの2つの値がなす角度に基づいて損失を計算します。これにはもっと可能性があると思いますが、このベクトルの標準には制限がなく、数値の不安定性につながり、トレーニング中に爆発するか0になる可能性があります。これは、この規範が1から離れすぎないようにするために、奇妙なレギュラーを使用することで解決できる可能性があります。xxxyyy 他のオプションはサイン関数とコサイン関数で何かをすることですが、複数の事前アクティベーションが同じ出力にマッピングされると、最適化と一般化も非常に難しくなると思います。

15 neural-network  deep-learning  loss-function  parameter-estimation 

10個のオブジェクトを認識するために、事前に訓練されたネットワークで転移学習を行ったとします。トレーニング済みの10個のすべてのカテゴリも、トレーニング済みの元のモデルからの情報も失うことなく、ネットワークが分類できる11番目の項目を追加するにはどうすればよいですか？友人から、この分野で活発な研究が行われていると言われましたが、関連する論文や検索する名前が見つかりませんか？ ありがとうございました。

15 neural-network  deep-learning 

Googleは最近、Tensorflowのナイトリービルドに含まれているEagerモード、Tensorflow計算機能にアクセスするための必須APIです。 Tensorflow EagerはPyTorchと比較してどうですか？ 比較に影響を与える可能性のある側面は次のとおりです。 静的グラフのレガシー（ノード内の名前など）によるeagerの長所と短所。 どちらにも固有の制限があり、もう一方にはありません。 それらの1つが改善が必要な領域（機能の完全性、計算の最適化など）。 生態系の違い（例：テンソルボード？）。 注1：Yaroslav Bulatovは熱心な素晴らしい機能についてのレビューを書きました。 注2：前の質問で、PyTorchとTensorflow Foldの比較をリクエストしました。当時、FoldはGoogleの支援のおかげでPyTorchに直面しているように思えました。私は非常に間違っていました。最終的には、Google自体がEoldを支持してFoldを放棄しました。これは、通常のテンソルフローAPIの固有の制限が原因で、Foldがあまり親しみにならず、その採用が制限されていたことがわかります。

14 deep-learning  tensorflow  pytorch 

私は、トレーニングのためにディープニューラルネットワークに入力するのに十分なデータセット（画像）を見つけることができなかった問題を扱っています。 私は、スコット・リードらによって発行された論文「Generative Adversarial Text to Image Synthesis」にとても触発されました。生成的敵対ネットワークについて。 私はそれを知りたいのですが、利用可能な小さなデータセットをGANモデルへの入力として使用し、より深いネットワークモデルに対処するためにはるかに大きなデータセットを生成できますか？ それで十分でしょうか？

14 deep-learning  gan 

私はこの論文を理解しようとしていますが、双線形アップサンプリングとは何なのかわかりません。誰でもこれを高レベルで説明できますか？ https://arxiv.org/abs/1606.00915

14 deep-learning  convnet  cnn  convolution 

畳み込みニューラルネットワークをトレーニングして、霧の状態（3クラス）で画像を分類しています。ただし、約150.000個の画像のそれぞれについて、画像のクラスの予測に役立つ可能性のある4つの気象変数も利用できます。気象変数（温度、風速など）を既存のCNN構造に追加して、分類に役立つようにするにはどうすればよいのかと思っていました。 私がすでに考えることができる1つの方法は、CNNと一緒に別の（小さな）フィードフォワードニューラルネットを作成し、CNNレイヤーの出力と非イメージニューラルネットの非表示レイヤーを密なレイヤーで互いに連結することです。 私が考えることができる2番目の方法は、これらの機能を密なレイヤーに接触させることです。ただし、この場合、非画像変数は線形予測のみを行うことができます。 非画像機能をモデルに含めることができる他の（より良い）方法はありますか？そして、私が持っているデータの量を考慮して、推奨される方法は何でしょうか？ 私が持っている別の質問は、これらの非画像機能でトレーニング中に畳み込み層をフリーズ解除する必要があるかどうかです。Resnet-18のこれらのレイヤー（ImageNetで事前トレーニング済みとして初期化された）は、画像を使用して既に微調整されています。私の推測では、非画像フィーチャが画像フィーチャと「接触」するのはここだけであるため（CNNの初期段階ではない）、それらを凍結したまま高密度レイヤーのみを凍結解除する必要があります。これが間違っている場合は、そう言ってください！

14 machine-learning  neural-network  deep-learning  tensorflow  cnn