タグ付けされた質問 「convnet」

使用する必要があるLSTMセルの最小、最大、および「妥当な」量に関する経験則（または実際の規則）はありますか？具体的には、TensorFlowとプロパティのBasicLSTMCellに関連していnum_unitsます。 私が定義する分類問題があると仮定してください： t - number of time steps n - length of input vector in each time step m - length of output vector (number of classes) i - number of training examples たとえば、トレーニングの例の数は次の数よりも多い必要がありますか？ 4*((n+1)*m + m*m)*c cセルの数はどこですか？これに基づいています：LSTMネットワークのパラメーターの数を計算する方法？私が理解しているように、これはパラメータの総数を与えるはずであり、トレーニング例の数よりも少なくなければなりません。

12 rnn  machine-learning  r  predictive-modeling  random-forest  python  language-model  sentiment-analysis  encoding  machine-learning  deep-learning  neural-network  dataset  caffe  classification  xgboost  multiclass-classification  unbalanced-classes  time-series  descriptive-statistics  python  r  clustering  machine-learning  python  deep-learning  tensorflow  machine-learning  python  predictive-modeling  probability  scikit-learn  svm  machine-learning  python  classification  gradient-descent  regression  research  python  neural-network  deep-learning  convnet  keras  python  tensorflow  machine-learning  deep-learning  tensorflow  python  r  bigdata  visualization  rstudio  pandas  pyspark  dataset  time-series  multilabel-classification  machine-learning  neural-network  ensemble-modeling  kaggle  machine-learning  linear-regression  cnn  convnet  machine-learning  tensorflow  association-rules  machine-learning  predictive-modeling  training  model-selection  neural-network  keras  deep-learning  deep-learning  convnet  image-classification  predictive-modeling  prediction  machine-learning  python  classification  predictive-modeling  scikit-learn  machine-learning  python  random-forest  sampling  training  recommender-system  books  python  neural-network  nlp  deep-learning  tensorflow  python  matlab  information-retrieval  search  search-engine  deep-learning  convnet  keras  machine-learning  python  cross-validation  sampling  machine-learning 

私はアプリケーションのプロトタイプを作成していますが、生成されたいくつかの文の複雑さを計算するための言語モデルが必要です。 すぐに使用できるPythonのトレーニング済み言語モデルはありますか？のような単純なもの model = LanguageModel('en') p1 = model.perplexity('This is a well constructed sentence') p2 = model.perplexity('Bunny lamp robert junior pancake') assert p1 < p2 一部のフレームワークを確認しましたが、必要なものが見つかりませんでした。私は次のようなものを使用できることを知っています： from nltk.model.ngram import NgramModel lm = NgramModel(3, brown.words(categories='news')) これはブラウンコーパスの優れたチューリング確率分布を使用していますが、1bワードデータセットなどの大きなデータセットで巧妙に作成されたモデルを探していました。一般的なドメイン（ニュースだけでなく）の結果を実際に信頼できるもの

11 python  nlp  language-model  r  statistics  linear-regression  machine-learning  classification  random-forest  xgboost  python  sampling  data-mining  orange  predictive-modeling  recommender-system  statistics  dimensionality-reduction  pca  machine-learning  python  deep-learning  keras  reinforcement-learning  neural-network  image-classification  r  dplyr  deep-learning  keras  tensorflow  lstm  dropout  machine-learning  sampling  categorical-data  data-imputation  machine-learning  deep-learning  machine-learning-model  dropout  deep-network  pandas  data-cleaning  data-science-model  aggregation  python  neural-network  reinforcement-learning  policy-gradients  r  dataframe  dataset  statistics  prediction  forecasting  r  k-means  python  scikit-learn  labels  python  orange  cloud-computing  machine-learning  neural-network  deep-learning  rnn  recurrent-neural-net  logistic-regression  missing-data  deep-learning  autoencoder  apache-hadoop  time-series  data  preprocessing  classification  predictive-modeling  time-series  machine-learning  python  feature-selection  autoencoder  deep-learning  keras  tensorflow  lstm  word-embeddings  predictive-modeling  prediction  machine-learning-model  machine-learning  classification  binary  theory  machine-learning  neural-network  time-series  lstm  rnn  neural-network  deep-learning  keras  tensorflow  convnet  computer-vision 

どのように考え、最適化前の訓練を受けた neural network別の問題に適用することを？事前トレーニング済みのモデルにさらにレイヤーを追加して、データセットでテストしますか？ たとえば、タスクがCNNを使用して壁紙グループを分類することであった場合、猫と犬の画像でトレーニングされた事前トレーニング済みネットワークを直接分類することはできませんが、どちらも画像分類子です。

11 neural-network  deep-learning  classification  convnet 

これら2つの畳み込み演算は、現在、深層学習で非常に一般的です。 このペーパーで拡張した畳み込み層について読みました：WAVENET：A GENERATIVE MODEL for RAW AUDIO とデコンボリューションはこの論文にあります：セマンティックセグメンテーションのための完全たたみ込みネットワーク どちらも画像をアップサンプリングするようですが、違いは何ですか？

11 machine-learning  deep-learning  convnet  computer-vision  convolution 

画像からスニーカーのタイプを特定するというタスクのプロジェクトを始めています。私は現在TensorFlowとTorchの実装を読んでいます。私の質問は、妥当な分類パフォーマンスに到達するためにクラスごとにいくつの画像が必要ですか？

11 machine-learning  neural-network  image-classification  convnet  image-recognition 

CNN（畳み込みニューラルネットワーク）を使用してドキュメントを分類しようとしています。短いテキスト/文のCNNは多くの論文で研究されています。ただし、長いテキストやドキュメントにCNNを使用した論文はないようです。 私の問題は、ドキュメントの機能が多すぎることです。私のデータセットでは、各ドキュメントに1000を超えるトークン/単語があります。各例をCNNに送るために、word2vecまたはgloveを使用して各ドキュメントをマトリックスに変換し、大きなマトリックスを作成します。各行列の高さはドキュメントの長さで、幅は単語埋め込みベクトルのサイズです。私のデータセットには9000を超える例があり、ネットワークのトレーニングに長い時間がかかり（1週間）、パラメーターの微調整が難しくなっています。 別の特徴抽出方法は、単語ごとにワンホットベクトルを使用することですが、これにより非常にスパース行列が作成されます。そしてもちろん、この方法では、以前の方法よりもトレーニングに時間がかかります。 それで、大きな入力行列を作成せずに特徴を抽出するためのより良い方法はありますか？ また、可変長のドキュメントをどのように処理する必要がありますか？現在、ドキュメントを同じ長さにするために特別な文字列を追加していますが、これは良い解決策ではないと思います。

11 classification  neural-network  text-mining  convnet  word2vec 

CNNに必要な重みとバイアスの数を把握しようとしています。 （3、32、32）-imageがあり、（32、5、5）-filterを適用したいとします。各フィーチャマップには5x5の重みがあるので、3 x（5x5）x 32のパラメーターが必要です。次に、バイアスを追加する必要があります。（3 x（5x5）+ 1）x 32パラメータしかないので、バイアスはすべての色（RGB）で同じですか？ これは正しいです？異なる重みを使用している間、各画像の深度全体にわたって同じバイアス（この場合は3）を維持しますか？何故ですか？

11 deep-learning  convnet  backpropagation 

私は、EEGコンテキストでリカレントアーキテクチャを解釈する方法を知りたいです。具体的には、これを（LSTMのようなアーキテクチャーとは対照的に）再帰CNNと考えていますが、他のタイプの再帰ネットワークにも適用される可能性があります R-CNNについて読んだとき、それらは通常、画像分類のコンテキストで説明されています。それらは通常、「時間をかけて学習する」または「現在の入力に対するtime-1の影響を含む」と表現されます。 この解釈/説明は、EEGデータを扱うときに本当に混乱します。脳波データで使用されているR-CNNの例はここにあります それぞれが1x512アレイで構成されるトレーニング例があるとします。このアレイは、512の連続した時点で1つの電極の電圧測定値を取得します。これを（1D畳み込みを使用して）再発CNNへの入力として使用すると、モデルの再発部分が実際に「時間」をキャプチャしていませんよね？（前述の説明/説明によって暗示されるように）このコンテキストでは、時間はすでにアレイの2番目の次元によってキャプチャされているため このように設定すると、ネットワークの繰り返し部分によって、通常のCNNが（時間でない場合でも）できないことを実際にモデル化できるようになりますか？ 再発とは、たたみ込みを実行し、その結果を元の入力に追加し、再度たたみ込みを行うことを意味するだけのようです。これはx回の反復ステップで繰り返されます。このプロセスは実際にどのような利点をもたらしますか？

10 machine-learning  neural-network  convnet  rnn 

私が見たほとんどのネットワークには、最後のsoftmaxレイヤーの前に1つまたは2つの密なレイヤーがあります。 密な層の数とサイズを選択する原則的な方法はありますか？ 同じ数のパラメーターについて、2つの高密度層は1つよりも代表的ですか？ ドロップアウトは、各密なレイヤーの前に適用する必要がありますか、それとも一度だけ適用しますか？

10 convnet 

畳み込みの説明を読んである程度理解しました。誰かがこの操作がたたみ込みニューラルネットのたたみ込みにどのように関連しているかを理解するのを手伝ってくれませんか？gウェイトをかけるフィルターのような機能ですか？

10 machine-learning  neural-network  deep-learning  cnn  convolution  machine-learning  ensemble-modeling  machine-learning  classification  data-mining  clustering  machine-learning  feature-selection  convnet  pandas  graphs  ipython  machine-learning  apache-spark  multiclass-classification  naive-bayes-classifier  multilabel-classification  machine-learning  data-mining  dataset  data-cleaning  data  machine-learning  data-mining  statistics  correlation  machine-learning  data-mining  dataset  data-cleaning  data  beginner  career  python  r  visualization  machine-learning  data-mining  nlp  stanford-nlp  dataset  linear-regression  time-series  correlation  anomaly-detection  ensemble-modeling  data-mining  machine-learning  python  data-mining  recommender-system  machine-learning  cross-validation  model-selection  scoring  prediction  sequential-pattern-mining  categorical-data  python  tensorflow  image-recognition  statistics  machine-learning  data-mining  predictive-modeling  data-cleaning  preprocessing  classification  deep-learning  tensorflow  machine-learning  algorithms  data  keras  categorical-data  reference-request  loss-function  classification  logistic-regression  apache-spark  prediction  naive-bayes-classifier  beginner  nlp  word2vec  vector-space-models  scikit-learn  decision-trees  data  programming 

2つのテンソルがありa:[batch_size, dim] b:[batch_size, dim]ます。バッチ内のすべてのペアに対して内積を行い、を生成c:[batch_size, 1]しc[i,0]=a[i,:].T*b[i,:]ます。どうやって？

10 tensorflow  scikit-learn  svm  cross-validation  feature-selection  bayesian  machine-learning  decision-trees  parameter-estimation  neural-network  convnet  neural-network  regularization  visualization  machine-learning  similarity  python  pandas  indexing  r  data-cleaning  machine-learning  predictive-modeling  data-cleaning  recommender-system  python  sequential-pattern-mining  software-recommendation  r  visualization  gaussian  distribution  machine-learning  data-mining  bigdata  apache-hadoop  predictive-modeling  logistic-regression  sampling  machine-learning  regression  feature-selection  mongodb  neural-network  inception  machine-learning  classification  dataset  databases  logistic-regression  deep-learning  backpropagation  classification  data-mining  multilabel-classification  text-mining  data-cleaning  unsupervised-learning  anomaly-detection  python  r  python  pandas 

私は脳波データの分析に取り組んでいますが、最終的には分類する必要があります。ただし、レコーディングのラベルを取得するにはいくらか費用がかかるため、非常に大量のラベルなしデータをより適切に利用するために、教師なしアプローチを検討するようになりました。 これは当然、スタックオートエンコーダの検討につながりますが、これは良いアイデアかもしれません。ただし、畳み込みニューラルネットワークを使用することも意味があります。これは、何らかのフィルタリングがEEGに対して非常に有用なアプローチであり、考慮されるエポックが全体ではなくローカルで分析される必要があるためです。 2つのアプローチを組み合わせる良い方法はありますか？人々がCNNを使用するとき、彼らは一般的に教師付きトレーニングを使用しているようです、または何ですか？私の問題についてニューラルネットワークを探索することの2つの主な利点は、教師なしの側面と微調整であるようです（たとえば、人口データにネットワークを作成し、次に個人を微調整することは興味深いでしょう）。 それで、CNNが「不自由な」オートエンコーダであるかのようにCNNを事前トレーニングできるのか、それとも無意味なのか、誰かが知っていますか？ たとえば、深い信念ネットワークなど、他のアーキテクチャを検討する必要がありますか？

9 deep-learning  convnet  unsupervised-learning  autoencoder 

私たちが取り組んでいるプロジェクトに基づいて興味深いディスカッションがありました。なぜテンプレートマッチングアルゴリズムに対してCNN目視検査システムを使用するのですか？ 背景：特定のタイプのオブジェクトが「壊れている」/欠陥があるかどうか（この場合はPCB回路基板）を検出する単純なCNNビジョンシステム（ウェブカメラ+ラップトップ）のデモを示しました。私のCNNモデルは、静的な背景に適切な、壊れた回路基板（それぞれ約100枚の画像）の例を示していました。私たちのモデルは、事前に訓練されたVGG16（imagenet上）の最初のいくつかのconv / maxpoolレイヤーを使用し、次にいくつかの密集度を持ついくつかのさらにトレーニング可能なconvs / poolsを追加し、分類のためのdim-3 one hotエンコードされたベクトル化された出力に導きました：（is_empty、has_good_product、has_defective_product）。 モデルはかなり簡単にトレーニングされ、問題なく99％の検証に達しました。また、データセットが小さいことがわかっているため、さまざまなデータ拡張を使用してトレーニングを行いました。実際には、10回のうち約9回動作しましたが、同じ回路基板のいくつかのランダムな変換/回転により、逆のクラスに配置される場合があります。おそらく、より積極的なデータ拡張が役立つでしょう。とにかく、プロトタイプのコンセプトプロジェクトについては私たちは幸せでした。 今、私たちは別のエンジニアと彼の同僚に提示していました、そして彼はNNがこれには過剰であるという議論を持ち出しました、ただテンプレートマッチングを使うべきです、なぜCNNをしたいのでしょうか？ 私たちのアプローチが特定のアプリケーション（たとえば、検査する他の部品）でより優れている理由について、良い答えはありませんでした。私たちが提起したいくつかのポイント： 1）不変性に対してよりロバスト（たとえば、データ拡張を介して） 2）システムを改善するためにオンライン学習を行うことができます（たとえば、人間はどの例が間違っているかをソフトウェアに伝えることができます） 3）従来のコンピュータービジョンアルゴリズムのようにしきい値を設定する必要はありません。皆さんはどう思いますか、このタイプの検査タスクのためのCNNシステムにはもっと利点がありますか？どのような場合に、テンプレートマッチングよりも優れていますか？ 深いNNが仕事の技術になる可能性がある場合のいくつかのランダムなアイデア：入力の一部として3D深度センシングを必要とするシステム、または変形/ストレッチ/押しつぶすことができるが、依然として「良好」である任意のタイプのオブジェクト不良品ではない（例：ぬいぐるみ、ワイヤーなど）。あなたの考えを聞いて興味があります:)

9 machine-learning  convnet  image-classification 

現在、この論文の結果を再現する作業をしています。この論文では、特徴抽出にCNNを使用する方法について説明し、RBNを使用して事前トレーニングされたDnn-hmmの音響モデルを使用しています。 セクションIIIサブセクションAは、入力データを表すことができるさまざまな方法を述べています。静的、デルタ、デルタデルタのスペクトルプロットを縦に積み重ねることにしました。 したがって、次のようになります。 その後、ネットワークはどうあるべきかを説明します。彼らは畳み込みネットワークを使用すると述べていますが、ネットワークの構造については何もありませんか？さらに、ネットワークは常に畳み込み層と呼ばれますか？通常のネットワーク畳み込みニューラルネットワーク（cnn）と比較して、違いがあると思います。 ペーパーは違いに関してこれを述べます： （セクションIIIサブセクションBから） ただし、畳み込み層は、2つの重要な点で標準の完全に接続された非表示層とは異なります。まず、各畳み込み単位は、入力のローカル領域からのみ入力を受け取ります。これは、各単位が入力のローカル領域のいくつかの特徴を表すことを意味します。第2に、畳み込み層の単位自体をいくつかの特徴マップに編成できます。同じ特徴マップ内のすべての単位は同じ重みを共有しますが、下位層の異なる場所から入力を受け取ります 私が不思議に思っていたもう1つのことは、dnn-hmm音響モデルに供給するために必要な出力パラメーターの数が実際に紙に記述されているかどうかです。フィルターの数、フィルターのサイズなど、ネットワークの一般的な詳細をデコードできないようです。

9 neural-network  convnet  feature-extraction  audio-recognition 

ニューラルネットワークの正則化手法の違いを、好ましくは異なるドメイン（または少なくとも異なるデータセット）で示す論文はありますか？ 私は現在、ほとんどの人がコンピュータービジョンの正則化のためにドロップアウトのみを使用しているように思われるので、私は尋ねています。正則化のさまざまな方法を使用する理由（ない）があるかどうかを確認したいと思います。

9 neural-network  computer-vision  convnet  regularization  dropout