タグ付けされた質問 「neural-network」

1年の期間にわたって不規則な間隔でサンプリングされた連続変数があります。1日あたり1回以上の観測がある日もあれば、何日も観測されない日もあります。これにより、時系列のパターンを検出することが特に困難になります。これは、一部の月（たとえば10月）は高度にサンプリングされ、他の月はそうではないためです。 私の質問は、この時系列をモデル化するための最良のアプローチは何でしょうか？ ほとんどの時系列分析手法（ARMAなど）には固定周波数が必要だと思います。一定のサンプルを取得したり、非常に詳細なデータのサブセットを選択したりするために、データを集計できます。両方のオプションを使用すると、元のデータセットからいくつかの情報が失われ、異なるパターンが明らかになる可能性があります。 シリーズをサイクルで分解する代わりに、モデルにデータセット全体をフィードして、パターンを取得することを期待できます。たとえば、時間、平日、月をカテゴリー変数に変換し、重回帰を試みて良い結果を出しました（R2 = 0.71） 私はANNなどの機械学習手法でもこれらのパターンを不均一な時系列から選択できると考えていますが、誰かがそれを試したのではないかと思っていました。

12 neural-network  time-series  regression 

KerasトレーニングでEarly Stoppingコールバックを使用すると、一部のメトリック（通常は検証の損失）が増加しないときに停止します。検証損失の代わりに別のメトリック（精度、再現率、fメジャーなど）を使用する方法はありますか？これまでに見たすべての例は、次の例に似ています：callbacks.EarlyStopping（monitor = 'val_loss'、patience = 5、verbose = 0、mode = 'auto'）

12 machine-learning  neural-network  deep-learning  keras 

使用する必要があるLSTMセルの最小、最大、および「妥当な」量に関する経験則（または実際の規則）はありますか？具体的には、TensorFlowとプロパティのBasicLSTMCellに関連していnum_unitsます。 私が定義する分類問題があると仮定してください： t - number of time steps n - length of input vector in each time step m - length of output vector (number of classes) i - number of training examples たとえば、トレーニングの例の数は次の数よりも多い必要がありますか？ 4*((n+1)*m + m*m)*c cセルの数はどこですか？これに基づいています：LSTMネットワークのパラメーターの数を計算する方法？私が理解しているように、これはパラメータの総数を与えるはずであり、トレーニング例の数よりも少なくなければなりません。

12 rnn  machine-learning  r  predictive-modeling  random-forest  python  language-model  sentiment-analysis  encoding  machine-learning  deep-learning  neural-network  dataset  caffe  classification  xgboost  multiclass-classification  unbalanced-classes  time-series  descriptive-statistics  python  r  clustering  machine-learning  python  deep-learning  tensorflow  machine-learning  python  predictive-modeling  probability  scikit-learn  svm  machine-learning  python  classification  gradient-descent  regression  research  python  neural-network  deep-learning  convnet  keras  python  tensorflow  machine-learning  deep-learning  tensorflow  python  r  bigdata  visualization  rstudio  pandas  pyspark  dataset  time-series  multilabel-classification  machine-learning  neural-network  ensemble-modeling  kaggle  machine-learning  linear-regression  cnn  convnet  machine-learning  tensorflow  association-rules  machine-learning  predictive-modeling  training  model-selection  neural-network  keras  deep-learning  deep-learning  convnet  image-classification  predictive-modeling  prediction  machine-learning  python  classification  predictive-modeling  scikit-learn  machine-learning  python  random-forest  sampling  training  recommender-system  books  python  neural-network  nlp  deep-learning  tensorflow  python  matlab  information-retrieval  search  search-engine  deep-learning  convnet  keras  machine-learning  python  cross-validation  sampling  machine-learning 

私は現在、CNNのアーキテクチャーを理解しようとしています。畳み込み、ReLUレイヤー、プーリングレイヤー、完全接続レイヤーについて理解しています。しかし、私はまだ重みについて混乱しています。 通常のニューラルネットワークでは、各ニューロンに独自の重みがあります。完全に接続された層では、各ニューロンにも独自の重みがあります。しかし、私が知らないのは、各フィルターに独自の重みがあるかどうかです。逆伝播中に、完全に接続されたレイヤーの重みを更新する必要があるだけですか？または、すべてのフィルターに個別の重みを付けて更新する必要がありますか？

12 machine-learning  neural-network  deep-learning  image-classification  cnn 

私はアプリケーションのプロトタイプを作成していますが、生成されたいくつかの文の複雑さを計算するための言語モデルが必要です。 すぐに使用できるPythonのトレーニング済み言語モデルはありますか？のような単純なもの model = LanguageModel('en') p1 = model.perplexity('This is a well constructed sentence') p2 = model.perplexity('Bunny lamp robert junior pancake') assert p1 < p2 一部のフレームワークを確認しましたが、必要なものが見つかりませんでした。私は次のようなものを使用できることを知っています： from nltk.model.ngram import NgramModel lm = NgramModel(3, brown.words(categories='news')) これはブラウンコーパスの優れたチューリング確率分布を使用していますが、1bワードデータセットなどの大きなデータセットで巧妙に作成されたモデルを探していました。一般的なドメイン（ニュースだけでなく）の結果を実際に信頼できるもの

11 python  nlp  language-model  r  statistics  linear-regression  machine-learning  classification  random-forest  xgboost  python  sampling  data-mining  orange  predictive-modeling  recommender-system  statistics  dimensionality-reduction  pca  machine-learning  python  deep-learning  keras  reinforcement-learning  neural-network  image-classification  r  dplyr  deep-learning  keras  tensorflow  lstm  dropout  machine-learning  sampling  categorical-data  data-imputation  machine-learning  deep-learning  machine-learning-model  dropout  deep-network  pandas  data-cleaning  data-science-model  aggregation  python  neural-network  reinforcement-learning  policy-gradients  r  dataframe  dataset  statistics  prediction  forecasting  r  k-means  python  scikit-learn  labels  python  orange  cloud-computing  machine-learning  neural-network  deep-learning  rnn  recurrent-neural-net  logistic-regression  missing-data  deep-learning  autoencoder  apache-hadoop  time-series  data  preprocessing  classification  predictive-modeling  time-series  machine-learning  python  feature-selection  autoencoder  deep-learning  keras  tensorflow  lstm  word-embeddings  predictive-modeling  prediction  machine-learning-model  machine-learning  classification  binary  theory  machine-learning  neural-network  time-series  lstm  rnn  neural-network  deep-learning  keras  tensorflow  convnet  computer-vision 

私はPython、scikit-learn、kerasを使用しています。次のような前面時計の画像が30万枚あります： Watch_1、Watch_2、Watch_3。 入力として実際の時計の写真を受け取って、上の写真よりも理想的ではない状況で撮影したプログラム（異なる背景色、暗い稲妻など）を書き、それに3000の時計の中で最も類似している時計を見つけたいと思います。同様に、薄いレースの丸い茶色の時計の写真を入力として与えると、丸い形の暗い色の薄いレースの出力時計として期待されます。 これを行うための最も効率的な機械学習アルゴリズムは何ですか？ たとえば、このリンクをたどることで、2つの異なる解決策を考えています。 1）CNNを特徴抽出器として使用し、入力画像を参照して、画像のすべてのペアについてこれらの特徴間の距離を比較します。 2）シャムニューラルネットワークで2つのCNNを使用して画像を比較する。 これらの2つのオプションは、このタスクに最適なオプションですか、それとも他のことを提案しますか？ このタスクについて、事前にトレーニングされたニューラルネットワーク（事前に定義されたハイパーパラメーターを使用）を知っていますか？ これについてStackOverflowで興味深い投稿をいくつか見つけましたが、それらはかなり古いです：Post_1、Post_2、Post_3。

11 python  neural-network  keras 

どのように考え、最適化前の訓練を受けた neural network別の問題に適用することを？事前トレーニング済みのモデルにさらにレイヤーを追加して、データセットでテストしますか？ たとえば、タスクがCNNを使用して壁紙グループを分類することであった場合、猫と犬の画像でトレーニングされた事前トレーニング済みネットワークを直接分類することはできませんが、どちらも画像分類子です。

11 neural-network  deep-learning  classification  convnet 

私はテンソルフローを使用して単純なニューラルネットワークを作成していますが、自分で収集したデータを使用していますが、それは協力的ではありません：PIは、修正できない、または修正を見つけることができないエラーに遭遇しました。 エラーメッセージ： TypeError：2861.6152のFetch引数2861.6152に無効なtypeが含まれています。文字列またはTensorでなければなりません。（float32をTensorまたはOperationに変換できません。） エラーは私のコードの次の行を参照しています： _, cost = tf_session.run([optimizer, cost], feed_dict = {champion_data: batch_input, item_data: batch_output}) コードで次の行をコメントアウトしてもエラーが発生しないことはすでにわかっています。 prediction = neural_network_model(champion_data) cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(prediction, item_data)) optimizer = tf.train.AdamOptimizer().minimize(cost) _, cost = tf_session.run([optimizer, cost], feed_dict = {champion_data: batch_input, item_data: batch_output}) したがって、これらの行の1つが、期待どおりに表示されないものを取得しています。私はすでに明白なことを試しました（batch_inputとbatch_outputからnp.array（）を削除するか、それをlist（）で置き換えます）が、それは問題を解決しません。私の現在の仮説は、neural_network_model（champion_data）の出力が何らかの形で間違った形またはタイプであるというものですが、それをテストする方法、またはそうであることが判明した場合の解決方法はわかりません。 完全なコードはここにあります：https : //gist.github.com/HasseIona/4bcaf9f95ae828e056d5210a2ea07f88 編集：neural_network_modelに入力されるチャンピオンデータ、予測、およびコストがすべてテンソルであることを確認しました。私は問題がなんとかしてコードのfeed_dict = {}の部分にあるという仮説を使用して問題を解決しようとしましたが、今のところどこにも行きません

11 machine-learning  python  neural-network  tensorflow 

私は「ディープランキングで細かい画像の類似性を学習する」という論文のネットワークアーキテクチャを持っていて、3つの並列ネットワークからの出力が線形埋め込み層を使用してどのようにマージされるのか理解できません。このレイヤーに記載されている唯一の情報は、 最後に、3つの部分からの埋め込みを正規化し、それらを線形埋め込みレイヤーと組み合わせます。埋め込みの次元は4096です。 作者がこのレイヤーについて話しているときに、作者が何を意味するのかを理解するのを手伝ってくれる人はいますか？

11 neural-network  deep-network 

画像からスニーカーのタイプを特定するというタスクのプロジェクトを始めています。私は現在TensorFlowとTorchの実装を読んでいます。私の質問は、妥当な分類パフォーマンスに到達するためにクラスごとにいくつの画像が必要ですか？

11 machine-learning  neural-network  image-classification  convnet  image-recognition 

CNN（畳み込みニューラルネットワーク）を使用してドキュメントを分類しようとしています。短いテキスト/文のCNNは多くの論文で研究されています。ただし、長いテキストやドキュメントにCNNを使用した論文はないようです。 私の問題は、ドキュメントの機能が多すぎることです。私のデータセットでは、各ドキュメントに1000を超えるトークン/単語があります。各例をCNNに送るために、word2vecまたはgloveを使用して各ドキュメントをマトリックスに変換し、大きなマトリックスを作成します。各行列の高さはドキュメントの長さで、幅は単語埋め込みベクトルのサイズです。私のデータセットには9000を超える例があり、ネットワークのトレーニングに長い時間がかかり（1週間）、パラメーターの微調整が難しくなっています。 別の特徴抽出方法は、単語ごとにワンホットベクトルを使用することですが、これにより非常にスパース行列が作成されます。そしてもちろん、この方法では、以前の方法よりもトレーニングに時間がかかります。 それで、大きな入力行列を作成せずに特徴を抽出するためのより良い方法はありますか？ また、可変長のドキュメントをどのように処理する必要がありますか？現在、ドキュメントを同じ長さにするために特別な文字列を追加していますが、これは良い解決策ではないと思います。

11 classification  neural-network  text-mining  convnet  word2vec 

サーバーモニターアラームを取得し、問題の根本的な原因を特定するためのpybrainを調べています。教師あり学習を使用してトレーニングしたり、トレーニングデータセットをキュレーションしたりして満足しています。データは次のような構造になっています。 サーバータイプA＃1 警報タイプ1 警報タイプ2 サーバータイプA＃2 警報タイプ1 警報タイプ2 サーバータイプB＃1 アラームタイプ99 警報タイプ2 だから、あるn個のサーバーがして、XのことができるアラームUPまたはDOWN。どちらnとx可変です。 サーバーA1のアラーム1および2がDOWNである場合、そのサーバーでサービスaがダウンしており、問題の原因であると言えます。 すべてのサーバーでアラーム1がダウンしている場合、サービスaが原因であると言えます。 原因には複数のオプションが存在する可能性があるため、単純な分類は適切ではないようです。 また、後のデータソースをネットに結び付けたいと思います。一部の外部サービスにpingを実行するスクリプトだけなど。 シリアルサービスチェックのため、適切なアラームがすべて一度にトリガーされるとは限らないため、あるサーバーがダウンしてから5分後に別のサーバーがダウンする可能性があります。 私は最初にいくつかの基本的なことをしようとしています： from pybrain.tools.shortcuts import buildNetwork from pybrain.datasets import SupervisedDataSet from pybrain.supervised.trainers import BackpropTrainer INPUTS = 2 OUTPUTS = 1 # Build network # 2 inputs, 3 hidden, 1 output neurons net = buildNetwork(INPUTS, 3, …

11 machine-learning  neural-network 

ニューラルネットワークでの損失と精度のメトリックの共存に少し混乱しています。両方ともの比較の「正確さ」レンダリングするようになっているyyyとyは、そうではありませんか？では、トレーニングエポックで2つのアプリケーションを重複して使用するのではないでしょうか。さらに、なぜそれらは相関しないのですか？y^y^\hat{y}

11 neural-network  evaluation 

LSTMドロップアウト付きのマルチレイヤーを使用して、すべての非表示レイヤーと出力の高密度レイヤーにドロップアウトを配置することをお勧めしますか？ヒントンの論文（Dropoutを提案）で彼はDropoutをDenseレイヤーにのみ配置しましたが、それは隠された内部レイヤーが畳み込みであったためです。 もちろん、特定のモデルをテストすることはできますが、これについてコンセンサスがあるのか​​どうか疑問に思いました。

11 neural-network  lstm  rnn  dropout  stacked-lstm 

BERTは双方向（双方向トランスフォーマーを使用）なので、次の単語予測タスクに使用できますか？はいの場合、何を調整する必要がありますか？

11 neural-network  deep-learning  attention-mechanism  transformer  bert