タグ付けされた質問 「tensorflow」

kerasはTensorFlowの高レベルのインターフェイスとして機能することを知っています。 しかし、kerasは独自に多くの機能（データ入力、モデル作成、トレーニング、評価）を実行できるように思えます。 さらに、TensorFlowの機能の一部は、kerasに直接移植できます（たとえば、kerasでtfメトリックまたは損失関数を使用することができます）。 私の質問は、TensorFlowはケラでは再現できないものを提供していますか？

16 keras  tensorflow 

Tensorflow Webサイトから機械学習を学び始めています。ディープラーニングプログラムがたどる流れについて、非常に初歩的な理解を身に付けました（この方法は、本や大きな記事を読む代わりに、速く学ぶことができます）。 私が遭遇したいくつかの紛らわしいことがありますが、そのうちの2つは次のとおりです。 バイアス 重量 tensorflowウェブサイトに関するMNISTチュートリアルでは、画像内の特定のパターンの存在の証拠を見つけるためにバイアスと重みが必要であると述べています。私が理解できないのは、BiasとWeightの値がどこでどのように決定されるかです。 これらの値を提供する必要がありますか、それともTensorFlowライブラリはトレーニングデータセットに基づいてこれらの値を自動的に計算しますか？ また、ディープラーニングで私のペースを加速する方法についていくつかの提案を提供できれば、それは素晴らしいことです！ Tensorflow初心者向けチュートリアル

16 machine-learning  deep-learning  tensorflow 

corr()元のdfからdf を作成します。corr()DFは、70 X 70から出てきたし、ヒートマップを可視化することは不可能です... sns.heatmap(df)。を表示しようとするcorr = df.corr()と、テーブルが画面に収まらず、すべての相関関係を確認できます。dfサイズに関係なく全体を印刷する方法ですか、ヒートマップのサイズを制御する方法ですか？

16 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 

Googleは最近、Tensorflowのナイトリービルドに含まれているEagerモード、Tensorflow計算機能にアクセスするための必須APIです。 Tensorflow EagerはPyTorchと比較してどうですか？ 比較に影響を与える可能性のある側面は次のとおりです。 静的グラフのレガシー（ノード内の名前など）によるeagerの長所と短所。 どちらにも固有の制限があり、もう一方にはありません。 それらの1つが改善が必要な領域（機能の完全性、計算の最適化など）。 生態系の違い（例：テンソルボード？）。 注1：Yaroslav Bulatovは熱心な素晴らしい機能についてのレビューを書きました。 注2：前の質問で、PyTorchとTensorflow Foldの比較をリクエストしました。当時、FoldはGoogleの支援のおかげでPyTorchに直面しているように思えました。私は非常に間違っていました。最終的には、Google自体がEoldを支持してFoldを放棄しました。これは、通常のテンソルフローAPIの固有の制限が原因で、Foldがあまり親しみにならず、その採用が制限されていたことがわかります。

14 deep-learning  tensorflow  pytorch 

畳み込みニューラルネットワークをトレーニングして、霧の状態（3クラス）で画像を分類しています。ただし、約150.000個の画像のそれぞれについて、画像のクラスの予測に役立つ可能性のある4つの気象変数も利用できます。気象変数（温度、風速など）を既存のCNN構造に追加して、分類に役立つようにするにはどうすればよいのかと思っていました。 私がすでに考えることができる1つの方法は、CNNと一緒に別の（小さな）フィードフォワードニューラルネットを作成し、CNNレイヤーの出力と非イメージニューラルネットの非表示レイヤーを密なレイヤーで互いに連結することです。 私が考えることができる2番目の方法は、これらの機能を密なレイヤーに接触させることです。ただし、この場合、非画像変数は線形予測のみを行うことができます。 非画像機能をモデルに含めることができる他の（より良い）方法はありますか？そして、私が持っているデータの量を考慮して、推奨される方法は何でしょうか？ 私が持っている別の質問は、これらの非画像機能でトレーニング中に畳み込み層をフリーズ解除する必要があるかどうかです。Resnet-18のこれらのレイヤー（ImageNetで事前トレーニング済みとして初期化された）は、画像を使用して既に微調整されています。私の推測では、非画像フィーチャが画像フィーチャと「接触」するのはここだけであるため（CNNの初期段階ではない）、それらを凍結したまま高密度レイヤーのみを凍結解除する必要があります。これが間違っている場合は、そう言ってください！

14 machine-learning  neural-network  deep-learning  tensorflow  cnn 

現在、tf.one_hot（indices、depth）を使用したテンソルフローのコースを行っています。今、私はこれらのインデックスがそのバイナリシーケンスにどのように変化するか理解していません。 誰かが私に正確なプロセスを説明してもらえますか？？？

12 machine-learning  python  neural-network  deep-learning  tensorflow 

毎日生成される大規模な多次元データセットがあります。 過去と比較して、あらゆる種類の「異常」を検出するための優れたアプローチは何でしょうか？これは、ニューラルネットワークで対処できる適切な問題ですか？ どんな提案も大歓迎です。 追加情報：例はないため、メソッドは異常自体を検出する必要があります

12 tensorflow  keras  anomaly-detection 

非常に不均衡なデータの分類問題があります。過剰サンプリングと過少サンプリング、および過小評価されているカテゴリカル出力のコストを変更すると、より適切なフィッティングにつながることを読んだことがあります。これが行われる前は、テンソルフローは各入力を大多数のグループとして分類します（そして、90％を超える精度、つまり、意味がありません）。 各グループの逆パーセンテージの対数が、私が試した中で最高の乗数になったことに気づきました。コスト関数のより標準的な操作はありますか？これは正しく実装されていますか？ from collections import Counter counts = Counter(category_train) weightsArray =[] for i in range(n_classes): weightsArray.append(math.log(category_train.shape[0]/max(counts[i],1))+1) class_weight = tf.constant(weightsArray) weighted_logits = tf.mul(pred, class_weight) cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(weighted_logits, y)) optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate).minimize(cost)

12 tensorflow  loss-function 

使用する必要があるLSTMセルの最小、最大、および「妥当な」量に関する経験則（または実際の規則）はありますか？具体的には、TensorFlowとプロパティのBasicLSTMCellに関連していnum_unitsます。 私が定義する分類問題があると仮定してください： t - number of time steps n - length of input vector in each time step m - length of output vector (number of classes) i - number of training examples たとえば、トレーニングの例の数は次の数よりも多い必要がありますか？ 4*((n+1)*m + m*m)*c cセルの数はどこですか？これに基づいています：LSTMネットワークのパラメーターの数を計算する方法？私が理解しているように、これはパラメータの総数を与えるはずであり、トレーニング例の数よりも少なくなければなりません。

12 rnn  machine-learning  r  predictive-modeling  random-forest  python  language-model  sentiment-analysis  encoding  machine-learning  deep-learning  neural-network  dataset  caffe  classification  xgboost  multiclass-classification  unbalanced-classes  time-series  descriptive-statistics  python  r  clustering  machine-learning  python  deep-learning  tensorflow  machine-learning  python  predictive-modeling  probability  scikit-learn  svm  machine-learning  python  classification  gradient-descent  regression  research  python  neural-network  deep-learning  convnet  keras  python  tensorflow  machine-learning  deep-learning  tensorflow  python  r  bigdata  visualization  rstudio  pandas  pyspark  dataset  time-series  multilabel-classification  machine-learning  neural-network  ensemble-modeling  kaggle  machine-learning  linear-regression  cnn  convnet  machine-learning  tensorflow  association-rules  machine-learning  predictive-modeling  training  model-selection  neural-network  keras  deep-learning  deep-learning  convnet  image-classification  predictive-modeling  prediction  machine-learning  python  classification  predictive-modeling  scikit-learn  machine-learning  python  random-forest  sampling  training  recommender-system  books  python  neural-network  nlp  deep-learning  tensorflow  python  matlab  information-retrieval  search  search-engine  deep-learning  convnet  keras  machine-learning  python  cross-validation  sampling  machine-learning 

私はアプリケーションのプロトタイプを作成していますが、生成されたいくつかの文の複雑さを計算するための言語モデルが必要です。 すぐに使用できるPythonのトレーニング済み言語モデルはありますか？のような単純なもの model = LanguageModel('en') p1 = model.perplexity('This is a well constructed sentence') p2 = model.perplexity('Bunny lamp robert junior pancake') assert p1 < p2 一部のフレームワークを確認しましたが、必要なものが見つかりませんでした。私は次のようなものを使用できることを知っています： from nltk.model.ngram import NgramModel lm = NgramModel(3, brown.words(categories='news')) これはブラウンコーパスの優れたチューリング確率分布を使用していますが、1bワードデータセットなどの大きなデータセットで巧妙に作成されたモデルを探していました。一般的なドメイン（ニュースだけでなく）の結果を実際に信頼できるもの

11 python  nlp  language-model  r  statistics  linear-regression  machine-learning  classification  random-forest  xgboost  python  sampling  data-mining  orange  predictive-modeling  recommender-system  statistics  dimensionality-reduction  pca  machine-learning  python  deep-learning  keras  reinforcement-learning  neural-network  image-classification  r  dplyr  deep-learning  keras  tensorflow  lstm  dropout  machine-learning  sampling  categorical-data  data-imputation  machine-learning  deep-learning  machine-learning-model  dropout  deep-network  pandas  data-cleaning  data-science-model  aggregation  python  neural-network  reinforcement-learning  policy-gradients  r  dataframe  dataset  statistics  prediction  forecasting  r  k-means  python  scikit-learn  labels  python  orange  cloud-computing  machine-learning  neural-network  deep-learning  rnn  recurrent-neural-net  logistic-regression  missing-data  deep-learning  autoencoder  apache-hadoop  time-series  data  preprocessing  classification  predictive-modeling  time-series  machine-learning  python  feature-selection  autoencoder  deep-learning  keras  tensorflow  lstm  word-embeddings  predictive-modeling  prediction  machine-learning-model  machine-learning  classification  binary  theory  machine-learning  neural-network  time-series  lstm  rnn  neural-network  deep-learning  keras  tensorflow  convnet  computer-vision 

現在、大きなcsvファイル（> 70GBで6,000万行以上）でモデルをトレーニングしようとしています。そのために、tf.contrib.learn.read_batch_examplesを使用しています。この関数が実際にデータを読み取る方法を理解するのに苦労しています。たとえば50.000のバッチサイズを使用している場合、ファイルの最初の50.000行を読み取りますか？ファイル全体（1エポック）をループする場合は、num_rows / batch_size = 1.200ステップ数をestimator.fitメソッドに使用する必要がありますか？ 現在使用している入力関数は次のとおりです。 def input_fn(file_names, batch_size): # Read csv files and create examples dict examples_dict = read_csv_examples(file_names, batch_size) # Continuous features feature_cols = {k: tf.string_to_number(examples_dict[k], out_type=tf.float32) for k in CONTINUOUS_COLUMNS} # Categorical features feature_cols.update({ k: tf.SparseTensor( indices=[[i, 0] for i in range(examples_dict[k].get_shape()[0])], values=examples_dict[k], shape=[int(examples_dict[k].get_shape()[0]), 1]) for …

11 python  tensorflow 

私はテンソルフローを使用して単純なニューラルネットワークを作成していますが、自分で収集したデータを使用していますが、それは協力的ではありません：PIは、修正できない、または修正を見つけることができないエラーに遭遇しました。 エラーメッセージ： TypeError：2861.6152のFetch引数2861.6152に無効なtypeが含まれています。文字列またはTensorでなければなりません。（float32をTensorまたはOperationに変換できません。） エラーは私のコードの次の行を参照しています： _, cost = tf_session.run([optimizer, cost], feed_dict = {champion_data: batch_input, item_data: batch_output}) コードで次の行をコメントアウトしてもエラーが発生しないことはすでにわかっています。 prediction = neural_network_model(champion_data) cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(prediction, item_data)) optimizer = tf.train.AdamOptimizer().minimize(cost) _, cost = tf_session.run([optimizer, cost], feed_dict = {champion_data: batch_input, item_data: batch_output}) したがって、これらの行の1つが、期待どおりに表示されないものを取得しています。私はすでに明白なことを試しました（batch_inputとbatch_outputからnp.array（）を削除するか、それをlist（）で置き換えます）が、それは問題を解決しません。私の現在の仮説は、neural_network_model（champion_data）の出力が何らかの形で間違った形またはタイプであるというものですが、それをテストする方法、またはそうであることが判明した場合の解決方法はわかりません。 完全なコードはここにあります：https : //gist.github.com/HasseIona/4bcaf9f95ae828e056d5210a2ea07f88 編集：neural_network_modelに入力されるチャンピオンデータ、予測、およびコストがすべてテンソルであることを確認しました。私は問題がなんとかしてコードのfeed_dict = {}の部分にあるという仮説を使用して問題を解決しようとしましたが、今のところどこにも行きません

11 machine-learning  python  neural-network  tensorflow 

以下に従ってKeras（Tensorflowバックエンド）でカスタム指標関数（F1-Score）を定義しようとしました： def f1_score(tags, predicted): tags = set(tags) predicted = set(predicted) tp = len(tags & predicted) fp = len(predicted) - tp fn = len(tags) - tp if tp>0: precision=float(tp)/(tp+fp) recall=float(tp)/(tp+fn) return 2*((precision*recall)/(precision+recall)) else: return 0 これまでのところ、とても良いですが、モデルのコンパイルに適用しようとすると： model1.compile(loss="binary_crossentropy", optimizer=Adam(), metrics=[f1_score]) エラーが発生します： TypeError Traceback (most recent call last) <ipython-input-85-4eca4def003f> in <module>() 5 model1.add(Dense(output_dim=10, …

11 tensorflow  keras  evaluation 

私はMLとTensorFlowを初めて使用し（数時間前に開始しました）、それを使用して時系列の次のいくつかのデータポイントを予測しようとしています。私は私の入力を受け取り、これを使ってこれを行っています： /----------- x ------------\ .-------------------------------. | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | '-------------------------------' \----------- y ------------/ 私がやっていることは、xを入力データとして使用し、yをその入力の目的の出力として使用して、0〜6を指定すると1〜7（特に7）が得られるようにすることです。ただし、xを入力としてグラフを実行すると、yではなくxに似た予測が得られます。 ここにコードがあります（この投稿とこの投稿に基づいています）： import tensorflow as tf import numpy as np import matplotlib.pyplot as plot import pandas as pd import csv def load_data_points(filename): print("Opening CSV …

10 machine-learning  python  time-series  tensorflow  rnn 

KerasのLSTMを使用して（Theanoバックグラウンドを使用して）Seq2Seqモデルに取り組んでいます。数MBのデータでもトレーニングに数時間かかるため、プロセスを並列化したいと考えています。 GPUはCPUよりも並列化がはるかに優れていることは明らかです。現時点では、使用できるのはCPUだけです。16 CPUにアクセスできました（コアあたり2スレッドXソケットあたり4コアX 2ソケット） Theanoのマルチコアサポートのドキュメントから、1つのソケットの4つのコアすべてを使用することができました。したがって、基本的にCPUの使用率は400％で4CPUが使用され、残りの12 CPUは未使用のままです。どうすればそれらも活用できますか。Tensorflowが機能する場合は、Theano背景の代わりに使用することもできます。

10 tensorflow  keras  theano  parallel