タグ付けされた質問 「neural-network」

私はgithub （リンク）でLSTM言語モデルのこの例を調べていました。それが一般的に何をするかは私にはかなり明白です。しかしcontiguous()、コード内で数回発生する呼び出しが何をするのかを理解するのにまだ苦労しています。 たとえば、コードの74/75行目に、LSTMの入力シーケンスとターゲットシーケンスが作成されます。データ（に格納されているids）は2次元であり、最初の次元はバッチサイズです。 for i in range(0, ids.size(1) - seq_length, seq_length): # Get batch inputs and targets inputs = Variable(ids[:, i:i+seq_length]) targets = Variable(ids[:, (i+1):(i+1)+seq_length].contiguous()) したがって、簡単な例として、バッチサイズ1およびseq_length10を使用するinputsと、targets次のようになります。 inputs Variable containing: 0 1 2 3 4 5 6 7 8 9 [torch.LongTensor of size 1x10] targets Variable containing: 1 2 3 4 …

92 neural-network  deep-learning  lstm  pytorch  contiguous 

トレーニング中に頻繁に発生することNANが導入されていることに気づきました。 多くの場合、内積/完全に接続された層または畳み込み層の重みが爆発することによって導入されるようです。 これは、勾配計算が爆発しているために発生していますか？それとも、重みの初期化が原因ですか（もしそうなら、なぜ重みの初期化がこの効果をもたらすのですか）？それとも、入力データの性質が原因である可能性がありますか？ ここでの最も重要な質問は単純です。トレーニング中にNANが発生する最も一般的な理由は何ですか。そして第二に、これと戦うためのいくつかの方法は何ですか（そしてなぜそれらは機能しますか）？

86 machine-learning  neural-network  deep-learning  caffe  gradient-descent 

ロジスティック回帰や多項ロジスティック回帰などの分類問題は、クロスエントロピー損失を最適化します。通常、クロスエントロピー層はソフトマックス層の後に続き、確率分布を生成します。 テンソルフローには、少なくとも1ダースの異なるクロスエントロピー損失関数があります。 tf.losses.softmax_cross_entropy tf.losses.sparse_softmax_cross_entropy tf.losses.sigmoid_cross_entropy tf.contrib.losses.softmax_cross_entropy tf.contrib.losses.sigmoid_cross_entropy tf.nn.softmax_cross_entropy_with_logits tf.nn.sigmoid_cross_entropy_with_logits ..。 どちらが二項分類にのみ機能し、どれがマルチクラス問題に適していますか？sigmoid代わりにsoftmaxいつ使用する必要がありますか？sparse機能は他の機能とどのように異なり、なぜそれだけなのsoftmaxですか？ 関連する（より数学指向の）議論：KerasとTensorFlowのこれらすべてのクロスエントロピー損失の違いは何ですか？。

83 python  tensorflow  neural-network  logistic-regression  cross-entropy 

TimeDistributedラッパーがKerasで何をするのかを把握しようとしています。 TimeDistributedは「入力のすべての時間スライスにレイヤーを適用する」と思います。 しかし、私はいくつかの実験をして、私が理解できない結果を得ました。 つまり、LSTMレイヤーに関連して、TimeDistributedレイヤーとDenseレイヤーだけで同じ結果が得られます。 model = Sequential() model.add(LSTM(5, input_shape = (10, 20), return_sequences = True)) model.add(TimeDistributed(Dense(1))) print(model.output_shape) model = Sequential() model.add(LSTM(5, input_shape = (10, 20), return_sequences = True)) model.add((Dense(1))) print(model.output_shape) どちらのモデルでも、（なし、10、1）の出力形状が得られました。 RNNレイヤーの後のTimeDistributedレイヤーとDenseレイヤーの違いを誰かが説明できますか？

83 python  machine-learning  keras  neural-network  deep-learning 

現在、私は次のコードを使用しています。 callbacks = [ EarlyStopping(monitor='val_loss', patience=2, verbose=0), ModelCheckpoint(kfold_weights_path, monitor='val_loss', save_best_only=True, verbose=0), ] model.fit(X_train.astype('float32'), Y_train, batch_size=batch_size, nb_epoch=nb_epoch, shuffle=True, verbose=1, validation_data=(X_valid, Y_valid), callbacks=callbacks) 2エポックの間損失が改善されなかったときにトレーニングを停止するようにKerasに指示します。しかし、損失が一定の「THR」よりも小さくなった後、トレーニングを停止したいと思います。 if val_loss < THR: break ドキュメントで、独自のコールバックを作成する可能性があることを確認し ました：http： //keras.io/callbacks/しかし、トレーニングプロセスを停止する方法は見つかりませんでした。アドバイスが必要です。

82 python  machine-learning  neural-network  conv-neural-network  keras 

この賞金は終了しました。この質問への回答は、+ 150の評判バウンティの対象となります。バウンティの猶予期間は23時間で終了します。 サージェイは評判の良い情報源からの回答を探しています。 LSTM（RNN）ニューラルネットワークを作成し、データストック予測のための教師あり学習を行いました。問題は、それが独自のトレーニングデータで間違っていると予測する理由です。（注：以下の再現可能な例） 次の5日間の株価を予測する簡単なモデルを作成しました。 model = Sequential() model.add(LSTM(32, activation='sigmoid', input_shape=(x_train.shape[1], x_train.shape[2]))) model.add(Dense(y_train.shape[1])) model.compile(optimizer='adam', loss='mse') es = EarlyStopping(monitor='val_loss', patience=3, restore_best_weights=True) model.fit(x_train, y_train, batch_size=64, epochs=25, validation_data=(x_test, y_test), callbacks=[es]) 正しい結果はy_test（5つの値）にあるので、トレーニングをモデル化し、90日前を振り返って、次のようにして最良（val_loss=0.0030）の結果から重みを復元しますpatience=3。 Train on 396 samples, validate on 1 samples Epoch 1/25 396/396 [==============================] - 1s 2ms/step - loss: 0.1322 - val_loss: 0.0299 Epoch …

17 python  tensorflow  machine-learning  keras  neural-network 

私は生成的な敵対的なネットワークを持っています。そこでは、弁別器がMSEで最小化され、生成器が最大化されるはずです。どちらも反対の目標を追求する相手だからです。 generator = Sequential() generator.add(Dense(units=50, activation='sigmoid', input_shape=(15,))) generator.add(Dense(units=1, activation='sigmoid')) generator.compile(loss='mse', optimizer='adam') generator.train_on_batch(x_data, y_data) 高いMSE値から利益を得るジェネレータモデルを取得するには、何を適応させる必要がありますか？

11 python  tensorflow  keras  neural-network  maximize 

ニューラルネットモデルのパラメーターを更新/変更し、更新されたニューラルネットのフォワードパスを計算グラフに含めようとしています（変更/更新の数に関係なく）。 私はこのアイデアを試しましたが、行うたびに、pytorchは更新されたテンソル（モデル内）をリーフに設定します。これにより、グラデーションを受け取りたいネットワークへのグラデーションのフローが強制終了されます。葉のノードは計算グラフの一部ではないため、グラデーションのフローが停止します（真に葉ではないため）。 私は複数のことを試しましたが、何も機能しないようです。グラデーションが必要なネットワークのグラデーションを出力する自己完結型のダミーコードを作成しました。 import torch import torch.nn as nn import copy from collections import OrderedDict # img = torch.randn([8,3,32,32]) # targets = torch.LongTensor([1, 2, 0, 6, 2, 9, 4, 9]) # img = torch.randn([1,3,32,32]) # targets = torch.LongTensor([1]) x = torch.randn(1) target = 12.0*x**2 criterion = nn.CrossEntropyLoss() #loss_net = nn.Sequential(OrderedDict([('conv0',nn.Conv2d(in_channels=3,out_channels=10,kernel_size=32))])) …

10 python  machine-learning  neural-network  pytorch 

問題の概要と質問 列挙することはできても、インデックスを作成できないオブジェクト内のデータを調べようとしています。私はまだpythonの初心者ですが、これがどのようにして可能になるのかわかりません。 それを列挙できる場合、なぜ列挙と同じ方法でインデックスにアクセスできないのですか？そうでない場合、アイテムに個別にアクセスする方法はありますか？ 実際の例 import tensorflow_datasets as tfds train_validation_split = tfds.Split.TRAIN.subsplit([6, 4]) (train_data, validation_data), test_data = tfds.load( name="imdb_reviews", split=(train_validation_split, tfds.Split.TEST), as_supervised=True) データセットのサブセットを選択します foo = train_data.take(5) 私ができる反復処理foo列挙して： [In] for i, x in enumerate(foo): print(i) 期待される出力を生成します： 0 1 2 3 4 しかし、それにインデックスを付けようとするfoo[0]と、次のエラーが発生します。 --------------------------------------------------------------------------- TypeError Traceback (most recent call last) <ipython-input-44-2acbea6d9862> in <module> …

10 python  tensorflow  neural-network  kaggle 

（TensorFlow 2.0をサポートしていないKeras。TensorFlow1.14を使用tf.kerasするか、またはTensorFlow 1.14にダウングレードすることをお勧めします）に関するエラーがあります。 ありがとう import keras #For building the Neural Network layer by layer from keras.models import Sequential #To randomly initialize the weights to small numbers close to 0(But not 0) from keras.layers import Dense classifier=tf.keras.Sequential() classifier.add(Dense(output_dim = 6, init = 'uniform', activation = 'relu', input_dim = 11)) RuntimeError: It …

9 python  tensorflow  keras  neural-network  tf.keras 

私は深層学習アプリケーションに月光の脳モジュールを使用することを学んでいます。 私はニューラルネットワークを設定して、numpy.cos（）関数を学習し、同様の結果を生成しています。 私のトレーニングの限界が以下の場合、私はうまく適合しています： x = np.linspace(0,2*np.pi,100) しかし、境界を次のように拡張しようとすると、モデルがばらばらになります。 x = np.linspace(0,3*np.pi,100) 他の境界で機能するようにモデルの柔軟性を高めるには、ニューラルネットワークで何を変更する必要がありますか？ これは私のコードです： from gekko import brain import numpy as np import matplotlib.pyplot as plt #Set up neural network b = brain.Brain() b.input_layer(1) b.layer(linear=2) b.layer(tanh=2) b.layer(linear=2) b.output_layer(1) #Train neural network x = np.linspace(0,2*np.pi,100) y = np.cos(x) b.learn(x,y) #Calculate using trained nueral …

9 neural-network  deep-learning  gekko 

現在作成しようとしているMLプロジェクトについてサポートが必要です。 多くの異なるサプライヤーから大量の請求書を受け取ります-すべて独自のレイアウトで。請求書から3つの重要な要素を抽出する必要があります。これらの3つの要素はすべて、すべての請求書のテーブル/ラインアイテムにあります。 3要素は次のとおりです。 1：関税番号（桁） 2：数量（常に数字） 3：合計明細金額（金額） 以下のスクリーンショットを参照してください。サンプルの請求書でこれらのフィールドにマークを付けています。 このプロジェクトは、正規表現に基づいたテンプレートアプローチから始めました。しかし、これはまったくスケーラブルではなく、大量の異なるルールになってしまいました。 ここで機械学習が役立つことを願っています-あるいは、ハイブリッドソリューションですか？ 一般的な分母 では、すべての私の請求書の、異なるレイアウトのにもかかわらず、各ライン項目がします常に 1つので構成されて関税番号。この関税番号は常​​に8桁で、常に次のような方法でフォーマットされます。 xxxxxxxx xxxx.xxxx xx.xx.xx.xx （「x」は0から9までの数字です）。 さらに、請求書で確認できるように、1行あたりの単価と合計金額の両方があります。私が必要とする量は常に各行で最高です。 出力 上記のような各請求書について、各行の出力が必要です。これは、たとえば次のようなものになります。 { "line":"0", "tariff":"85444290", "quantity":"3", "amount":"258.93" }, { "line":"1", "tariff":"85444290", "quantity":"4", "amount":"548.32" }, { "line":"2", "tariff":"76109090", "quantity":"5", "amount":"412.30" } ここからどこへ行く？ 私が何をしようとしているのかが機械学習に該当するかどうか、また該当する場合はどのカテゴリに該当するかわかりません。コンピュータビジョンですか？NLP？名前付きエンティティの認識？ 私の最初の考えは： 請求書をテキストに変換します。（請求書はすべてpdftotextテキスト化可能なPDFであるため、正確なテキスト値を取得するようなものを使用できます） カスタム作成名前付きエンティティのためにquantity、tariffそしてamount 見つかったエンティティをエクスポートします。 でも、足りないものがあるようです。 誰かが正しい方向に私を助けることができますか？ 編集： 請求書テーブルセクションがどのように表示されるかを示す他の例については、以下をご覧ください。 請求書の例2 請求書の例3 編集2： …

8 machine-learning  image-processing  neural-network  nlp  computer-vision