タグ付けされた質問 「neural-network」

1層ネットワークは線形分離可能ではないため、xor関数を予測できないことはよく知られている事実です。xorを予測するために、ロジスティックシグモイド関数とbackpropを使用して、2層ネットワークを作成しようとしました。私のネットワークには、入力層に2つのニューロン（および1つのバイアス）、非表示層に2つのニューロンと1つのバイアス、および1つの出力ニューロンがあります。驚いたことに、これは収束しません。新しいレイヤーを追加すると、入力（2 + 1）、hidden1（2 + 1）、hidden2（2 + 1）、出力の3レイヤーネットワークが機能します。また、2層ネットワークを維持しながら、非表示層のサイズを4ニューロン+ 1バイアスに増やした場合も、収束します。3つ以下の非表示ニューロンを持つ2層ネットワークがxor関数をモデル化できない理由はありますか？

8 neural-network  backpropagation 

ニューラルネットワークにミニバッチ勾配降下法を実装する場合、各ミニバッチでランダムな要素を取ることが重要ですか？または、トレーニングの最初に要素を1回シャッフルするだけで十分ですか？ （私は彼らが何をしているのかを明確に述べている情報源にも興味があります。）

8 machine-learning  neural-network 

私は、初めてどの郡でどの大統領が勝ったかを正確に予測する多層パーセプトロンニューラルネットワークを構築してトレーニングしようとしています。トレーニングデータに関する次の情報があります。 総人口年齢中央値％BachelorsDeg以上失業率1人あたりの所得総世帯平均世帯サイズ％所有者が占有する住宅％借家が占有する住宅％空いている住宅住宅価格の中央値人口増加率世帯数増加率1人当たり所得増加率勝者 これは14列のトレーニングデータで、15列目は出力です。 Kerasを使用して多層パーセプトロンニューラルネットワークを構築しようとしていますが、いくつかのプロパティと、これらのプロパティのさまざまなオプションを選択することの短所を理解するための助けが必要です。 アクティベーション機能 私の最初のステップはアクティベーション機能を考案することです。私は常に、シグモイド活性化関数を使用したニューラルネットワークを研究していました。シグモイド活性化関数は最高ですか？どれを使用するかをどうやって知っていますか？Kerasはさらに、softmax、softplus、relu、tanh、linear、またはhard_sigmoidアクティベーション関数を使用するオプションを提供します。何を使っても大丈夫ですが、理由と長所と短所を理解できるようにしたいだけです。 確率の初期化 初期化は、Kerasレイヤーの初期ランダムウェイトを設定するために使用される確率分布を定義することを知っています。Kerasが提供するオプションは、ユニフォームlecun_uniform、normal、identity、直交、ゼロ、glorot_normal、glorot_uniform、he_normal、およびhe_uniformです。ここでの選択は、最終結果またはモデルにどのように影響しますか？ランダムモデルを開始し、さらに最適なレイヤーの重み付けを考え出すため、どのようなモデルでも "トレーニング"しているので、問題になりませんか？

8 neural-network  keras 

私は長いNN研究プロジェクトに飛び込もうとしていて、Pylearn2またはTensorFlowの方向への推進を望んでいましたか？2015年12月の時点で、コミュニティは何らかの方向に傾い始めていますか？ このリンクは、TenserFlowに縛られることへの懸念を私に与えました。

8 machine-learning  python  neural-network 

stats.SEにも同様の質問があることは知っていますが、私の要求を満たす質問は見つかりませんでした。質問を重複としてマークする前に、コメントでpingしてください。 neuralnetSP500インデックスの時系列を予測するために基づいてニューラルネットワークを実行していて、以下に掲載されているプロットをどのように解釈できるかを理解したいと思います。 特に、隠れ層の重みと入力の重みの解釈が何であるかを理解することに興味があります。誰かがその数を解釈する方法を教えてもらえますか？ 任意のヒントをいただければ幸いです。

8 machine-learning  r  neural-network  predictive-modeling  forecast 

誰かが私に説明できますか？複数の出力（例：8）を作成する場合、MLBP-ニューラルネットワークでMNISTのようなデータを分類する方法、つまり1つの出力のみを使用する場合、簡単にデータを分類できますが、複数を使用する場合1つは、どの出力を選択する必要がありますか？

8 neural-network 

私が持っているXマトリックス、y変数、および他の変数をORTHO_VAR。私はをy使用して変数を予測する必要がありますXが、そのモデルからの予測は、可能な限りORTHO_VAR相関する一方で、直交する必要がありますy。 私は予測がノンパラメトリックな方法で生成されることを望みxgboost.XGBRegressorますが、どうしても必要な場合は線形法を使用できます。 このコード： import numpy as np import pandas as pd from sklearn.datasets import make_regression from xgboost import XGBRegressor ORTHO_VAR = 'ortho_var' TARGET = 'target' PRED = 'yhat' # Create regression dataset with two correlated targets X, y = make_regression(n_features=20, random_state=245, n_targets=2) indep_vars = ['var{}'.format(i) for i in range(X.shape[1])] # …

8 correlation  machine-learning  dataset  logistic-regression  prediction  linear-regression  prediction  dummy-variables  neural-network  image-classification  python  k-nn  python  neural-network  neural-network  deep-learning  keras  tensorflow  image-classification  tensorflow  reinforcement-learning  policy-gradients  machine-learning  decision-trees  neural-network  overfitting  data-analysis  metric  python  scikit-learn  distance  scipy  machine-learning  python  scikit-learn  decision-trees  logistic-regression  keras  image-classification  implementation  machine-learning  python  scikit-learn  random-forest  decision-trees  machine-learning  feature-selection  feature-engineering  word2vec  word-embeddings  natural-language-process  scikit-learn  time-series  clustering  k-means  python  cross-validation  pyspark  statistics  cross-validation  multiclass-classification  evaluation  machine-learning  nlp  machine-translation  neural-network  deep-learning  keras  tensorflow  image-classification  machine-learning  python  similarity  distance  lstm  text  named-entity-recognition  machine-learning  keras  optimization  gan  learning-rate  neural-network  data-mining  dataset  databases  books  neural-network  rnn 

機能ベクトルに、常に利用できるとは限らない機能があります（一部のサンプルでは）使用しても意味がありません。この特徴ベクトルをsklearn MLPClassifierに与えます。機能がその決定に使用する意味があるときにニューラルネットワークはそれ自体で学習しますか、または機能ベクトルにフラグを追加する必要がありますか？たとえば、意味がある場合は「1」、意味がない場合は「0」 。

8 neural-network  feature-selection  mlp 

私は現在データサイエンスを勉強しており、目まぐるしく変化するさまざまな基本的な回帰/分類手法（線形、ロジスティック、ツリー、スプライン、ANN、SVM、MARSなど...）とさまざまな方法を教えられています追加のツール（ブートストラップ、ブースティング、バギング、アンサンブル、リッジ/ラッソ、CVなど）。技術にはコンテキストが与えられる場合があります（例：小さい/大きいデータセットに適している、少数/多数の予測子に適しているなど）が、ほとんどの場合、回帰または分類の問題にはオプションの目まいがする配列が存在するから選択します。 今すぐデータサイエンスの仕事を始めて、モデリングの問題が発生した場合、基本的な構成で知っているすべての手法を試して、交差検証を使用して評価し、最良のものを選択することほどよいことはないと思います。しかし、これにはそれ以上のものがあるに違いありません。 私は、経験豊富なデータサイエンティストがテクニックのカタログをよく知っていて、精神的なフローチャートに従って、すべてのテクニックを無意識に試すのではなく、どのテクニックを試すかを決定すると思います。私はこのフローチャートがa）関数の関数であると想像します。b）変数タイプ。c）考えられる関係（線形/非線形）に関するドメイン知識。d）データセットのサイズ。e）計算時間などに関する制約。 手法を選択するために、従うべき従来のフローチャートに同意したものはありますか？それとも、「多くのことを試して、クロスバリデーションなど、目的のメジャーで最も効果的なものを確認する」ということになるのでしょうか。

8 machine-learning  neural-network  deep-learning  classification  data-science-model 

私は、tictactoeをプレイする方法を学ぶアルゴリズムで遊んでいます。基本的な擬似コードは次のとおりです。 repeat many thousand times { repeat until game is over { if(board layout is unknown or exploring) { move randomly } else { move in location which historically gives highest reward } } for each step in the game { determine board layout for current step if(board layout is …

8 machine-learning  neural-network  reinforcement-learning  q-learning 

画像分類のために畳み込みニューラルネットワーク（CNN）を検討してください。ローカルフィーチャを検出するために、同じ畳み込み層内のユニット間で重み共有が使用されます。このようなネットワークでは、カーネルの重みは逆伝播アルゴリズムによって更新されます。 レイヤーカーネルの重みの更新は次のようになります。hjhjh_jlll hlj=hlj−η⋅δRδhlj=hlj−η⋅δRδxLj⋅δxLjδxL−1j⋅...⋅δxljδhljhjl=hjl−η⋅δRδhjl=hjl−η⋅δRδxjL⋅δxjLδxjL−1⋅...⋅δxjlδhjlh_j^l = h_j^l - \eta \cdot \frac{\delta R}{\delta h_j^l} = h_j^l - \eta \cdot \frac{\delta R}{\delta x_j^{L}} \cdot \frac{\delta x_j^{L}}{\delta x_j^{L - 1}} \cdot ... \cdot \frac{\delta x_j^{l}}{\delta h_j^l} カーネルの重みをどのように更新しても、同じ（=共有）にすることができますか？ 私は2つの考えられる説明があります： 同じ値に初期化された同じレイヤーの重みは、（入力に関係なく）同じままです。これは、式がこれらの重みからすべてで同じであることをます。はjごとに異なるため、これは意味がありません。または、ここで何か不足していますか？δRδhljδRδhjl\frac{\delta R}{\delta h_j^l}hl1h1lh_1^lhlJhJlh_J^lxljxjlx_j^l トリックがあります。たとえば、バックプロパゲーションの更新後、共有の重みは平均に設定されます。 編集 私が混乱したのは、重みが共有されている場合、そのパラメーターが損失関数に数回現れることを考慮していなかったことでした。微分するとき、いくつかの項（対応する入力を考慮する）は「存続」します。したがって、更新は同じになります。hljhjlh_j^lhljhjlh_j^l

8 neural-network  cnn 

注意してください：私は次の例を改善しようとはしていません。99％以上の精度が得られることは知っています。コード全体が問題です。この単純なコードを試したところ、約95％の精度が得られました。アクティベーション関数をシグモイドからreluに変更すると、50％未満に低下します。これが起こる理論的な理由はありますか？ 次の例をオンラインで見つけました。 from keras.datasets import mnist from keras.models import Sequential from keras.layers.core import Dense, Activation from keras.utils import np_utils (X_train, Y_train), (X_test, Y_test) = mnist.load_data() X_train = X_train.reshape(60000, 784) X_test = X_test.reshape(10000, 784) Y_train = np_utils.to_categorical(Y_train, classes) Y_test = np_utils.to_categorical(Y_test, classes) batch_size = 100 epochs = 15 model = Sequential() …

8 python  neural-network  keras  image-classification 

私はcs231からディープラーニング用のニューラルネットワークを学び始めました。Pythonでニューラルネットワークを実装しようとしています。Tensorflowまたはscikit-learnの使用を検討しています。このアプリケーションのこれらのライブラリの長所と短所は何ですか？

7 neural-network  deep-learning  tensorflow 

損失関数として再構成エラーを使用して、猫のデータセットでエンコーダー/デコーダーネットワークをトレーニングしたとします。ネットワークは完全に訓練されており、デコーダーは適切な猫の画像を再構築できます。 次に、同じネットワークを使用して犬の画像を入力するとどうなるでしょうか。ネットワークは犬の画像を再構成できますか？

7 neural-network  deep-learning  autoencoder 

複数のクラスの人（人）とともに段ボール箱を検出する方法をニューラルネットワークにトレーニングしようとしています。 人を検出し、正しく分類するのは簡単ですが、段ボール箱を検出するのは非常に困難です。 ボックスは次のようになります。 私の疑いは、ボックスがオブジェクトに対して単純すぎることです。オブジェクトから抽出する機能が少なすぎるため、ニューラルネットワークはそれを検出することが困難です。 データセットの分割は次のようになります。 personA: 1160 personB: 1651 personC: 2136 person: 1959 box: 2798 人は、分類されているアイテムに基づいてさまざまな安全アイテムを着用していますが、アイテムだけでなく、人全体として検出されています。 私が使用しようとしました： ssd300_incetpionv2 ssd512_inceptionv2 faster_rcnn_inceptionv2 これらはすべて、箱よりもはるかに優れた人物の検出と分類です。正確には提供できませんmAP（それがありません）。 何か案は？ ありがとう。

7 neural-network  deep-learning  cnn  image-classification