タグ付けされた質問 「machine-learning」

閉じた。この質問はより集中する必要があります。現在、回答を受け付けていません。 この質問を改善したいですか？この投稿を編集するだけで1つの問題に焦点を当てるように質問を更新します。 2年前に閉店。 私は現在、統計学/計量経済学に焦点を当てたマスタープログラムをフォローしています。私のマスターでは、すべての学生が3か月の研究をしなければなりませんでした。先週、すべてのグループは研究を他のマスター学生に提示しなければなりませんでした。 ほとんどすべてのグループが、研究トピックの統計モデリングと機械学習モデリングを行い、サンプル外れの予測が行われるたびに、単純な機械学習モデルが、最後の3年間非常に懸命に取り組んだ非常に洗練された統計モデルを打ち負かしましたヶ月。みんなの統計モデルがどれほど優れていても、単純なランダムフォレストでは、ほとんど常にサンプル外エラーが少なくなりました。 これが一般に受け入れられている観測かどうか疑問に思っていましたか？サンプル外予測に関しては、単純なランダムフォレストまたは極端な勾配ブースティングモデルに勝つ方法はないということです。これらの2つの方法は、Rパッケージを使用して実装するのが非常に簡単ですが、誰もが思いついたすべての統計モデルには、かなりのスキル、知識、および見積もりの​​労力が必要です。 これについてどう思いますか？あなたが解釈を得る統計/計量経済学モデルの唯一の利点はありますか？または、単純なランダムフォレストの予測を大幅に上回るパフォーマンスを達成できなかったほど、モデルが不十分でしたか？この問題に対処する論文はありますか？

14 machine-learning  forecasting  predictive-models  prediction  out-of-sample 

私のプロジェクトでは、バイナリ分類（1または0）を予測するためのロジスティック回帰モデルを作成します。 15個の変数があり、そのうち2個はカテゴリ変数で、残りは連続変数と離散変数の混合です。 ロジスティック回帰モデルに適合するために、SVM、パーセプトロンまたは線形プログラミングのいずれかを使用して線形分離可能性をチェックすることをお勧めします。これは、線形分離性のテストに関するここでの提案と関連しています。 機械学習の初心者として、私は上記のアルゴリズムに関する基本的な概念を理解していますが、概念的には非常に多くの次元（この場合は15）を持つデータを分離する方法を視覚化するのに苦労しています。 オンライン資料のすべての例は、通常、2つの数値変数（高さ、重量）の2Dプロットを示しています。これは、カテゴリ間の明確なギャップを示し、理解しやすくしますが、実際のデータは通常、はるかに高い次元です。Irisデータセットに引き戻され続け、3つの種に超平面を当てはめようとしています。2つの種の間でそうすることが不可能ではないにしても、特に難しい方法です。 さらに高次元の場合、どのようにこれを達成しますか？この分離可能性を達成するためにカーネルを使用して高次元空間にマッピングする特定の数の特徴を超えると仮定されますか？ また、線形分離可能性をテストするために、使用されるメトリックは何ですか？SVMモデルの精度、つまり混同マトリックスに基づく精度ですか？ このトピックをよりよく理解するための助けをいただければ幸いです。また、以下はデータセット内の2つの変数のプロットのサンプルであり、これらの2つの変数だけが重なり合っていることを示しています。

14 machine-learning  logistic  classification  svm  separation 

畳み込みニューラルネットワーク（CNN）では、畳み込みを進める前に、各ステップでの重みの行列の行と列を反転させてカーネル行列を取得します。これは、Hugo Larochelleによる一連のビデオで説明されています。 隠されたマップを計算する[...]カーネル行列を使用して、前の層からチャネルを持つ離散畳み込みを行うことに対応するであろう、そのカーネルは隠された重み行列から計算されるWijWijW_{ij}、我々は、行を反転して、列。 他のタイプのNNのように、畳み込みの縮小ステップを通常の行列乗算と比較する場合、便宜性は明確な説明になります。しかし、これは最も適切な比較ではないかもしれません... デジタルイメージング処理では、画像へのフィルターの畳み込みの適用（これは実用的な直感のための素晴らしいYouTubeビデオです）は次のように関連しているようです： 畳み込みは連想的であるが（相互）相関はそうではないという事実。 時間領域での畳み込みは周波数領域での乗算と同じであるため、画像の周波数領域でフィルターを乗算として適用する可能性（畳み込み定理）。 DSP 相関のこの特定の技術環境では、次のように定義されます。 F∘I(x,y)=∑j=−NN∑i=−NNF(i,j)I(x+i,y+j)F∘I(x,y)=∑j=−NN∑i=−NNF(i,j)I(x+i,y+j)F\circ I(x,y)=\sum_{j=-N}^{N}\sum_{i=-N}^N\, F(i,j)\,I(x+i, y+j) これは本質的に、アダマール製品のすべてのセルの合計です。 F∘I(x,y)=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢F[−N,−N]I[x−N,y−N]⋮F[0,−N]I[x,y−N]⋮F[N,−N]I[x+N,y−N]⋯⋱⋯⋱⋯F[−N,0]I[x−N,y−N]⋮F[0,0]I[x,y]⋮F[N,0]I[x+N,y]⋯⋱⋯⋱⋯F[−N,N]I[x−N,y+N]⋮F[0,N]I[x,y+N]⋮F[N,N]I[x+N,y+N]⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥F∘I(x,y)=[F[−N,−N]I[x−N,y−N]⋯F[−N,0]I[x−N,y−N]⋯F[−N,N]I[x−N,y+N]⋮⋱⋮⋱⋮F[0,−N]I[x,y−N]⋯F[0,0]I[x,y]⋯F[0,N]I[x,y+N]⋮⋱⋮⋱⋮F[N,−N]I[x+N,y−N]⋯F[N,0]I[x+N,y]⋯F[N,N]I[x+N,y+N]]\small F\circ I(x,y)=\Tiny\begin{bmatrix}F[-N,-N]\,I[x-N,y-N]&\cdots&F[-N,0]\,I[x-N,y-N]&\cdots& F[-N,N]\,I[x-N,y+N]\\ \vdots&\ddots&\vdots&\ddots&\vdots\\ F[0,-N]\,I[x,y-N]&\cdots&F[0,0]\,I[x,y]&\cdots& F[0,N]\,I[x,y+N]\\ \vdots&\ddots&\vdots&\ddots&\vdots\\ F[N,-N]\,I[x+N,y-N]&\cdots&F[N,0]\,I[x+N,y]&\cdots& F[N,N]\,I[x+N,y+N]\\ \end{bmatrix} ここで、はフィルター関数（行列として表される）であり、I （x 、y ）は位置（x 、y ）の画像のピクセル値です。F(i,j)F(i,j)F(i,j)I(x,y)I(x,y)I(x,y)(x,y)(x,y)(x,y) 相互相関の目的は、プローブ画像とテスト画像の類似性を評価することです。相互相関マップの計算は、畳み込み定理に依存しています。 一方、畳み込みは次のように定義されます。 F∗I(x,y)=∑j=−NN∑i=−NNF(i,j)I(x−i,y−j)F∗I(x,y)=∑j=−NN∑i=−NNF(i,j)I(x−i,y−j)F* I(x,y)=\sum_{j=-N}^{N}\sum_{i=-N}^N\, F(i,j)\,I(x-i, y-j) これは、フィルターが対称である限り、フィルターの行と列を反転した相関操作と同じです。 F∗I(x,y)=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢F[N,N]I[x−N,y−N]⋮F[0,N]I[x,y−N]⋮F[−N,−N]I[x+N,y−N]⋯⋱⋯⋱⋯F[N,0]I[x−N,y−N]⋮F[0,0]I[x,y]⋮F[−N,0]I[x+N,y]⋯⋱⋯⋱⋯F[N,−N]I[x−N,y+N]⋮F[0,−N]I[x,y+N]⋮F[−N,−N]I[x+N,y+N]⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥F∗I(x,y)=[F[N,N]I[x−N,y−N]⋯F[N,0]I[x−N,y−N]⋯F[N,−N]I[x−N,y+N]⋮⋱⋮⋱⋮F[0,N]I[x,y−N]⋯F[0,0]I[x,y]⋯F[0,−N]I[x,y+N]⋮⋱⋮⋱⋮F[−N,−N]I[x+N,y−N]⋯F[−N,0]I[x+N,y]⋯F[−N,−N]I[x+N,y+N]]\small F* I(x,y)=\Tiny\begin{bmatrix}F[N,N]\,I[x-N,y-N]&\cdots&F[N,0]\,I[x-N,y-N]&\cdots& F[N,-N]\,I[x-N,y+N]\\ \vdots&\ddots&\vdots&\ddots&\vdots\\ F[0,N]\,I[x,y-N]&\cdots&F[0,0]\,I[x,y]&\cdots& F[0,-N]\,I[x,y+N]\\ \vdots&\ddots&\vdots&\ddots&\vdots\\ F[-N,-N]\,I[x+N,y-N]&\cdots&F[-N,0]\,I[x+N,y]&\cdots& F[-N,-N]\,I[x+N,y+N]\\ \end{bmatrix} ⎡⎣⎢⎢⎢⎢⎢⎢⎢1474141626164726412674162616414741⎤⎦⎥⎥⎥⎥⎥⎥⎥[1474141626164726412674162616414741]\small\begin{bmatrix} …

14 machine-learning  neural-networks  conv-neural-network  convolution 

私は一見簡単な問題に見舞われていますが、数週間は適切な解決策が見つかりませんでした。 私は、重み、層別化、特定のルーティングなどを備えた複雑に設計された調査と呼ばれるものから来る、非常に多くの世論調査/調査データ（数万の回答者、データセットごとに50kなど）を持っています 各回答者には、人口統計（年齢、地域など）などの数百の変数があり、ほとんどがバイナリ（最大でカテゴリ）変数です。 私はコンピュータサイエンス/機械学習のバックグラウンドから来ており、古典的な調査統計と方法論について多くを学ぶ必要がありました。次に、これらのデータに古典的な機械学習を適用します（たとえば、回答者のサブ​​セットの欠損値の予測-基本的に分類タスク）。しかし、見つめて、私はそれを行う適切な方法を見つけることができません。これらのストラタ、重み、またはルーティングをどのように組み込む必要がありますか（例：質問1がオプション2で答えた場合、質問3を尋ね、そうでなければスキップします）？ モデル（ツリー、ロジスティック回帰、SVM、XGBoost ...）を単純に適用することは、データが単純なランダムサンプルまたはiidからのものであると通常想定しているため、危険なようです（ほとんどの場合失敗します）。 多くのメソッドには少なくとも重みがありますが、あまり役に立ちません。さらに、層別化については言及せず、調査の定義によって与えられた不均衡なクラスと重みをどのように組み合わせるべきかは不明です。さらに、結果モデルは適切に調整する必要があります-予測される分布は元の分布に非常に近いはずです。ここでは、予測の良好なパフォーマンスだけが基準ではありません。これも考慮に入れて最適化メトリックを変更し（真の分布からの予測分布の距離 +精度/ MCCなど）、いくつかのケースで、他のパフォーマンスを損なう理由に役立ちました。 この問題に対処する標準的な方法はありますか？それは私にとって非常に過小評価されている研究分野のようです。IMOの多くの調査はMLの力の恩恵を受けることができますが、情報源はありません。これらのように、相互作用しない2つの世界があります。 私がこれまでに見つけたもの： http://civilstat.com/2014/08/statistical-modeling-the-two-cultures-breiman/ たとえば、データが複雑なサンプル調査から得られた場合に回帰ツリーを実行する方法に関する論文（Toth＆Eltinge、2011年）はまだ1つしかありません。 http://ccsg.isr.umich.edu/index.php/chapters/statistical-analysis-chapter#nine 複雑なサンプリング設計による複数の調査を分析する150のサンプリングされた研究論文の最近のメタ分析では、複雑なサンプル設計機能の無知または誤った使用に起因する分析エラーが頻繁に見られました。 https://www.fhwa.dot.gov/2015datapalooza/presentations/PolicyDev.4_Pierce.pdf 関連するCVの質問ですが、これに対処するための有用な答えが含まれていません（答えがない、私が求めているものではなく、誤解を招く推奨事項を提示しています）： 複雑な調査データとの整合分析 加重/複雑な調査データによる機械学習 複雑な調査データでのLASSO後の相互検証 複雑な調査におけるロジスティック回帰の分離？ Rでの複雑な調査データへのマルチレベルモデルの適合

14 machine-learning  survey-weights  survey-sampling 

私は大学で機械学習コースを始めました。クイズの1つで、この質問が尋ねられました。 モデル1：y=θx+ϵy=θx+ϵ y = \theta x + \epsilon モデル2：y=θx+θ2x+ϵy=θx+θ2x+ϵ y = \theta x + \theta^2 x + \epsilon 上記のモデルのどれがデータによりよく適合しますか？（線形回帰を使用してデータをモデル化できると仮定） （教授によると）正しい答えは、両方のモデルが同等にうまく機能するということです。ただし、最初のモデルの方が適していると思います。 これが私の答えの背後にある理由です。以下のように書き換えることができる第2のモデル、αx+ϵαx+ϵ \alpha x + \epsilon 、α=θ+θ2α=θ+θ2\alpha = \theta + \theta^2第一のモデルと同じではないであろう。αα\alpha実際に放物線であるため、最小値を有する（−0.25−0.25 -0.25 この場合は）。このため、最初のモデルのθθ \theta の範囲は、2番目のモデルのの範囲よりも大きくなっていますαα \alpha 。したがって、データがそのようなもので、最適な近似の勾配が-−0.25−0.25-0.25、第2のモデルは、最初の1に比べて非常にうまく機能しないでしょう。ただし、ベストフィットの勾配が−0.25−0.25-0.25、両方のモデルのパフォーマンスは同等です。 最初の方が良いのですか、それともまったく同じですか？

14 regression  machine-learning  self-study  modeling  model 

この質問の構造は次のとおりです。最初にアンサンブル学習の概念を提供し、さらにパターン認識タスクのリストを提供し、次にアンサンブル学習アルゴリズムの例を挙げ、最後に私の質問を紹介します。すべての補足情報を必要としない人は、単に見出しを見て、私の質問にまっすぐ進むかもしれません。 アンサンブル学習とは何ですか？ ウィキペディアの記事によると： 統計および機械学習では、アンサンブルメソッドは複数の学習アルゴリズムを使用して、構成学習アルゴリズムのみの場合よりも優れた予測パフォーマンスを取得します。通常は無限である統計力学の統計アンサンブルとは異なり、機械学習アンサンブルは代替モデルの具体的な有限セットのみを参照しますが、通常、これらの代替モデルの間にはるかに柔軟な構造が存在します。 パターン認識タスクの例： 光学式文字認識 バーコード認識 ナンバープレートの認識 顔検出 音声認識 画像認識 文書分類 アンサンブル学習アルゴリズムの例： PRタスクに使用される次のアンサンブル学習アルゴリズム（Wikiによる）： アンサンブル学習アルゴリズム（複数の学習アルゴリズムを組み合わせるための教師付きメタアルゴリズム）： ブースティング（主にバイアスを減らすための機械学習アンサンブルメタアルゴリズム、教師あり学習の分散、および弱い学習者を強い学習者に変換する機械学習アルゴリズムのファミリー） ブートストラップ集約（「バギング」）（統計的分類と回帰で使用される機械学習アルゴリズムの安定性と精度を改善するために設計された機械学習アンサンブルメタアルゴリズム）。 アンサンブル平均化（1つのモデルを作成するのではなく、複数のモデルを作成し、それらを組み合わせて目的の出力を生成するプロセス。モデルのさまざまなエラーが「平均化」されるため、モデルのアンサンブルのパフォーマンスは個々のモデルよりも優れていることがよくあります。 ） エキスパートの混合、エキスパートの階層的混合 異なる実装 ニューラルネットワークのアンサンブル（個々のモデルの結果を平均して決定を下す一連のニューラルネットワークモデル）。 ランダムフォレスト（分類、回帰、およびその他のタスクのためのアンサンブル学習方法。トレーニング時に多数の決定木を構築し、個々のクラスのモード（分類）または平均予測（回帰）であるクラスを出力することにより動作します。木）。 AdaBoost（他の学習アルゴリズム（「弱学習器」）の出力は、ブーストされた分類器の最終出力を表す加重合計に結合されます）。 さらに： 1つのニューラルネットワークを使用して異なる分類器を組み合わせる方法 コンピテンスエリアメソッド 私の質問 現在、最先端の技術であると考えられており、実際に企業や組織によって実際に使用されているアンサンブル学習アルゴリズムはどれですか（顔検出、車両登録プレート認識、光学文字認識など）。アンサンブル学習アルゴリズムを使用すると、認識精度が向上し、計算効率が向上します。しかし、問題は現実にこのように成り立っていますか？ パターン認識タスクで、より良い分類精度とパフォーマンスを示す可能性のあるアンサンブル方法はどれですか？おそらく、一部の方法は現在古くなっているか、効果がないことが示されています。また、いくつかの新しいアルゴリズムの強さでは、アンサンブルメソッドが使用されなくなっている可能性もあります。この分野での経験があるか、この分野で十分な知識がある人は、問題を明確にするのに役立ちますか？

14 machine-learning  neural-networks  pattern-recognition  ensemble  ocr 

テスト密度のスイートでいくつかの異なるアルゴリズムのパフォーマンスを比較するMCMCメソッドの大規模な研究がありましたか？Rios and Sahinidisの論文（2013）に相当するものを考えています。これは、いくつかのクラスのテスト関数での多数の派生物を含まないブラックボックスオプティマイザーの徹底的な比較です。 MCMCの場合、パフォーマンスは、たとえば、密度評価ごとの有効サンプル数（ESS）、またはその他の適切なメトリックで推定できます。 いくつかのコメント： パフォーマンスはターゲットpdfの詳細に強く依存することを理解していますが、最適化には同様の（場合によっては同一ではない）引数が保持されますが、ベンチマークの最適化を扱う多数のベンチマーク関数、スイート、競合、論文などがありますアルゴリズム。 また、MCMCが最適化と異なる点は、ユーザーからの注意と調整が比較的はるかに必要なことです。それでも、ほとんどまたはまったくチューニングを必要としないMCMCメソッドがいくつかあります。バーンインフェーズ、サンプリング中に適応するメソッド、または相互作用する複数のチェーンを進化させて使用するマルチステート（アンサンブルとも呼ばれる）メソッド（Emceeなど）サンプリングをガイドする他のチェーンからの情報。 特に、標準メソッドとマルチステート（別名アンサンブル）メソッドの比較に興味があります。マルチステートの定義については、MacKayの本のセクション30.6を参照してください。 マルチステートメソッドでは、複数のパラメーターベクトルが維持されます。これらは、メトロポリスやギブスなどの動きの下で個別に進化します。ベクトル間の相互作用もあります。バツバツ\textbf{x} この質問はここから始まりました。 更新 マルチステート別名アンサンブルメソッドの興味深い例については、GelmanのブログのBob Carpenterによるこのブログ投稿と、このCV投稿に関する私のコメントを参照してください。

14 machine-learning  bayesian  references  mcmc 

私はコンピュータービジョンの不適切な問題の最適化について読んでいて、Wikipediaでの最適化に関する以下の説明に出会いました。私が理解していないのは、コンピュータービジョンでこの最適化を「エネルギー最小化」と呼ぶのはなぜですか？ 最適化の問題は、次の方法で表すことができます。 指定：関数集合から実数へのf:A→Rf:A→Rf: A \to RAAA 求め：要素におけるようにすべてのためにおける （ "最小化"）、またはそのすべてのためにおけるA （ "最大化"） 。x0x0x_0AAAf(x0)≤f(x)f(x0)≤f(x)f(x_0) ≤ f(x)xxxAAAf(x0)≥f(x)f(x0)≥f(x)f(x_0) ≥ f(x)xxxAAA このような定式化は、最適化問題または数学的プログラミング問題（コンピュータープログラミングに直接関係しないが、たとえば線形プログラミングでまだ使用されている用語-以下の履歴を参照）と呼ばれます。この一般的なフレームワークでは、現実世界および理論上の多くの問題をモデル化できます。物理学およびコンピュータービジョンの分野でこの手法を使用して定式化された問題は、モデル化されているシステムのエネルギーを表す関数fの値といえば、手法をエネルギー最小化と呼ぶ場合がありますfff。

14 machine-learning  optimization  computer-vision 

深い信念または畳み込みニューラルネットワークを使用して見つけたすべての例は、画像分類、チャットの検出、または音声認識にそれらを使用します。 ディープニューラルネットワークは、特徴が構造化されていない（たとえば、シーケンスまたはグリッドに配置されていない）古典的な回帰タスクにも役立ちますか？はいの場合、例を挙げることができますか？

14 regression  machine-learning  neural-networks  deep-learning 

機械学習を使用して画像分類を行っています。 トレーニングデータ（画像）があり、そのデータをトレーニングセットと検証セットに分割するとします。また、ランダムな回転とノイズ注入によってデータを増強します（元の画像から新しい画像を生成します）。拡張はオフラインで行われます。 データ増強を行う正しい方法はどれですか？ 最初にデータをトレーニングセットと検証セットに分割し、次にトレーニングセットと検証セットの両方でデータ拡張を行います。 最初にデータをトレーニングセットと検証セットに分割してから、トレーニングセットでのみデータの拡張を行います。 最初にデータのデータ増強を行い、次にデータをトレーニングと検証セットに分割します。

14 machine-learning  classification  cross-validation  dataset  data-augmentation 

ヒンジ損失を使用して定義することができる、ログ損失として定義することができるログ（1つの+ EXP （- Y I W Tは、xは Iを））最大（0 、1 - Y私wTバツ私）最大（0、1−y私wTバツ私）\text{max}(0, 1-y_i\mathbf{w}^T\mathbf{x}_i)log （1 + exp（− y私wTバツ私））ログ（1+exp⁡（−y私wTバツ私））\text{log}(1 + \exp(-y_i\mathbf{w}^T\mathbf{x}_i)) 次の質問があります。 ヒンジ損失の欠点はありますか（例：http://www.unc.edu/~yfliu/papers/rsvm.pdfに記載されている外れ値に敏感）。 一方と他方の違い、長所、短所は何ですか？

14 machine-learning  svm  loss-functions  computer-vision 

ロジスティック回帰により、トレーニングサンプルを分離する超平面が検出されることがわかっています。また、サポートベクターマシンが最大マージンを持つ超平面を検出することも知っています。 私の質問：ロジスティック回帰（LR）とサポートベクターマシン（SVM）の違いは、LRがトレーニングサンプルを分離する超平面を見つけ、SVMが最大マージンを持つ超平面を見つけることですか？それとも私は間違っていますか？ 注：LRでは、場合、ロジスティック関数はをます。を分類しきい値と仮定すると、は超平面または決定境界です。θ ⋅ のx = 0θ⋅バツ=0\theta \cdot x = 00.50.50.50.50.50.5θ ⋅ のx = 0θ⋅バツ=0\theta \cdot x = 0

14 machine-learning  classification  svm  data-mining 

私は少し混乱しています：キャレットを介してトレーニングされたモデルの結果は、元のパッケージのモデルとどう違うのですか？キャレットパッケージでRandomForestのFinalModelを使用して予測する前に前処理が必要かどうかを読みました。ただし、ここでは前処理を使用しません。 キャレットパッケージを使用して、さまざまなmtry値を調整することにより、さまざまなランダムフォレストをトレーニングしました。 > cvCtrl = trainControl(method = "repeatedcv",number = 10, repeats = 3, classProbs = TRUE, summaryFunction = twoClassSummary) > newGrid = expand.grid(mtry = c(2,4,8,15)) > classifierRandomForest = train(case_success ~ ., data = train_data, trControl = cvCtrl, method = "rf", metric="ROC", tuneGrid = newGrid) > curClassifier = classifierRandomForest mtry = …

14 r  machine-learning  random-forest  caret  train 

約1,000,000個のパラメーターを持つたたみ込みニューラルネットワーク（CNN）がある場合、いくつのトレーニングデータが必要ですか（確率的勾配降下を行っていると仮定します）？経験則はありますか？ 追記事項：確率的勾配降下（たとえば、1回の反復で64個のパッチ）を実行した場合、〜10000回の反復の後、分類器の精度は大まかな定常値に達することがあります）。これは、多くのデータが必要ないという意味ですか？100k-1000kデータのように。

14 machine-learning  neural-networks  deep-learning  conv-neural-network 

で説明されているようにQラーニングを実装しました。 http://web.cs.swarthmore.edu/~meeden/cs81/s12/papers/MarkStevePaper.pdf 約するために。Q（S、A）次のようなニューラルネットワーク構造を使用します。 活性化シグモイド 入力、入力数+アクションニューロンの1（すべての入力は0〜1にスケーリング） 出力、単一出力。Q値 N個のM隠しレイヤー。 探索方法random 0 <rand（）<propExplore 次の式を使用した各学習反復で、 Q-Target値を計算してから、 error = QTarget - LastQValueReturnedFromNN ニューラルネットワークを介してエラーを逆伝播します。 Q1、私は正しい軌道に乗っていますか？私は、アクションごとに1つの出力ニューロンを持つNNを実装するいくつかの論文を見てきました。 Q2、私の報酬関数は-1と1の間の数を返します。アクティベーション関数がシグモイド（0 1）の場合、-1と1の間の数を返すことは問題ありませんか Q3、十分なトレーニングインスタンスが与えられたこの方法の理解から、最適なポリシーを見つけるために隔離する必要がありますか？XORのトレーニングでは、2k回の反復後に学習する場合がありますが、40k 50kの反復後でも学習しない場合があります。

14 machine-learning  neural-networks  reinforcement-learning