タグ付けされた質問 「rbm」

最近、私はディープラーニングについて読んでいますが、用語（またはテクノロジー）について混乱しています。違いは何ですか 畳み込みニューラルネットワーク（CNN）、 制限付きボルツマンマシン（RBM）および 自動エンコーダー？

123 neural-networks  deep-learning  conv-neural-network  autoencoders  rbm 

ディープラーニングニューラルネットワーク用の優れたRライブラリがあるかどうか疑問に思っていましたか？私は知っているnnet、neuralnetとRSNNS、これらのどれも深い学習方法を実装するように見えるん。 特に、教師なし学習に続いて教師なし学習に興味があり、ドロップアウトを使用して共同適応を防ぎます。 / edit：数年後、h20ディープラーニングパッケージは非常に適切に設計され、インストールが簡単であることがわかりました。mxnetパッケージも大好きです。これはインストールが（少し）難しいですが、covnetなどをサポートし、GPU上で実行され、非常に高速です。

56 r  neural-networks  deep-learning  rbm  deep-belief-networks 

よくわかりません。ディープビリーフネットワークとディープボルツマンマシンには違いがありますか？もしそうなら、違いは何ですか？

28 machine-learning  deep-learning  rbm  deep-belief-networks 

次の2つのような50,000個の画像があります。 データのグラフを表します。これらの画像から特徴を抽出したかったので、Theano（deeplearning.net）が提供するオートエンコーダコードを使用しました。 問題は、これらのオートエンコーダーが機能を学習していないようです。私はRBMを試しましたが、それは同じです。 MNISTデータセットは素晴らしい機能を提供しますが、私のデータは何ももたらさないようです。以下に例を示します。 MNISTで作成されたフィルター： データをトレーニングして作成したフィルター： 隠れ層サイズとトレーニングエポックのさまざまな組み合わせを使用しましたが、結果は常に同じです。 なぜ機能しないのですか？自動エンコーダーがこれらの画像から特徴を抽出できないのはなぜですか？ 編集： 同様の問題を抱えている人のために。解決策は本当にシンプルで、原因は本当に馬鹿げていました。RGBエンコーディングのピクセル値を0〜1の範囲の浮動小数点数に再スケーリングするのを忘れました。 値を再スケーリングすることで問題が解決しました。

24 machine-learning  neural-networks  feature-construction  rbm  autoencoders 

バックグラウンド： はい、制限付きボルツマンマシン（RBM）を使用して、ニューラルネットワークの重みを開始できます。また、深い信念ネットワークを構築するための「層ごとの」方法で使用することができる訓練すること、である（の上に番目の層（N - 1 ）、次いで番目の層、及び訓練しますの上に層目番目の層、リンスを繰り返し...） nnn（n − 1 ）（n−1）(n-1)n + 1n+1n+1nnn。 RBMの使用方法については、制限付きボルツマンマシン（RBM）の優れたチュートリアルのスレッドから詳細を見つける ことができます。ここでは、いくつかの論文やチュートリアルを見つけることができます。 私の質問は次のとおりです。 RBMは産業プロジェクトまたは学術プロジェクトで実際に使用されていますか はいの場合、どのプロジェクトがどのように使用されていますか？ 人気のあるライブラリ（tensorflow、Caffe、Theonoなど）はRBMモジュールを提供しますか？ 共有してくれてありがとう。RBMが実際に本当に役立つかどうか知りたいです。

21 machine-learning  neural-networks  deep-learning  deep-belief-networks  rbm 

（経験的または理論的に）比較して議論する論文またはテキストを探しています。 Random ForestsやAdaBoost、およびGentleBoost などのブースティングおよび決定木アルゴリズムが決定木に適用されます。 と 以下のような深い学習法制限付きボルツマンマシン、階層一時記憶、畳み込みニューラルネットワークなど、 より具体的には、MLメソッドのこれら2つのブロックを速度、精度、または収束の観点から議論または比較するテキストを知っている人はいますか？また、2番目のブロックのモデルまたはメソッドの違い（長所と短所など）を説明または要約するテキストを探しています。 このような比較に直接対処するポインタまたは回答をいただければ幸いです。

18 machine-learning  deep-learning  cart  rbm  adaboost 

背景：過去4年間（alexnet後）の多くの近代的な研究は、最先端の分類結果を達成するためにニューラルネットワークの生成的事前トレーニングを使用することから遠ざかっているようです。 例えば、mnistのための上位の結果、ここでは、トップ50の唯一の2紙、RBMのですどちらも、生成モデルを使用しているように見えます。他の48の受賞論文は、RBMや多くの古いニューラルネットワークで使用されているシグモイドとは異なる、より優れた/新しい重みの初期化とアクティベーション関数を見つけることに多大な労力を費やした、異なる識別フィードフォワードアーキテクチャに関するものです。 質問：制限付きボルツマンマシンを使用する現代的な理由はありますか？ そうでない場合、これらのフィードフォワードアーキテクチャに適用できる事実上の変更があり、それらの層のいずれかを生成可能にしますか？ 動機：私が見ているのは、私が見ているいくつかのモデル、通常はRBMのバリアントであり、これらの生成層/モデルに明らかな類似の識別的対応物が必ずしも存在しないためです。例えば： mcRBM ssRBM CRBM（CNNがフィードフォワードアーキテクチャを使用しているのは差別的な類似アーキテクチャであると主張できるかもしれませんが） また、これらは2010年、2011年、2009年から明らかに敬意を表してプレアレックスネットでもありました。

16 references  deep-learning  rbm  generative-models 

なぜ「マシン」と呼ばれるのですか？この文脈で使用される「機械」という言葉の起源はありますか？（「線形プログラミング」という名前のようにわかりにくいかもしれませんが、なぜ「プログラミング」と呼ばれるのかはわかっています。）

14 svm  terminology  rbm  etymology 

物理学のクラスでボルツマンマシンを使って実際にプログラミングを行ったことがありますが、それらの理論的な特性についてはよく知りません。対照的に、私はグラフィカルモデルの理論については適度な量を知っています（ローリッツェンの本Graphical Modelsの最初の数章について）。 質問：グラフィカルモデルとボルツマンマシンの間に意味のある関係はありますか？ボルツマンマシンは一種のグラフィカルモデルですか？ 明らかに、ボルツマンマシンは一種のニューラルネットワークです。ニューラルネットワークの中には、数学的にグラフィカルモデルに関連しているものとそうでないものがあると聞きました。 私の質問に答えないCrossValidatedの関連質問： これは、以前に尋ねられた前の質問に似ています：階層モデル、ニューラルネットワーク、グラフィカルモデル、ベイジアンネットワーク間の関係は何ですか？より具体的です。 さらに、その質問に対する受け入れられた回答は私の混乱を明確にしません-ニューラルネットワークの標準的なグラフィック表現のノードが確率変数を表さなくても、そのような表現が存在しないことを必ずしも意味しません。具体的には、マルコフ連鎖の典型的なグラフィカル表現のノードが確率変数ではなく可能な状態のセットをどのように表すかについて考えていますが、X i間の条件依存関係を示すグラフを作成することもできますバツ私XiX_iバツ私バツ私X_iこれは、すべてのマルコフ連鎖が実際にはマルコフ確率場であることを示しています。答えはまた、ニューラルネットワーク（おそらくボルツマンマシンを含む）は「弁別的」であると述べていますが、その主張が何を意味するかを詳しく説明することはしません。また、明らかなフォローアップの質問は「差別的ではないグラフィカルモデルですか？」対処した。同様に、受け入れられた回答リンクはケビンマーフィーのウェブサイト（実際にはベイジアンネットワークについて学ぶときに彼の博士論文の一部を読んでいます）にリンクしていますが、このウェブサイトはベイジアンネットワークのみを取り上げており、ニューラルネットワークについてはまったく触れていません。異なっています。 この他の質問はおそらく私のものに最も似ています：ニューラルネットワークをグラフィカルモデルとして数学的にモデル化します。ただし、どの回答も受け入れられず、同様に参照のみが示され、説明は説明されません（この回答など）。いつかリファレンスを理解できるようになると思いますが、今は基本的な知識レベルにいるので、できるだけ単純化した回答をいただければ幸いです。また、上位の回答（http://www.cs.toronto.edu/~tijmen/csc321/lecture_notes.shtml）にリンクされているトロントのコースでは、これについて説明していますが、詳細については詳しく説明していません。さらに、私の質問に答える可能性がある1つの講義のノートは公開されていません。 3月25日講演13b：Belief Nets 7:43。このスライドでは、ボルツマンマシンを念頭に置いてください。そこにも、隠れたユニットと目に見えるユニットがあり、すべて確率的です。BMとSBNには、違いよりも共通点があります。9:16。最近では、「グラフィカルモデル」はニューラルネットワークの特別なカテゴリと見なされることがありますが、ここで説明する歴史では、非常に異なるタイプのシステムと見なされていました。

10 machine-learning  neural-networks  mathematical-statistics  graphical-model  rbm 

従来のトレーニングの問題の一部を回避するために事前トレーニングが使用されていることを理解しています。オートエンコーダなどでバックプロパゲーションを使用すると、バックプロパゲーションが遅いために時間の問題が発生することを知っています。また、ローカルオプティマで動けなくなり、特定の機能を学習できない場合もあります。 私が理解していないのは、ネットワークをどのように事前トレーニングするか、具体的に事前トレーニングするために何をするかです。たとえば、制限されたボルツマンマシンのスタックが与えられた場合、このネットワークをどのように事前トレーニングしますか？

10 machine-learning  neural-networks  backpropagation  rbm  pre-training 

私は制限付きボルツマンマシン（RBM）を研究していて、RBMのパラメーターに関する対数尤度計算を理解するのにいくつか問題があります。RBMに関する多くの研究論文が発表されていますが、派生物の詳細な手順はありません。オンラインで検索した後、このドキュメントでそれらを見つけることができました。 フィッシャー、A。＆イゲル、C。（2012）。制限付きボルツマンマシンの紹介。L. Alvarez et al。（編集）：CIARP、LNCS 7441、14〜36ページ、Springer-Verlag：ベルリン-ハイデルベルク。（pdf） ただし、このドキュメントの詳細は私にはあまりにも高度です。誰かがRBMに関する優れたチュートリアル/講義ノートのセットを教えてくれますか？ 編集：@David、わかりにくいセクションを以下に示します（26ページの式29）： ∂lnL（θ | v）∂w私はj= − ∑hp （h | v ）∂E（v 、h ）∂w私はj+ ∑v 、hp （v 、h ）∂E（v 、h ）∂w私はj= ∑hp （h | v ）h私vj− ∑vp （v ）∑hp （h | v ）h私vj=p （H私= 1 | v ）vj− ∑vp （v ）p （H私= 1 | v …

10 references  rbm 

ディープモデルを使用して各入力フィーチャの重要度を計算したい。 しかし、深層学習を使用した特徴選択についての論文は1つしか見つかりませんでした- 深部特徴選択。最初の非表示レイヤーの前に、各フィーチャに直接接続されたノードのレイヤーを挿入します。 ディープ・ビリーフ・ネットワーク（DBN）もこのような仕事に使えると聞きました。しかし、DBNはPCAのような機能の抽象化（クラスター）しか提供しないと思うので、次元を効果的に削減できますが、各機能の重要度（重み）を計算できるかどうか疑問に思います。 DBNで機能の重要度を計算することは可能ですか？また、ディープラーニングを使用して特徴を選択する他の既知の方法はありますか？

9 feature-selection  deep-learning  deep-belief-networks  rbm 

制限付きボルツマンマシンに永続的CD学習アルゴリズムを使用する場合、最初の反復でデータポイントからギブスサンプリングチェーンを開始しますが、通常のCDとは異なり、後続の反復ではチェーンから開始しません。代わりに、前の反復のギブスサンプリングチェーンが終了したところから開始します。 通常のCDアルゴリズムでは、各反復でデータポイントのミニバッチが評価され、それらのデータポイント自体から始まるギブスサンプリングチェーンが計算されます。 永続CDでは、各データポイントのギブスサンプリングチェーンを維持する必要がありますか？それとも、現在の反復で現在評価されていないデータポイントから始まったギブスサンプリングチェーンのミニバッチも保持する必要がありますか？ 各データポイントのギブスサンプリングチェーンを維持するのは面倒すぎるように思えますが、一方で、現在のサンプルの信号を、現在のところから始まっていない長いギブスチェーンの後の信号と比較することは不適切のようです。サンプル。

9 machine-learning  neural-networks  rbm 

RBMは非常に新しく、今すぐRBMプログラムを作成しようとしています。これがばかげた質問であるか、ここですでに回答されている場合は、申し訳ありません。 オンラインでいくつかの記事を読んだり、ここで質問をしたりしましたが、バイアス（またはバイアスの重み）を更新する方法について何も見つかりません。最初にそれらを設定することについて読みました。それらが更新されることへの参照のつかの間。ジェフヒントンはもちろんバイアスについて言及しており、それは彼の方程式で特徴付けられています（私は彼の論文をいくつか読んだり、ビデオプレゼンテーションをいくつか見たりしました）が、一度設定したバイアスの論文については言及がありません。 、またはその方法/時期/理由。何か欠けているに違いない！ Edwin Chenの論文はこちらで推奨されています。http： //blog.echen.me/2011/07/18/introduction-to-restricted-boltzmann-machines/ バイアスを更新/「学習」する方法については触れていません。それらは彼のプログラムで変更されていますが、私は彼のコードを理解していません。（彼は、正しくないように見える更新された重みを与えるテーブルを持っています-不思議なことに、それは何を意味するにせよ、バイアスバイアスの重みを与えます。） えっと、なぜこれが素材を見つけるのがとても難しいのかわかりません!! 助けてくれてありがとう。

8 deep-learning  rbm  deep-belief-networks 

1時間にイベントが発生する頻度（「1時間あたりの数」、nph）とイベントが持続する時間（「1秒あたりの秒数」、dph）を説明するデータがあります。 これは元のデータです： nph <- c(2.50000000003638, 3.78947368414551, 1.51456310682008, 5.84686774940732, 4.58823529414907, 5.59999999993481, 5.06666666666667, 11.6470588233699, 1.99999999998209, NA, 4.46153846149851, 18, 1.05882352939726, 9.21739130425452, 27.8399999994814, 15.3750000002237, NA, 6.00000000004109, 9.71428571436649, 12.4848484848485, 16.5034965037115, 20.6666666666667, 3.49999999997453, 4.65882352938624, 4.74999999996544, 3.99999999994522, 2.8, 14.2285714286188, 11.0000000000915, NA, 2.66666666666667, 3.76470588230138, 4.70588235287673, 13.2727272728677, 2.0000000000137, 18.4444444444444, 17.5555555555556, 14.2222222222222, 2.00000000001663, 4, 8.46153846146269, 19.2000000001788, 13.9024390245481, 13, 3.00000000004366, NA, …

8 normal-distribution  data-transformation  logistic  generalized-linear-model  ridge-regression  t-test  wilcoxon-signed-rank  paired-data  naive-bayes  distributions  logistic  goodness-of-fit  time-series  eviews  ecm  panel-data  reliability  psychometrics  validity  cronbachs-alpha  self-study  random-variable  expected-value  median  regression  self-study  multiple-regression  linear-model  forecasting  prediction-interval  normal-distribution  excel  bayesian  multivariate-analysis  modeling  predictive-models  canonical-correlation  rbm  time-series  machine-learning  neural-networks  fishers-exact  factorisation-theorem  svm  prediction  linear  reinforcement-learning  cdf  probability-inequalities  ecdf  time-series  kalman-filter  state-space-models  dynamic-regression  index-decomposition  sampling  stratification  cluster-sample  survey-sampling  distributions  maximum-likelihood  gamma-distribution