タグ付けされた質問 「generative-models」

生成は「P(x,y)P(x,y)P(x,y)基づいて」を意味し、識別は「P(y|x)P(y|x)P(y|x)に基づいて」を意味することを知っていますが、いくつかの点で混乱しています： ウィキペディア（およびWeb上の他の多くのヒット）では、SVMや意思決定ツリーなどを差別的なものとして分類しています。しかし、これらには確率的な解釈すらありません。ここでの差別とはどういう意味ですか？差別的というのは、生成的ではない何かを意味するようになったのでしょうか？ Naive Bayes（NB）はP(x|y)P(x|y)P(x|y)およびをキャプチャするため生成的P(y)P(y)P(y)であり、したがってP(x,y)P(x,y)P(x,y)（およびP(y|x)P(y|x)P(y|x)）があります。同様の方法で単純に計算することで、ロジスティック回帰（判別モデルのポスターボーイ）を「生成」するのは簡単ではありません（P （x ）= P （x 0P(x)P(x)P(x)P(x)=P(x0)P(x1)...P(xd)P(x)=P(x0)P(x1)...P(xd)P(x) = P(x_0) P(x_1) ... P(x_d)、 MLEP(xi)P(xi)P(x_i)は単なる周波数です）？ 識別モデルは生成モデルよりも性能が優れている傾向があることは知っています。生成モデルを使用する実用的な用途は何ですか？データを生成/シミュレートできることが挙げられますが、これはいつ発表されますか？個人的には、回帰、分類、コラボの経験しかありません。構造化データをフィルタリングするので、ここでの使用は私とは無関係ですか？「失われたデータ」引数（P(xi|y)P(xi|y)P(x_i|y)不足しているためxixix_i）学習データのみで、あなたにエッジを与えるように思われる（あなたが実際に知っているときyyyとオーバー過小評価する必要はありませんP(y)P(y)P(y)取得します比較的愚かなP(xi)P(xi)P(x_i)とにかく直接推定することができます）、それでも代入ははるかに柔軟です（だけでyyyなく他のも基づいて予測できxixix_iます）。 ウィキペディアからの完全に矛盾した引用とは何ですか？「生成モデルは通常、複雑な学習タスクで依存関係を表現する際に識別モデルよりも柔軟性が高い」対「識別モデルは一般に、観測変数とターゲット変数の間のより複雑な関係を表現できる」 これについて考えさせられた関連質問。

153 machine-learning  generative-models 

変分オートエンコーダー（VAE）の再パラメーター化トリックはどのように機能しますか？基礎となる数学を単純化せずに直感的で簡単な説明はありますか？そして、なぜ「トリック」が必要なのでしょうか？

57 mathematical-statistics  autoencoders  variational-bayes  generative-models 

背景：過去4年間（alexnet後）の多くの近代的な研究は、最先端の分類結果を達成するためにニューラルネットワークの生成的事前トレーニングを使用することから遠ざかっているようです。 例えば、mnistのための上位の結果、ここでは、トップ50の唯一の2紙、RBMのですどちらも、生成モデルを使用しているように見えます。他の48の受賞論文は、RBMや多くの古いニューラルネットワークで使用されているシグモイドとは異なる、より優れた/新しい重みの初期化とアクティベーション関数を見つけることに多大な労力を費やした、異なる識別フィードフォワードアーキテクチャに関するものです。 質問：制限付きボルツマンマシンを使用する現代的な理由はありますか？ そうでない場合、これらのフィードフォワードアーキテクチャに適用できる事実上の変更があり、それらの層のいずれかを生成可能にしますか？ 動機：私が見ているのは、私が見ているいくつかのモデル、通常はRBMのバリアントであり、これらの生成層/モデルに明らかな類似の識別的対応物が必ずしも存在しないためです。例えば： mcRBM ssRBM CRBM（CNNがフィードフォワードアーキテクチャを使用しているのは差別的な類似アーキテクチャであると主張できるかもしれませんが） また、これらは2010年、2011年、2009年から明らかに敬意を表してプレアレックスネットでもありました。

16 references  deep-learning  rbm  generative-models 

誰かがベイジアン統計と生成モデリング技術の関係を説明する良い参考文献を私に紹介できますか？なぜ通常ベイジアン手法で生成モデルを使用するのですか？ 完全なデータがない場合でも、ベイジアン統計を使用することが特に魅力的であるのはなぜですか？ 私はより機械学習指向の視点から来ており、統計コミュニティからそれについてもっと読むことに興味があることに注意してください。 これらの点を議論する良い参考文献は大歓迎です。ありがとう。

15 bayesian  generative-models 

ガウス判別分析モデルはを学習し、次にベイズ規則を適用して したがって、それらは生成モデルです。なぜそれが判別分析と呼ばれるのですか？クラス間の判別曲線を最終的に導出するためである場合、それはすべての生成モデルで発生します。P（x | y）P（バツ|y）P(x|y)P（y| x）= P（x | y）Pp R I O R（y）Σg∈ YP（x | g）PP Rのi個のOR（g）。P（y|バツ）=P（バツ|y）Ppr私or（y）Σg∈YP（バツ|g）Ppr私or（g）。P(y|x) = \frac{P(x|y)P_{prior}(y)}{\Sigma_{g \in Y} P(x|g) P_{prior}(g) }.

13 normal-distribution  discriminant-analysis  generative-models 

最近、私は「可能性のない」方法が文学で取り残されていることに気づきました。ただし、推論または最適化の方法が尤度フリーであることの意味は明確ではありません。 機械学習の目的は、通常、一部のパラメーターがニューラルネットワークの重みなどの関数に適合する可能性を最大にすることです。 では、正確に尤度フリーのアプローチの哲学は何であり、なぜGANsのような敵対的なネットワークがこのカテゴリーに該当するのでしょうか？

11 machine-learning  deep-learning  maximum-likelihood  generative-models  abc 

しばらくの間、確率モデルからカーネルを構築する方法のように思われたため、Fisher Kernelが人気になるように思われました。ただし、実際に使用されることはめったにありません。また、十分に機能しない傾向があるというのは、十分な権限があるためです。彼らはフィッシャー情報の計算に依存しています-ウィキペディアの引用： フィッシャー情報は、fの自然対数のθに関する2次導関数の期待値の否定です。情報は、θの最尤推定値（MLE）に近いサポート曲線の「曲率」の尺度であると見なすことができます。 私が知る限り、これは2点間のカーネル関数がこの曲面に沿った距離であることを意味します-私は正しいですか？ ただし、これは、カーネルメソッドでの使用に問題がある可能性があります。 MLEは、特定のモデルの非常に悪い推定値である可能性があります MLEの周囲のサポートカーブの曲率は、インスタンスを区別するために使用できない可能性があります。 これはモデルに関する多くの情報を捨てるようです これが事実である場合、確率論的方法からカーネルを構築するより現代的な方法はありますか？たとえば、ホールドアウトセットを使用して、MAP推定値を同じ方法で使用できますか？（有効な）カーネル関数を構築するために、確率論的手法からの距離または類似性のその他の概念はどのように機能しますか？

10 machine-learning  probability  kernel-trick  generative-models 

コックス比例ハザードモデルから生存曲線をどのように解釈しますか？ このおもちゃの例ではage、kidneyデータの変数にcox比例ハザードモデルがあり、生存曲線を生成するとします。 library(survival) fit <- coxph(Surv(time, status)~age, data=kidney) plot(conf.int="none", survfit(fit)) grid() たとえば、時間、どのステートメントが正しいですか？または両方が間違っていますか？200200200 ステートメント1：被験者は20％残ります（たとえば、人がいる場合、200日目までに、およそ200人が残っているはずです）。 100010001000200200200200200200 ステートメント2：特定の人に対して、彼/彼女は200日目に生存する可能性がます。20%20%20\%200200200 βTxβTx\beta^Tx

9 r  survival  cox-model  likelihood  machine-learning  deep-learning  generative-models  machine-learning  reinforcement-learning  q-learning  regression  multicollinearity  convergence  beta-distribution  bernoulli-distribution  machine-learning  self-study  pattern-recognition  neural-networks  stochastic-processes  linear 

私の職場では、2週間のコードの課題があり、いくつかの制約を前提として、100のサンプルボブロスの絵を可能な限り忠実に再現するアルゴリズムを作成する必要があります。 「ペイント」は、背景色と一連の「ブラシストローク」を含むJSONファイルとして送信されます。 ブラシストロークには、始点、終点、半径、および色があります。 絵ごとに500ストロークの制限があります。 100枚すべての参考絵画は、サイズとアスペクト比がまったく同じです：450x337。 サーバーは各送信を「ペイント」してから、参照ペイントを使用してピクセルごとの差分を行います。提出された絵画の各ピクセルは、ソースピクセルの値との類似性に基づいてスカラー0〜1の範囲でスコア付けされ、絵画のスコアはすべてのピクセルスコアの平均です。コンテストを実行している人々は、MacOS / Linuxのコマンドラインで実行できる画像の描画とスコアリングの両方のためのライブラリをリリースしました。 アルゴリズムが試行する各試行のきめ細かいスコアリングのメカニズムがあるため、この問題はMLの影響を受けやすいはずです。絵画の生成と採点には、約200ミリ秒しかかかりません。残念ながら、私はほとんどがMLファンであり（多くのポッドキャストを聴いています）、問題をどのようにモデル化すればよいかわかりません。 アルゴリズムで500の完全にランダムなストロークを作成し、出力を段階的に調整すると、有用なものに収束するのに永久に時間がかかります。（ペイントを開始する前にヒストグラムを実行して）ストロークのカラースペースを各ペイントで最も頻繁に使用される64色のセットに制限し、アルゴリズムのブラシサイズの選択を制限することを検討しました。 参考までに、最も一般的な色のベタフィールドである画像を送信しただけで、65％のスコアが得られました。現在勝っているアルゴリズムは、ほとんどの場合、絵画をグリッドに変換し、それぞれの上に各セクターの平均色のドットを配置するだけです。

7 reinforcement-learning  generative-models