生成モデルと判別モデル（ベイジアンコンテキスト）

生成モデルと識別モデル（判別モデル）の違いは何ですか（ベイジアン学習と推論のコンテキストで）。

そして、予測、決定理論、または教師なし学習に関係するものは何ですか？

両方とも、の形式の多数のトレーニング例が与えられ、入力xを出力yにマップするルールを学習する教師あり学習で使用されます。生成モデル（単純なベイズなど）は、結合確率分布p （x 、y ）を明示的にモデル化し、ベイズ規則を使用してp （y | x ）を計算します。一方、判別モデル（ロジスティック回帰など）は、p （y | x ）を直接モデル化します$\{(x_i,y_i)\}$$p(x,y)$$p(y|x)$$p(y|x)$ます。

一部の人々は差別モデルが直接モデルあなたが気に量という意味で優れていると主張するあなたが入力x上のモデリング努力を費やす必要はありませんので、（あなたは計算する必要が、P （X | Y ）生成モデルでも）。ただし、生成モデルには、欠損データを処理する機能などの独自の利点があります。比較のために、このペーパーを見ることができます：判別分類器と生成分類器について：ロジスティック回帰と単純ベイズの比較$(y)$$p(x|y)$

あるモデルが他のモデルよりも優れている場合があります（たとえば、識別モデルは通常、大量のデータがある場合に優れている傾向があります。実際、両方の長所を取り入れようとするhybirdモデルも存在します。例については、このペーパーを参照してください：生成モデルと判別モデルの原理的なハイブリッド

上記の答えへの1つの追加：

判別式はP（Y | X）だけを気にするので、生成はP（X、Y）とP（X）を同時に気にするので、P（Y | X）をうまく予測するために、生成モデルは自由度が低くなります。判別モデルと比較したモデル。だから、生成モデルは、より堅牢ですであり、過剰適合の傾向が低く、判別式は逆です。

それは上記の答えを説明しています

あるモデルが他のモデルよりも優れている場合があります（たとえば、多くのデータがある場合、通常、判別モデルの方がうまくいく傾向があります。