隠れマルコフモデルと条件付きランダムフィールドの直感的な違い

HMM（Hidden Markov Models）は生成モデルであり、CRFは識別モデルであることを理解しています。また、CRF（条件付きランダムフィールド）がどのように設計され使用されているかも理解しています。私が理解していないのは、それらがHMMとどのように異なるかです。HMMの場合、前のノード、現在のノード、および遷移確率でのみ次の状態をモデル化できますが、CRFの場合はこれを実行でき、任意の数のノードを接続して依存関係を形成できますまたはコンテキスト？私はここで正しいですか？

McCallumのCRFへの紹介から：

「条件付きランダムフィールドは、最大エントロピーモデルのシーケンシャルな拡張として理解できます」。この文は、「古典的な確率モデルと条件付き確率場」に関連する技術レポートからのものです。

HMM、CRF、Maximum Entropyなどのトピックに最適です。

PS：リンクの図1は、それらを非常によく比較しています。

よろしく、

補足事項として、興味のあるユーザーが簡単にアクセスできるリソースを持つために、この（不完全な）リストを維持するようお願いします。現状では、CRFおよびHMMに関連する回答を見つけるために、個人は依然として多くの論文や長い技術レポートを調査する必要があります。

他の既に良い答えに加えて、私が最も注目すべき特徴的な機能を指摘したいと思います。

• HMMは、ジョイント分布P（y、x）をモデル化しようとする生成モデルです。したがって、このようなモデルは、データP（x）の分布をモデル化しようとするため、非常に依存性の高い特徴が生じる可能性があります。これらの依存関係は、望ましくない場合があり（NLPのPOSタグ付けなど）、モデル化や計算が難しい場合が非常に多くあります。
• CRFは、 P（y | x）をモデル化する判別モデルです。そのため、P（x）を明示的にモデル化する必要はなく、タスクに応じて、たとえばサンプルの生成が望ましくない設定で学習する必要のあるパラメーターが少ないため、パフォーマンスが向上する可能性があります。識別モデルは、複雑で重複した機能を使用する場合に適しています（分布のモデリングは難しい場合が多いため）。
• このようなオーバーラップ/複雑な機能（POSタグなど）がある場合は、CRFを機能機能でモデル化できるため、CRFを検討することをお勧めします（通常、これらの機能を機能エンジニアリングする必要があることに注意してください）。
• 一般に、CRFは、機能機能の適用により、HMMよりも強力です。たとえば、1（$y_t$= NN、 $x_t$=スミス、 $cap(x_{t-1})$= true）（1次）HMMではマルコフ仮定を使用し、前の要素のみに依存関係を課します。したがって、CRFはHMMの一般化と見なされます。
• また、線形CRFと一般CRFの違いにも注意してください。HMMなどの線形CRFは前の要素にのみ依存関係を課しますが、一般的なCRFでは任意の要素に依存関係を課すことができます（たとえば、最初の要素はシーケンスの最後にアクセスされます）。
• 実際には、一般的なCRFよりも線形CRFの方が頻繁に表示されます。これは、通常、推論が容易になるためです。一般に、CRF推論は扱いにくい場合が多く、おおよその推論という唯一の扱いやすいオプションがあります）。
• 線形CRFの推論は、HMMと同様にビタビアルゴリズムを使用して行われます。
• HMMと線形CRFの両方は、通常、勾配降下法、準ニュートン法などの最尤法、または期待値最大化法（Baum-Welchアルゴリズム）を備えたHMMで訓練されます。最適化の問題が凸である場合、これらの方法はすべて最適なパラメーターセットを生成します。
• [1]によると、線形CRFパラメーターを学習するための最適化問題は、すべてのノードが指数関数族分布を持ち、トレーニング中に観察される場合、凸です。

[1]サットン、チャールズ。マッカラム、アンドリュー（2010）、「条件付きランダムフィールドの概要」