隠れマルコフモデルとニューラルネットワークの違いは何ですか？

私は統計に足を踏み入れたばかりなので、この質問が意味をなさない場合は申し訳ありません。私はマルコフモデルを使用して、隠れた状態（不公平なカジノ、サイコロロールなど）とニューラルネットワークを予測し、検索エンジンでのユーザークリックを調べました。どちらも、観測を使用して把握しようとしている隠された状態がありました。

私の理解では、それらは両方とも隠れ状態を予測するので、ニューラルネットワークでマルコフモデルをいつ使用するのだろうか？それらは、同様の問題に対する異なるアプローチですか？

（私は学習に興味がありますが、別の動機もあります。隠れたマルコフモデルを使用して解決しようとしている問題があります。

隠されているものと観察されているもの

隠れマルコフモデルに隠れているものは、離散混合モデルに隠れているものと同じです。そのため、明確にするために、隠れ状態のダイナミクスを忘れ、例として有限混合モデルに固執します。このモデルの「状態」は、各観測の原因となったコンポーネントの識別情報です。このクラスのモデルでは、このような原因は観察されないため、「隠れた原因」は統計的に、観察されたデータには限界依存性があるという主張に変換されます。そして、ソースコンポーネントは、この統計的な関係を真にするものであると推定されます。

シグモイド中間ユニットを備えたフィードフォワード多層ニューラルネットワークに隠れているのは、推論のターゲットである出力ではなく、それらのユニットの状態です。ネットワークの出力が分類、つまり可能な出力カテゴリにわたる確率分布である場合、これらの隠されたユニット値は、カテゴリが分離可能な空間を定義します。このようなモデルを学習するコツは、問題が線形になる隠れた空間を作成することです（入力ユニットからマッピングを調整することにより）。その結果、システム全体から非線形の決定境界が可能になります。

生成的と差別的

混合モデル（およびHMM）は、データ生成プロセスのモデルであり、尤度または「フォワードモデル」とも呼ばれます。各状態の事前確率に関するいくつかの仮定と組み合わせると、ベイズの定理を使用して隠れ状態の可能な値の分布を推測できます（生成的アプローチ）。「事前」と呼ばれますが、尤度の事前とパラメータの両方が通常データから学習されることに注意してください。

混合モデル（およびHMM）とは対照的に、ニューラルネットワークは出力カテゴリの事後分布を直接学習します（判別アプローチ）。これは、出力値が推定中に観察されたために可能です。また、それらが観察されたため、混合などの尤度の事前および特定のモデルから事後分布を構築する必要はありません。事後はデータから直接学習されるため、より効率的でモデルへの依存度が低くなります。

ミックスアンドマッチ

物事をより混乱させるために、たとえば混合モデル（またはHMM）の状態が実際に観察される場合など、これらのアプローチを混合することができます。それが当てはまる場合、およびここに関係のない他の状況では、生成モデルで差別的に訓練することが可能です。同様に、HMMの混合モデルマッピングを、より柔軟なフォワードモデル（ニューラルネットワークなど）に置き換えることができます。

質問

そのため、両方のモデルが隠れた状態を予測するということはあまり真実ではありません。HMM は、フォワードモデルが期待している種類だけではありますが、隠れ状態を予測するために使用できます。ニューラルネットワークを使用して、まだ観測されていない状態、たとえば予測子が利用可能な将来の状態を予測できます。この種の状態は、原則として隠されていません。まだ観察されていません。

どちらを使用するかはいつですか？私の経験では、ニューラルネットワークはやや厄介な時系列モデルを作成します。また、出力を観察したことを前提としています。HMMはそうではありませんが、隠された状態が実際に何であるかを実際に制御することはできません。それにもかかわらず、それらは適切な時系列モデルです。

隠れマルコフモデルを使用して、言語を生成できます。つまり、文字列のファミリから要素をリストします。たとえば、一連のシーケンスをモデル化するHMMがある場合、モデル化するシーケンスのグループに分類されるシーケンスをリストすることにより、このファミリーのメンバーを生成できます。

ニューラルネットワークは、高次元空間から入力を取得し、それを単純に低次元空間にマッピングします（ニューラルネットワークがこの入力をマッピングする方法は、トレーニング、トポロジ、およびその他の要因に基づきます）。たとえば、数値の64ビットイメージを取得し、この数値が1か0かを示すtrue / false値にマップします。

両方のメソッドは、アイテムがクラスのメンバーであるかどうかを判別できます（または少なくとも試行できます）が、ニューラルネットワークは上記のように言語を生成できません。

隠れマルコフモデルに代わるものがあります。たとえば、HMMのパワー不足にあると思われる場合は、より一般的なベイジアンネットワーク、異なるトポロジ、または確率的文脈自由文法（SCFG）を使用できる場合があります。問題をモデル化する-つまり、より複雑な仮説を区別したり、はるかに複雑なデータの動作を記述したりできるアルゴリズムが必要な場合。

私が見つけたものからこの質問への最良の答えはこれです：変装してマルコフ連鎖を深く学習しています。これはまさに私が理解したことですが、インターネットの他の場所ですでに議論があったので、ここにリンクを張っています。

単一の文字の代わりに、文字シーケンスを入力として使用できます。これにより、状態をより適切にキャプチャできます（コンテキストに応じて）。