タグ付けされた質問 「hidden-markov-model」

HMMとBaum-Welchのpython実装（純粋なpythonまたは既存のもののラッピング）を探しています。 いくつかのアイデア？ 私はグーグルで検索したところ、他の機械学習手法に関して非常に質の悪い資料を見つけました。どうして？

11 python  hidden-markov-model 

隠れマルコフモデルで遷移確率に特定の初期値を与えることの利点は何ですか？最終的にシステムがそれらを学習するので、ランダムな値以外の値を指定する意味は何ですか？根底にあるアルゴリズムはBaum–Welchなどの違いをもたらしますか？ 初めに遷移確率を非常に正確に知っており、私の主な目的が隠れた状態から観測までの出力確率を予測することである場合、何をアドバイスされますか？

11 machine-learning  expectation-maximization  hidden-markov-model 

マルコフ連鎖は私には理にかなっています。それらを使用して、現実の問題における確率的状態変化をモデル化できます。次に、HMMが登場します。HMMはMCよりも多くの問題をモデル化するのに適していると言われています。ただし、人々が言及する問題は、音声処理など、理解するのがやや複雑です。だから私の質問は、HMMがMCよりも適している「現実的で単純な」問題を説明できますか？理由を説明してください。ありがとう

11 hidden-markov-model 

私は、隠れマルコフモデルや混合ガウスモデルなど、非常に多くの統計モデリングに取り組んでいます。これらの各ケースで優れたモデルをトレーニングするには、最終的な使用と同様の環境から取得した大量のデータ（HMMの場合は20000文以上）が必要です。私の質問は： 文献に「十分な」訓練データの概念はありますか？どのくらいのトレーニングデータで「十分」ですか？ 「良い」（良い認識精度（> 80％）を与える）モデルをトレーニングするために必要な文の数を計算するにはどうすればよいですか？ モデルが適切にトレーニングされているかどうかを確認するにはどうすればよいですか？モデルの係数はランダムな変動を示し始めますか？もしそうなら、モデルの更新によるランダムな変動と実際の変化をどのように区別しますか？ さらにタグが必要な場合は、この質問に自由にタグを付け直してください。

10 modeling  hidden-markov-model  gaussian-mixture 

誰かが隠れマルコフモデルが期待値の最大化とどのように関連しているかを明確にできますか？私は多くのリンクを通過しましたが、明確なビューを思い付くことができませんでした。 ありがとう！

10 markov-process  expectation-maximization  hidden-markov-model 

ではこの人気の質問、高いupvoted答えはMLEとバウムウェルチは、HMMのフィッティングに分けることができます。 トレーニングの問題には、次の3つのアルゴリズムを使用できます。MLE（最尤推定）、ビタビトレーニング（ビタビデコードと混同しないでください）、バウムウェルチ=前方後方アルゴリズム しかし、ウィキペディアでは、それは言います Baum–Welchアルゴリズムは、よく知られたEMアルゴリズムを使用して、パラメーターの最尤推定値を見つけます。 それでは、MLEとBaum–Welchアルゴリズムの関係は何ですか？ 私の試み：Baum–Welchアルゴリズムの目的は可能性を最大化することですが、最適化を解決するために特殊なアルゴリズム（EM）を使用します。勾配の適正など、他の方法を使用することで、可能性を最大化できます。これが、答えが2つのアルゴリズムを分離する理由です。 私は正しいですか、誰かが私を明確にするのを手伝ってくれる？

9 hidden-markov-model  expectation-maximization 

質問：隠しマルコフモデルの賢明な実装の下の設定ですか？ 108,000観測データセット（100日間で取得）と2000、観測期間全体にわたるおおよそのイベントがあります。観測された変数が3つの離散的な値とることができる場所下図のようなデータルックスと赤の列は、イベント時間を強調表示、すなわちトンEさん：[1,2,3][1,2,3][1,2,3]tEtEt_E tEtEt_EtE−5tE−5t_{E-5} HMMトレーニング：私がすることを計画し訓練 Pgの上で示唆したように、複数の観測系列の方法論を使用して、すべての「プレイベントの窓」に基づき、隠れマルコフモデル（HMM）を。ラビナーの論文の 273 。うまくいけば、これにより、イベントにつながるシーケンスパターンをキャプチャするHMMをトレーニングできます。 l o g[ P（O b s e r v a t i o n s | HMM）]log[P(Observations|HMM)]log[P(Observations|HMM)]O b s e r v a t i o n sObservationsObservationstttt − 5t−5t-5 l o g[ P（O b s e r v a t i o …

9 time-series  machine-learning  predictive-models  markov-chain  hidden-markov-model 

以下の移植片は、この記事から引用したものです。私はブートストラップの初心者であり、R bootパッケージを使用した線形混合モデルのパラメトリック、セミパラメトリック、ノンパラメトリックのブートストラップブートストラップを実装しようとしています。 Rコード これが私のRコードです： library(SASmixed) library(lme4) library(boot) fm1Cult <- lmer(drywt ~ Inoc + Cult + (1|Block) + (1|Cult), data=Cultivation) fixef(fm1Cult) boot.fn <- function(data, indices){ data <- data[indices, ] mod <- lmer(drywt ~ Inoc + Cult + (1|Block) + (1|Cult), data=data) fixef(mod) } set.seed(12345) Out <- boot(data=Cultivation, statistic=boot.fn, R=99) Out ご質問 …

9 r  mixed-model  bootstrap  central-limit-theorem  stable-distribution  time-series  hypothesis-testing  markov-process  r  correlation  categorical-data  association-measure  meta-analysis  r  anova  confidence-interval  lm  r  bayesian  multilevel-analysis  logit  regression  logistic  least-squares  eda  regression  notation  distributions  random-variable  expected-value  distributions  markov-process  hidden-markov-model  r  variance  group-differences  microarray  r  descriptive-statistics  machine-learning  references  r  regression  r  categorical-data  random-forest  data-transformation  data-visualization  interactive-visualization  binomial  beta-distribution  time-series  forecasting  logistic  arima  beta-regression  r  time-series  seasonality  large-data  unevenly-spaced-time-series  correlation  statistical-significance  normalization  population  group-differences  demography 

私はこの論文を読んでいます。彼らがCD-DNN-HMM（隠れマルコフモデルを使用したコンテキスト依存のディープニューラルネットワーク）を使用するskypeトランスレータです。私はプロジェクトのアイデアと彼らが設計したアーキテクチャを理解することができますが、セノンは何なのかわかりません。定義を探していましたが、何も見つかりませんでした —電話認識に深い信念ネットワークを使用する際の最近の進歩を活用する、大語彙音声認識（LVSR）の新しいコンテキスト依存（CD）モデルを提案します。出力としてセノン（結ばれたトライフォン状態）上の分布を生成するようにDNNをトレーニングする事前トレーニング済みのディープニューラルネットワークの隠れマルコフモデル（DNN-HMM）ハイブリッドアーキテクチャについて説明します これについて説明をいただければ幸いです。 編集： この定義はこのホワイトペーパーで見つかりました。 マルコフ状態でサブフォネティックイベントをモデル化し、音声の隠れマルコフモデルの状態を基本的なサブフォネティック単位であるsenoneとして扱うことを提案します。単語モデルは状態依存のセノンの連結であり、セノンは異なる単語モデル間で共有できます。 最初の論文のアーキテクチャの隠しマルコフモデル部分で使用されていると思います。それらはHMMの状態ですか？DNNの出力？

9 neural-networks  deep-learning  terminology  natural-language  hidden-markov-model 

スケーリングされたBaum-Welchアルゴリズムを実装しようとしていますが、スケーリング後の後方変数が1の値を超えているという問題に遭遇しました。これは正常ですか？結局のところ、確率は1を超えてはなりません。 私はフォワード変数から取得したスケール係数を使用しています： ct=1/∑s∈Sαt(s)ct=1/∑s∈Sαt(s) c_t = 1 / \sum_{s\in S}\alpha_t(s)\\ ここで、c_tは時間tのスケーリング係数、alphaは前方変数、sはhmmの状態です。 後方アルゴリズムについては、以下のJavaで実装しました。 public double[][] backwardAlgo(){ int time = eSequence.size(); double beta[][] = new double[2][time]; // Intialize beta for current time for(int i = 0; i < 2; i++){ beta[i][time-1] = scaler[time-1]; } // Use recursive method to calculate beta double tempBeta …

9 machine-learning  hidden-markov-model  beta-distribution 

パラメータをうまく学習してトレーニングデータの事後確率を見つけることができるようですが、新しいデータで新しい予測を行う方法についての手がかりはありません。特に問題は、共変量で変化する遷移確率に起因するため、新しいデータを予測するコードを書くのは簡単ではありません。 標準的なアプローチは、（依存する）混合を定義し、モデルに適合させることです： mod <- depmix(EventTime ~ 1, data = data[1:40320,], nstates = 2, family =multinomial("identity"), transition = ~ Count, instart = runif(2)) fm <- fit(mod, emcontrol=em.control(classification="soft", maxit = 60)) 上記の内容は、イベントがシーケンスを移動する1/0従属変数として発生したかどうかを分類しようとしているため、バイナリHMMと同様に機能するはずです。遷移共変量は、状態の遷移確率に直接影響する頻度カウント変数で、その後、1/0従属変数の放出確率を制御します。 モデルのパラメーターを取得し、別の新しいモデルにパラメーターを設定することが可能です。しかし、ライブラリの根本のどこかにあるはずですが、明確な予測方法はありません。 modNew <- depmix(EventTime~1,data=data2,transition=~Count,nstates=2, family=multinomial("identity")) modNew <- setpars(modNew,getpars(fm)) ドキュメントでは、ビタビアルゴリズムを実行して新しいデータの状態を生成することが可能であると記載されています。ただし、これは私にとって特に有用ではなく、データに完全に適合しているように見えますが、それでも新しいデータに適合できることを学習しています。 probs2 <- viterbi(modNew) 注：私はこのトピックを初めて使用します。実装のこの段階は私には難しいですが、どういうわけかそれは分析の基本的な部分のようです。

8 r  hidden-markov-model  mixture 

私はViterbi and Forwardアルゴリズムを実装しましたが、不思議なことに、Backwardアルゴリズムがどのように機能するのか理解できません。直感的には、Forwardの伝播中に計算された値を使用して、Forwardと同じことを逆方向にのみ実行する必要があるように感じます。 私の直感は正しいですか？ この時点で、私は多くのスライドとうんざりする数学表記を読みました。それは助けにはなりません。わかりやすい英語で、BackwardアルゴリズムとForwardアルゴリズムの違いを説明できるものが必要です。 バックワードアルゴリズムはどのように行われるのですか？ 次の小さなHMMと、以下の「BB」シーケンスの転送アルゴリズムの結果を想定します。 START -> 1 H: 0.5 * 0.8 = 0.4 L: 0.5 * 0.6 = 0.3 1 -> 2 H: 0.4 * 0.2 * 0.8 + 0.3 * 0.6 * 0.8 = 0.208 L: 0.4 * 0.8 * 0.6 + 0.3 * 0.4 * …

8 markov-process  hidden-markov-model  viterbi-algorithm 

過去の動きとグラフの構造のみに基づいて、グラフの次の動きを予測する統計モデルを構築することは可能ですか？ 私は問題を説明するために例を作りました： 時間は離散的です。すべてのラウンドで、現在のノード/頂点に留まるか、接続されたノードの1つに移動します。時間は離散的であり、せいぜい1つのノードをラウンドごとに進めることができるため、速度はありません。 過去のルート/移動履歴：{A、B、C} -現在の位置：C 有効な次の手：C、B、X、Y、Z Cを選択した場合、固定されます。 場合Bあなたが後方に移動し、 そしてもしX、Y、またはZが前進を意味します。 リンクにもノードにも重みはありません。 最終的な宛先ノードはありません。観察された動きの動作の一部はランダムであり、一部には一定の規則性があります。 移動履歴を考慮しない非常に単純なモデルは、C、B、X、Y、およびZがそれぞれ次の移動になる確率が1/5 であると予測するだけです。 しかし、構造と運動履歴に基づいて、より良い統計モデルを作成することは可能だと思います。たとえば、前のラウンドでノードBから直接そこに移動した可能性があるため、インスタンスXの確率は低くなるはずです。同様に、Bも前のラウンドで固定されていた可能性があるため、確率が低くなります。 ユーザーがBに戻った場合、移動履歴は{A、B、C、B}のようになり、有効な移動はA、B、C、D、E、Xになります。Cへの移行は、固定されたままであった可能性があるため、確率が低くなるはずです。前のラウンドでCからXに移動できた可能性があるため、Xに移動する可能性も低くなります。以前の履歴も予測に影響を与える可能性がありますが、最近の履歴よりも重みを小さくする必要があります。2ラウンド前にBに滞在したか、A、D、E、Xに移動した可能性があります-3ラウンド前にAに滞在した可能性があります。 周りを見回すと、同様の問題が直面していることがわかりました。 移動体通信。オペレーターは、ユーザーが次に移動するセルタワーを予測して、通話/データ伝送をスムーズに引き継ぐことができるようにします。 ブラウザ/検索エンジンが次に進むページを予測しようとするWebナビゲーション。これにより、ページがプリロードおよびキャッシュされ、待機時間が短縮されます。同様に、マップアプリケーションは次に要求するマップタイルを予測し、これらをプリロードしようとします。 そしてもちろん運輸業界。

8 predictive-models  spatial  hidden-markov-model  graph-theory 

これは非常に一般的な質問です。前の観測に基づいて次の観測を予測するモデルを構築したいとします（は実験的に最適化するためのパラメーターにすることができます）。したがって、基本的に、次の観測を予測するための入力フィーチャのスライディングウィンドウがあります。NNNNNN 隠れマルコフモデルのアプローチ、つまりBaum-Welchを使用してモデルを推定し、Viterbiが最後の観測に基づいて現在の状態を予測し、次に現在の状態に基づいて最も可能性の高い次の状態を予測し、次に次の状態を予測します。最も可能性の高い次の状態とHMMパラメーター（または次の観測の予測分布を見つけるなどのバリアント）を使用した観測。NNN または、SVM、線形回帰、スプライン、回帰ツリー、最近傍などのステートレスモデル（入力として以前の観測を取得できる）を使用して、はるかに単純なアプローチを使用することもできます。このようなモデルは、いくつかの予測誤差の最小化に基づいていますしたがって、概念的には、隠れた状態ベースのモデルよりもはるかに単純です。NNN 誰かがそのようなモデリングの選択に対処した彼女/彼の経験を共有できますか？HMMを支持して何を話し、回帰アプローチを支持して何を話しますか？直感的には、過剰適合を避けるために可能な限り単純なモデルを採用する必要があります。これは、ステートレスなアプローチを支持して話します...また、両方のアプローチがトレーニングのために同じ入力データを取得することを考慮する必要があります（これは、非表示の状態モデルのモデリングに追加のドメイン知識を組み込まない場合、たとえば特定の状態と遷移確率を修正します。非表示状態モデルのパフォーマンスが向上する理由はありません）。最後に、もちろん両方のアプローチを試して、検証セットで何がより効果的かを確認できますが、実際の経験に基づくいくつかのヒューリスティックも役立つかもしれません... 注：私にとっては、特定のイベントのみを予測することが重要です。私は、「平均的/頻繁な」イベントを予測するが、興味深いイベントはあまり予測しないモデルよりも、「興味深い/まれな」イベントをほとんど予測しないモデルを好みます。おそらくこれはモデリングの選択に影響を与えます。ありがとう。

8 regression  time-series  modeling  prediction  hidden-markov-model 

標準HMMとベイジアンHMMの違いを理解しようとしています。ウィキペディアはモデルがどのように見えるかを簡単に述べていますが、より詳細なチュートリアルが必要です。誰かが私が見ることができる論文や実装を知っていますか？ また、使用する用語に問題があります。「配布の前にディリクレを配置/配置する」とはどういう意味ですか？

8 bayesian  hidden-markov-model