隠れマルコフモデルのしきい値処理

私はmfccおよび非表示のマルコフモデルを使用した音声認識のための概念実証システムを開発しました。既知の音でシステムをテストすると、有望な結果が得られます。システムは、未知の音が入力されると、最も近い一致で結果を返しますが、スコアは考案するのにそれほど明確ではありません。

私は、スピーチ用、水道の蛇口から出る水用、机の上でノックするための3つの隠れたマルコフモデルを訓練しました。それから、私はそれらを目に見えないデータでテストし、次の結果を得ます：

input: speech
HMM\knocking:  -1213.8911146444477
HMM\speech:  -617.8735676792728
HMM\watertap:  -1504.4735097322673

So highest score speech which is correct

input: watertap
HMM\knocking:  -3715.7246152783955
HMM\speech:  -4302.67960438553
HMM\watertap:  -1965.6149147201534

So highest score watertap which is correct

input: knocking
HMM\filler  -806.7248912250212
HMM\knocking:  -756.4428782636676
HMM\speech:  -1201.686687761133
HMM\watertap:  -3025.181144273698

So highest score knocking which is correct

input: unknown
HMM\knocking:  -4369.1702184688975
HMM\speech:  -5090.37122832872
HMM\watertap:  -7717.501505674925
Here the input is an unknown sound but it still returns the closest match as there is no system for thresholding/garbage filtering.

キーワードスポッティングでOOV（ボキャブラリー外）の音は、ガベージモデルまたはフィラーモデルを使用して除外できることを知っていますが、これは、システムに適用できない未知の単語の有限セットを使用して訓練されていると言いますシステムが記録するすべての音を知りません。

同様の問題は音声認識システムでどのように解決されますか？そして、誤検知を避けるためにどうすれば問題を解決できますか？

とても良い質問です！

あなたが言及したように、HMMに「わからない」（OOVと呼びましょう）答えを与える唯一の方法は、モデルの下で最も可能性の高い状態を常に出力するため、特別な状態を与えることです。だから、OOVは下より高い可能性を持っていることを確認する必要があり、すべてではない入力speech、watertapまたはknocking。

簡単な答えは、これは不可能だということです。HMMは絶対パターン認識エンジンではないためです。それはあなたのモデルの下での出力の可能性を比較するだけで、コンテキストではトレーニングされました。

だろう入力について考えspeechとknocking同時に。この入力にはそれぞれの特徴があるため、HMMはこれら2つの状態の間を「hes」します。最終的にはそれらの1つを出力しますが、OOVを出力することはほとんどありません。キーワードスポッティングの場合、私の推測では、一貫してHMMをだます巧妙な入力を見つけることができると思います。ただし、著者はおそらくどのような入力を期待するかを知っており、未知の単語の有限リストを選択しているため、これらの有毒な入力は一般的ではありません。

同じことをすることをお勧めします。HMMを使用して、排除したい最も一般的な入力でOOV状態をトレーニングする状況について考えてください。いくつかのOOV状態があると考えることさえできます。

これは、ジェスチャー認識の分野ではやや一般的です。答えは、Lee and Kim（1999）の論文で説明されているしきい値モデルを作成することです。

フィラーモデルまたはガベージモデルと同じ役割を果たしますが、あなたが言うように個別にトレーニングする必要はありません。他のモデルからのすべての自己遷移状態を接続し、それらの状態を完全に接続して均一な確率で遷移を初期化することにより、しきい値モデルを作成できます。それを実際にどのように行うことができるかについては、この論文をご覧ください。

ライブラリがエルゴードモデルをサポートしていない場合でも、必要なサイズのモデルを手動で作成し、それに応じて状態を設定することを妨げるべきではありません。そのためのライブラリが本当に必要な場合は、Accord.NET Frameworkなどで、しきい値モデルのサポートを含む隠れマルコフモデル分類子の実装を利用できます。

免責事項：私はこのライブラリの著者です。

それで、私がやったことは、フィラーモデルの簡易バージョンを作成したことです。ウォータータップ音、ノッキング音、およびスピーチ音を表す各hmmは、それぞれ0.3秒から10秒のさまざまな長さの30、50、90音のトレーニングセットの音によってトレーニングされた個別の6状態のhmmです。次に、ノッキング、ウォータータップ、およびスピーチ用のすべてのトレーニングセットサウンドで構成される1状態のうーんとなるフィラーモデルを作成しました。そのため、特定のサウンドのhmmモデルスコアがフィラーのスコアよりも大きい場合、サウンドは認識されます。それ以外の場合は不明なサウンドです。本当に大きなデータは持っていませんが、目に見えない音に対する誤検知拒否と真の拒否拒否について次のテストを行いました。

true positives rejection
knocking 1/11 = 90% accuracy
watertap 1/9 = 89% accuracy
speech 0/14 = 100% accuracy


false positives rejection
Tested 7 unknown sounds
6/7 = 86% accuracy

したがって、この簡単なテストから、このアプローチでは妥当な結果が得られると結論付けることができますが、十分ではないかもしれないという不思議な感じがします。