MFCCの計算/理解を支援：メル周波数ケプストラム係数

私はオンラインで細かく読んでいますが、すべてをつなげることはできません。私はこれに関する十分な前提条件である信号/ DSPスタッフの背景知識を持っています。私は最終的にこのアルゴリズムをJavaでコーディングすることに興味がありますが、まだ完全には理解していません。だから私はここにいるのです（数学としてカウントされますよね？）。

これが私の知識のギャップと一緒にどのように機能するかを示しています。

1. .wavファイルなどの音声スピーチサンプルから始めて、配列に読み込むことができます。この配列呼び出す、Nの範囲0 、1 、... 、N - 1（したがって、N個のサンプル）。値は、私が推測するオーディオの強度-振幅に対応しています。$x[n]$$n$$0, 1, \ldots ,N-1$$N$

2. 音声信号を10ミリ秒程度の明確な「フレーム」に分割し、音声信号が「静止」していると想定します。これは量子化の形式です。したがって、サンプルレートが44.1KHzの場合、10msは441サンプル、つまり値に等しくなります。$x[n]$

3. フーリエ変換（計算のためにFFT）を行います。これは、信号全体または各個別のフレームで実行されますか？一般にフーリエ変換は信号のすべての要素を見るので、違いがあると思うので、F（x [ n ] ）≠ F（x 1 [ n ] ）はFと結合（x 2 [ n ] ）は… Fと結合（x N [ n ] ）ここで$x[n]$$\mathcal F(x[n]) \neq \mathcal F(x_1[n])$$\mathcal F(x_2[n])$$\ldots \mathcal F(x_N[n])$は小さいフレームです。とにかく、FFTを行って、残りの部分で X [ k ]になるとしましょう。$x_i[n]$$X[k]$

4. Melスケールへのマッピングとロギング。通常の周波数の数値をメルスケールに変換する方法を知っています。それぞれについて、のX [ K ]：（「x軸」あなたは私を許すだろう場合）、あなたはここで式を行うことができますhttp://en.wikipedia.org/wiki/Mel_scale。しかし、X [ k ]の「y値」または振幅はどうでしょうか。それらは同じ値のままですが、新しいメル（x-）軸上の適切なスポットにシフトしますか？私は、実際の値のロギングについての何かがあったいくつかの論文で見たXは、[ K ]その後、もしのでX [ K ] = A [ $k$$X[k]$$X[k]$$X[k]$これらの信号の1つが望ましくないノイズであると推定される場合、この方程式の対数演算は乗算ノイズを加算ノイズに変換します。$X[k] = A[k]*B[k]$

5. 最後のステップは、変更された DCTを上から取得することです（ただし、最終的に変更されます）。次に、この最終結果の振幅を取得します。これがMFCCです。高周波値を捨てることについて何かを読みました。$X[k]$

だから私は本当にこれらの人たちを段階的に計算する方法を実際に解決しようとしています、そして明らかにいくつかのものが上から私を避けています。

また、「フィルターバンク」（基本的にバンドパスフィルターの配列）の使用について聞いたことがありますが、これが元の信号からフレームを作成するのか、それともFFTの後にフレームを作成するのかわかりませんか？

最後に、MFCCに13個の係数があることについて見たことがありますか？

ステップバイステップ...

1.＆2。正解です。フレームは通常オーバーラップしていることに注意してください。たとえば、フレーム0はサンプル0〜440です。フレーム1はサンプル220〜660です。フレーム2はサンプル440〜880などです。また、ウィンドウ関数がフレーム内のサンプルに適用されることにも注意してください。

３。フーリエ変換はフレームごとに行われます。この背後にある動機は単純です。音声信号は時間とともに変化しますが、短いセグメントでは静止しています。各短いセグメントを個別に分析する必要があります-このセグメントでは、信号は少数の係数で効率的に記述できるほど単純であるためです。「こんにちは」と言っている人を考えてください。すべての音を一度に分析することで、すべての音素が1つのスペクトルに折りたたまれる（FFTが時間情報を折りたたむ）のは望ましくありません。ステージごとに単語を認識するために「hhhhheeeeeeeeeeelloooooooooo」を見たいので、短いセグメントに分解する必要があります。

$N$$N = 40$

これらの周波数が定義されると、これらの各周波数の周りのFFTの大きさ（またはエネルギー）の加重和を計算します。

12個のビンを持つフィルターバンクを表す次の図を見てください。

8番目のビンの中心周波数は約2kHzです。8番目のビンのエネルギーは、1600〜2800 Hzの加重FFTエネルギーを合計することで得られます。重みは2kHz付近にピークがあります。

実装ノート：この重み付き和の束は、単一の操作で実行できます-"フィルターバンク行列"とFFTエネルギーベクトルの行列乗算。

この段階で、FFTスペクトルを40個のエネルギー値のセット（図では12個）に「要約」し、それぞれが異なる周波数範囲に対応しています。これらの値のログを取得します。

$K$$K = 13$