メルスペクトログラムからスペクトログラムへの変換

STFT（短時間フーリエ変換）を抽出し、マグニチュードスペクトルを使用した一連の曲がありますメルフィルターバンク行列を使用してメルスペクトログラムを計算するため、。このプロセスを逆にする方法、つまりメルスペクトログラムからスペクトログラムに戻す方法はありますか。メルスペクトログラムにいくつかの次元削減を実行し、低次元からメルスペクトログラムを再構築しました。ここで、再構築されたメルスペクトログラムからオーディオ信号を再生成したいので、最初にスペクトログラムを再構築し、次にオーディオ信号を再構築します。$|S|$$M$$X=\log(M\times |S|)$

問題は、メルビンフィルターバンク行列が正方行列ではないことです。これは、周波数ビンの数を減らすため、逆数を次のように使用できないためです。。から変換できる逆伝達関数のように、逆マッピングを生成する方法はありますか？$M$$\hat{S}=M^{-1}\exp(X)$$X$$S$

マグニチュードスペクトログラムとMelフィルターバンクはどちらも損失の多いプロセスです。オリジナルを再構築するために必要な重要な情報は失われます。したがって、元のオーディオサンプルに戻って、次元削減と同等の時間または周波数領域フィルターを決定して再構成を行う必要があります。

失われた情報について仮定を立てることができますが、それらの仮定自体は通常、不正確で人工的またはロボットのように聞こえます。または、特別に合成された入力のみを使用することもできます。その場合、その入力の設計によって仮定が正しくなります。

すでに述べたように、一般的に正確に実行することは不可能です。車の側面など、3Dシーンの2D表現がある場合と同様に、それが車に似ている非常に薄い漫画であるか、それとも実際の車の写真であるかはわかりませんが、だれもだまそうとはしなかったと仮定した場合あなたは、実際のデータについていくつかの仮定を行うことができます。実際、これが機械学習生成モデルの仕組みです。

逆変換については、ほとんどのフィルターが直交しているため（それらの内積はゼロです）、フィルターバンクの転置を逆変換の近似として使用できますが、簡単に確認できるため、データのスケーリングは正しくありません。チャネルごとのいくつかの大きなデータセット（周波数）から抽出された元のSTFTに関する統計を使用して、を正規化して「正しい」スケールにすることができます。マグニチュード信号のみから完全なスペクトログラムを作成する場合、Griffin-Linアルゴリズムを使用していくつかの近似を行うことができます。WaveNetやParallel Wavenetなどを使用すると、音声信号やその他のオーディオ信号で十分に機能することが確認されているため、より堅牢に実行できます。$M^TMx$

今日、最も簡単なのはlibrosa、このタスクに使用することです。それは持っていmel_to_stft正確に何をしたいん機能を。

他の人が述べたように、この再構成は不可逆であり、近似解のみが見つかります。でlibrosaそれは使用して行われる非負のリース二乗アルゴリズムを。

心に留めておくべきこと：独自のアルゴリズムを使用してメルエネルギーを抽出した場合、周波数ワーピングが類似していることを確認する必要があります。そうでない場合、不調和に聞こえるオーディオになります（後で、 STFTからの波形）。librosaには2つのワーピング関数があり、を指定して2番目のワーピング関数を使用できますhtk=True。