2つのオーディオトラックの同期

2つのオーディオトラックを同期するアルゴリズムを実装したいと思います。

2つのトラックはよく似ています。同じ部屋にある2つのマイクからの音（必ずしも音楽ではない）の2つの録音であると想像できます。これは、2つの異なる（線形）チャネルを通過する1つの信号として、異なる加法性ノイズとともに表示されることを意味します。

最初のアイデアは相互相関のピークを探すことかもしれませんが、このトピックに関する文献を見つけることは特に興味深いですが、見つけることができるすべての論文は2つの音楽トラックを同期させることです（クロマベースのオーディオ機能を使用） ）、またはスコアとオーディオを同期します。彼らはまた、タイムワーピングがあるかもしれないと仮定しますが、それは私の場合には不必要な仮定です。

クロマベースのアプローチは、アラインするトラックが同じ素材の2つのパフォーマンスであり、インストゥルメンテーションが大きく異なる場合に使用されます。それ-それらは完全に抽象的な音色、録音技術です。しかし、あなたはあなたの場合それらを必要としません。

ご想像のとおり、生のオーディオの相互相関は1 /ノイズに対してそれほど強くない、2 /トランスデューサーの違いに対してあまり強くない（2つのマイクの応答が非常に異なる可能性がある）3 /数分かかる場合は非常にコストがかかるオーディオ。

次のことをお勧めします。

• 両方の信号からMFCCベクトルのシーケンスを抽出します。このようにすると、次元が低くなり、ノイズやトランスデューサーの違いに対してもう少し堅牢になります。
• 必要に応じてMFCCを正規化します（ "設計"の係数0は係数1よりも分散が大きいなど...）...理想的には、MFCC行列の各行に分散1が必要です。
• 時間軸に沿って、取得した2つの行列の相互相関を計算します（つまり、2D相互相関を計算し、時間軸のデータを保持します）。