音認識のためのスペクトログラムによるディープラーニング

スペクトログラムを使用して音（たとえば、動物の音）を分類する可能性を検討していました。アイデアは、深い畳み込みニューラルネットワークを使用して、スペクトログラムのセグメントを認識し、1つ（または複数）のクラスラベルを出力することです。これは新しいアイデアではありません（たとえば、クジラの音の分類や音楽スタイルの認識を参照）。

私が直面している問題は、さまざまな長さのサウンドファイルがあり、したがってさまざまなサイズのスペクトログラムがあることです。これまでのところ、私が見たすべてのアプローチでは固定サイズのサウンドサンプルを使用していますが、サウンドファイルが10秒または2分の長さになる可能性があるため、これを行うことはできません。

たとえば、最初は鳥の音、最後はカエルの音（出力は "Bird、Frog"になります）。私の現在の解決策は、ニューラルネットワークに一時的なコンポーネントを追加することです（リカレントニューラルネットワークをさらに作成する）が、今のところそれを単純に保ちたいと思います。アイデア、リンク、チュートリアルなど...？

自動音声認識（ASR）の場合、フィルターバンク機能はスペクトログラムでCNNと同じように機能します表1。動物の音を分類するために、fbankでDBN-DNNシステムをトレーニングできます。

実際には、ビタビ復号化は長い発話に対してうまく機能しないため、長い発話は短い発話に分割されます。同じことができます。

長い発話を固定長の小さな発話に分割できます。長い発話を小さな発話に分割するのは簡単です。問題は、短い発話の長さを長くして固定長に達することです。

スペクトログラムの周波数軸をワープして、小さな発話を増強することができます。このデータの増強は、ASRのパフォーマンス改善することが示されているデータaugumentationを。

複数のサウンドが含まれる長い発話の場合、音楽セグメンテーションアルゴリズムを使用して、複数の発話に分割できます。これらの発話は、分割または拡張のいずれかによって固定長で作成できます。

RNNでは十分な結果が得られず、トレーニングも難しいため、CNNを使用しました。

特定の動物の音は数秒しかないため、スペクトログラムをチャンクに分割できます。私は3秒の長さを使いました。次に、各チャンクで分類を実行し、出力を平均して、オーディオファイルごとに1つの予測を作成します。これは非常にうまく機能し、実装も簡単です。

より詳しい説明はここにあります：http : //ceur-ws.org/Vol-1609/16090547.pdf