たたみ込み層は通常のたたみ込みネットワークとどのように異なりますか?


9

現在、この論文の結果を再現する作業をしています。この論文では、特徴抽出にCNNを使用する方法について説明し、RBNを使用して事前トレーニングされたDnn-hmmの音響モデルを使用しています。

セクションIIIサブセクションAは、入力データを表すことができるさまざまな方法を述べています。静的、デルタ、デルタデルタのスペクトルプロットを縦に積み重ねることにしました。

したがって、次のようになります。 ここに画像の説明を入力してください

その後、ネットワークはどうあるべきかを説明します。彼らは畳み込みネットワークを使用すると述べていますが、ネットワークの構造については何もありませんか?さらに、ネットワークは常に畳み込み層と呼ばれますか?通常のネットワーク畳み込みニューラルネットワーク(cnn)と比較して、違いがあると思います。

ペーパーは違いに関してこれを述べます:

(セクションIIIサブセクションBから)

ただし、畳み込み層は、2つの重要な点で標準の完全に接続された非表示層とは異なります。まず、各畳み込み単位は、入力のローカル領域からのみ入力を受け取ります。これは、各単位が入力のローカル領域のいくつかの特徴を表すことを意味します。第2に、畳み込み層の単位自体をいくつかの特徴マップに編成できます。同じ特徴マップ内のすべての単位は同じ重みを共有しますが、下位層の異なる場所から入力を受け取ります

私が不思議に思っていたもう1つのことは、dnn-hmm音響モデルに供給するために必要な出力パラメーターの数が実際に紙に記述されているかどうかです。フィルターの数、フィルターのサイズなど、ネットワークの一般的な詳細をデコードできないようです。


これにも興味があります。プロセスをスピードアップするための賞金を開始できると思います。
ラムダ2017

回答:


4

たたみ込み層は通常のたたみ込み層とまったく同じように見えます。彼らの論文から、彼らは「CNN層」という用語は通常、たたみ込み層とそれに続くプーリング層を指すと主張している。混乱を減らすために、彼らは畳み込み部分を「畳み込み層」と呼び、プーリング部分を「プーリング層」と呼びます。

CNNの用語では、図2の1組のたたみ込み層とプーリング層が連続して1つのCNN「層」と呼ばれます。したがって、ディープCNNは、これらのペアの2つ以上の連続で構成されます。混乱を避けるため、畳み込み層とプーリング層をそれぞれ畳み込み層とプーリング層と呼びます。

皮肉なことに、これにより混乱が増大し、この投稿につながりました。当時は、プーリングレイヤーの前に複数の畳み込みレイヤーを並べることは一般的ではなかったと思いますが、現代のアーキテクチャではこれがよく見られます。

ネットワーク構造に関する他の質問に回答するには、彼らは、実験セクション(セクションVB)で使用するネットワークの構造を述べています。するには、うまくいけば混乱を減らす、私は「層」との言葉「プライ」を交換しました:

これらの実験では、1つの畳み込み[レイヤー]、1つのプール[レイヤー]、および上部に完全に接続された2つの非表示レイヤーを使用しました。完全に接続されたレイヤーには、それぞれ1000ユニットがありました。たたみ込みとプーリングのパラメーターは次のとおりです。プーリングサイズ6、シフトサイズ2、フィルターサイズ8、FWSの150フィーチャーマップ、LWSの周波数帯域ごとの80フィーチャーマップ。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.