ニューラルネットワークのコンボリューションが便宜を超えた数学的理由はありますか？

畳み込みニューラルネットワーク（CNN）では、畳み込みを進める前に、各ステップでの重みの行列の行と列を反転させてカーネル行列を取得します。これは、Hugo Larochelleによる一連のビデオで説明されています。

隠されたマップを計算する[...]カーネル行列を使用して、前の層からチャネルを持つ離散畳み込みを行うことに対応するであろう、そのカーネルは隠された重み行列から計算される$W_{ij}$、我々は、行を反転して、列。

他のタイプのNNのように、畳み込みの縮小ステップを通常の行列乗算と比較する場合、便宜性は明確な説明になります。しかし、これは最も適切な比較ではないかもしれません...

デジタルイメージング処理では、画像へのフィルターの畳み込みの適用（これは実用的な直感のための素晴らしいYouTubeビデオです）は次のように関連しているようです：

1. 畳み込みは連想的であるが（相互）相関はそうではないという事実。
2. 時間領域での畳み込みは周波数領域での乗算と同じであるため、画像の周波数領域でフィルターを乗算として適用する可能性（畳み込み定理）。

---

DSP 相関のこの特定の技術環境では、次のように定義されます。

$$F\circ I(x,y)=\sum_{j=-N}^{N}\sum_{i=-N}^N\, F(i,j)\,I(x+i, y+j)$$

これは本質的に、アダマール製品のすべてのセルの合計です。

$$\small F\circ I(x,y)=\Tiny\begin{bmatrix}F[-N,-N]\,I[x-N,y-N]&\cdots&F[-N,0]\,I[x-N,y-N]&\cdots& F[-N,N]\,I[x-N,y+N]\\ \vdots&\ddots&\vdots&\ddots&\vdots\\ F[0,-N]\,I[x,y-N]&\cdots&F[0,0]\,I[x,y]&\cdots& F[0,N]\,I[x,y+N]\\ \vdots&\ddots&\vdots&\ddots&\vdots\\ F[N,-N]\,I[x+N,y-N]&\cdots&F[N,0]\,I[x+N,y]&\cdots& F[N,N]\,I[x+N,y+N]\\ \end{bmatrix}$$

ここで、はフィルター関数（行列として表される）であり、I （x 、y ）は位置（x 、y ）の画像のピクセル値です。$F(i,j)$$I(x,y)$$(x,y)$

相互相関の目的は、プローブ画像とテスト画像の類似性を評価することです。相互相関マップの計算は、畳み込み定理に依存しています。

---

一方、畳み込みは次のように定義されます。

$$F* I(x,y)=\sum_{j=-N}^{N}\sum_{i=-N}^N\, F(i,j)\,I(x-i, y-j)$$

これは、フィルターが対称である限り、フィルターの行と列を反転した相関操作と同じです。

$$\small F* I(x,y)=\Tiny\begin{bmatrix}F[N,N]\,I[x-N,y-N]&\cdots&F[N,0]\,I[x-N,y-N]&\cdots& F[N,-N]\,I[x-N,y+N]\\ \vdots&\ddots&\vdots&\ddots&\vdots\\ F[0,N]\,I[x,y-N]&\cdots&F[0,0]\,I[x,y]&\cdots& F[0,-N]\,I[x,y+N]\\ \vdots&\ddots&\vdots&\ddots&\vdots\\ F[-N,-N]\,I[x+N,y-N]&\cdots&F[-N,0]\,I[x+N,y]&\cdots& F[-N,-N]\,I[x+N,y+N]\\ \end{bmatrix}$$

---

$\small\begin{bmatrix} 1&4&7&4&1\\ 4&16&26&16&4\\ 7&26&41&26&7\\ 4&16&26&16&4\\ 1&4&7&4&1\end{bmatrix}$

---

計算上、両方の演算はフロベニウスの内積であり、行列乗算のトレースを計算することになります。

---

質問（コメントと最初の回答の後に再編成）：

1. CNNでの畳み込みの使用はFFTにリンクされていますか？

私がこれまでに収集したものから、答えはノーです。畳み込みのGPU実装を高速化するためにFFTが使用されています。ただし、アクティベーション前のステップで畳み込みを使用しているにもかかわらず、FFTは通常CNNの構造またはアクティベーション関数の一部ではありません。

2. CNNの畳み込みと相互相関は同等ですか？

はい、それらは同等です。

3. 「違いがない」という単純な場合、重みをカーネルマトリックスに反転するポイントは何ですか？

畳み込みの連想性（数学の証明に有用）も、FTと畳み込み定理に関する考慮事項も適用されません。実際、反転は行われないようにも見えます（相互相関は単に畳み込みと誤ってラベル付けされています）（？）。

畳み込みまたは相関を使用する場合、ニューラルネットワークでできることには違いはありません。これは、フィルターが学習され、CNNが畳み込み演算を使用して特定のタスクを実行することを学習できる場合、相関演算を使用して同じタスクを実行することも学習できるためです（各フィルターの回転バージョンを学習します）。

相関よりも畳み込みについて考える方が直感的であると時々感じる理由についての詳細を見つけるには、この投稿が役に立つかもしれません。

畳み込みと相互相関の間に違いがない場合、重みをカーネル行列に反転させるポイントは何であるかというこの疑問が残っています。イアン・グッドフェローらによるディープラーニングの本からいくつかの文章を含めたいと思います。この質問に答えるには：

「カーネルを反転させる唯一の理由は、可換プロパティを取得することです。可換プロパティは証明を書くのに便利ですが、通常はニューラルネットワーク実装の重要なプロパティではありません... 多くの機械学習ライブラリは相互相関を実装しますが、呼び出す畳み込み」

要点は、畳み込みは古典的なマシンビジョンアプリケーションでのお気に入りの操作ですが、畳み込みニューラルネットワークの実装の多くでは相関に置き換えられることです。

FFTと畳み込みの間のリンクには実用的な理由があります。

畳み込みは、時間/画像ドメインで遅いです。適用する$n \times n$ 1ピクセルへのフィルターが必要 $O(n^2)$乗算と加算。のすべてのピクセルに適用する$N \times N$ したがって、画像には $n^2N^2$操作。これは急速に成長し、多数の操作は余分な時間を必要とするだけでなく、より多くの数値誤差をもたらします。

畳み込み定理によると、時間領域での畳み込みは、周波数領域での点ごとの乗算と同等です。FFTは高速です。優れた漸近性能を備えています。$O(N^2 \log N^2)$実際の実装は、多くの場合、高度に最適化されています。したがって、フーリエ領域に切り替えると、で畳み込みを実行できます$O(N^2)$ の代わりに、時間（点ごとの乗算が支配的です） $O(n^2N^2)$。これにより、FFT->乗算->逆FFTルートを下るのがはるかに複雑に見えますが、かなり高速化できます。詳細はこちら