バックプロップ中にCNNのフィルターの重みを変更しないことの影響


9

逆伝播中にCNNのフィルターの重みを変更しないことの影響は何ですか?MNISTデータセットのトレーニング中に完全に接続されたレイヤーの重みのみを変更しましたが、ほぼ99%の精度を達成しました。


興味深いことに、ランダムな重みから始めましたか、それとも以前のネットワークの重みを使用しましたか?また、トレーニングセットからの精度測定、またはホールドアウトテストセットからの精度測定ですか?
Neil Slater

@Neil Slater:ランダムなガウスウェイトから始めました。精度の測定はテストセットで行います。
Abhisek Dash

@Neil Slater:フィルターの初期化が異なっていても、精度はほぼ同じです。2つの畳み込み層と最大プールレイヤー、および256の隠れニューロンを持つFCレイヤーを使用しました
Abhisek Dash

回答:


11

CNNのたたみ込み層の重みを変更しないことにより、本質的に分類子(完全に接続された層)のランダムな特徴(つまり、当面の分類タスクに最適な特徴ではない)を供給します。

MNISTは簡単な画像分類タスクであり、特徴を抽出せずに入力ピクセルを分類器に送ることができ、90年代の高さでもスコアリングされます。それ以外に、おそらくプーリング層が少し役立ちます...

入力画像でMLP(変換/プールレイヤーなし)をトレーニングして、ランク付けを確認してください。以下は、MLP(1つの非表示層と1つの出力層)が前処理/機能抽出なしで98 +%に達した例です。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.