タグ付けされた質問 「conv-neural-network」

TensorflowのResNetの実装では、分散スケーリングイニシャライザーを使用していることがわかります。xavierイニシャライザーも一般的です。私はこれについてあまり経験がありませんが、実際にはどちらが良いですか？

20 machine-learning  neural-networks  deep-learning  conv-neural-network  tensorflow 

私は睡眠段階の分類に取り組んでいます。私はこのトピックに関するいくつかの研究記事を読み、それらの多くはSVMまたはアンサンブル法を使用しました。たたみ込みニューラルネットワークを使用して1次元EEG信号を分類するのは良い考えですか？ 私はこの種の仕事に慣れていない。何か間違ったことを聞いたらご容赦ください。

20 neural-networks  svm  conv-neural-network  signal-processing 

畳み込み層とプーリング層は理解していますが、CNNで完全に接続された層の理由はわかりません。前のレイヤーが出力レイヤーに直接接続されていないのはなぜですか？

19 neural-networks  deep-learning  conv-neural-network 

AlexNetアーキテクチャは、図に示すようにゼロパディングを使用します。 ただし、このパディングが導入された理由については、論文には説明がありません。 Standford CS 231nコースでは、空間サイズを保持するためにパディングを使用することを教えています。 パディングが必要なのはそれだけなのでしょうか？つまり、空間サイズを保持する必要がない場合は、パディングを削除するだけでいいですか？より深いレベルに進むと、空間サイズが非常に速く減少することを知っています。ただし、プーリング層を削除することでトレードオフできます。ゼロパディングの背後にある理論的根拠を誰かに教えていただければ幸いです。ありがとう！

19 conv-neural-network  convolution 

「転移学習」と「ドメイン適応」の間に違いはありますか？ コンテキストについては知りませんが、私の理解では、いくつかのデータセット1があり、その上でトレーニングを行い、その後、最初から再トレーニングせずにモデルを適応させたい別のデータセット2があります。 「ドメイン適応」は、この問題の解決に役立ちます。 畳み込みニューラルネットワークの分野によると： 「転移学習」とは、「微調整」を意味します[1] この場合[2]は教師なしですが、「ドメイン適応」は常に教師なしにする必要がありますか？

19 deep-learning  terminology  conv-neural-network  transfer-learning  domain-adaptation 

最も一般的な畳み込みニューラルネットワークには、出力フィーチャの次元を削減するプーリングレイヤーが含まれています。畳み込み層のストライドを単純に増やすだけで同じことを達成できないのはなぜですか？プール層が必要な理由は何ですか？

18 deep-learning  conv-neural-network  pooling 

私はkeras convolution docsを調べていましたが、Conv1DとConv2Dの2種類のけいれんを発見しました。私はいくつかのWeb検索を行いましたが、これがConv1DとConv2Dについて理解していることです。Conv1Dはシーケンスに使用され、Conv2Dは画像に使用します。 私は常に畳み込みニューラルネットワークが画像にのみ使用されていると考え、このようにCNNを視覚化しました 画像は大きなマトリックスと見なされ、フィルターはこのマトリックス上をスライドしてドット積を計算します。これは、kerasがConv2Dとして言及していることを信じています。Conv2Dがこのように機能する場合、Conv1Dのメカニズムはどのようなもので、そのメカニズムをどのように想像できますか？

18 machine-learning  neural-networks  conv-neural-network  keras 

ニューラルネットワークのトレーニング中に、特定のエポックで数回テスト/トレーニングエラーが突然低下するプロットを確認しましたが、これらのパフォーマンスジャンプの原因は何ですか。 この画像は、Kaiming HeのGithubから取得したものですが、同様のプロットが多くの論文に記載されています。

18 conv-neural-network 

CNNに関して私を混乱させる質問がいくつかあります。 1）CNNを使用して抽出された特徴は、スケールと回転不変ですか？ 2）データとの畳み込みに使用するカーネルは、すでに文献で定義されていますか？これらのカーネルの種類は何ですか？それはアプリケーションごとに異なりますか？

17 neural-networks  deep-learning  conv-neural-network 

たたみ込みニューラルネットワークを学習するとき、次の図に関する質問があります。 1）レイヤー1のC1には6つの機能マップがありますが、これは6つの畳み込みカーネルがあることを意味していますか？各畳み込みカーネルは、入力に基づいて機能マップを生成するために使用されます。 2）レイヤー2のS1には6個の機能マップがあり、C2には16個の機能マップがあります。S1の6つの機能マップに基づいてこれらの16の機能マップを取得するプロセスはどのように見えますか？

16 machine-learning  neural-networks  deep-learning  pattern-recognition  conv-neural-network 

コンピュータービジョンへの応用のため、畳み込みニューラルネットワーク（CNN）を研究しています。私はすでに標準のフィードフォワードニューラルネットワークに精通しているので、ここの一部の人々がCNNを理解するための追加のステップを手伝ってくれることを望んでいます。CNNについて私が考えることは次のとおりです。 従来のフィードフォワードNNでは、各要素が「入力レイヤー」でNNに入力する特徴ベクトルで構成されるトレーニングデータがあるため、画像認識では、各ピクセルを1つの入力にすることができます。これらは私たちの特徴ベクトルです。または、他の（おそらく小さい）特徴ベクトルを手動で作成することもできます。 CNNの利点は、画像の歪みと位置により不変な、より強力な特徴ベクトルを生成できることです。次の図に示すように（このチュートリアルから）、CNNは機能マップを生成し、それが標準のニューラルネットワークに送られます（実際、これは巨大な前処理ステップです）。 これらの「より良い」機能を得る方法は、畳み込みとサブサンプリングを交互に行うことです。サブサンプリングの仕組みを理解しています。各機能マップについて、ピクセルのサブセットを取得するか、ピクセルの値を平均化できます。 しかし、私が主に混乱しているのは、畳み込みステップの仕組みです。私は確率理論（2つのランダム変数の合計の密度）からの畳み込みに精通していますが、CNNでどのように機能し、なぜ効果的ですか？ 私の質問はこれに似ていますが、特に、最初の畳み込みステップが機能する理由がわかりません。

16 neural-networks  deep-learning  conv-neural-network  convolution 

畳み込み層のフィルターの数は何を伝えますか？ この数値は、アーキテクチャのパフォーマンスまたは品質にどのように影響しますか？つまり、常により多くのフィルターを選択する必要がありますか？なにがいいの？そして、どのようにして異なるレイヤーに異なる数のフィルターを割り当てるのですか？私はこの質問を見ることを意味します：CNNの畳み込み演算子の数を決定する方法？ 答えは、フィルタとサイズの異なる3つの畳み込み層を指定しました。この質問でも、畳み込みニューラルネットワークの特徴マップの数 写真からわかるように、最初のレイヤーには28 * 28 * 6フィルターがあり、2番目の変換レイヤーには10 * 10 * 16フィルターがあります。彼らはどのようにしてこれらの数字を思いついたのですか、これは試行錯誤によるものですか？前もって感謝します

16 deep-learning  conv-neural-network 

私は、光学式文字認識（OCR）プロジェクトを実行したいと考えています。いくつかの調査を行った後、興味深いと思われるアーキテクチャに出会いました：CNN + RNN + CTC。私は畳み込みニューラルネットワーク（CNN）とリカレントニューラルネットワーク（RNN）に精通していますが、コネクショニスト時間分類（CTC）とは何ですか？素人の言葉で説明をお願いします。

15 machine-learning  deep-learning  conv-neural-network  rnn 

畳み込みニューラルネットワーク（CNN）では、畳み込みを進める前に、各ステップでの重みの行列の行と列を反転させてカーネル行列を取得します。これは、Hugo Larochelleによる一連のビデオで説明されています。 隠されたマップを計算する[...]カーネル行列を使用して、前の層からチャネルを持つ離散畳み込みを行うことに対応するであろう、そのカーネルは隠された重み行列から計算されるWijWijW_{ij}、我々は、行を反転して、列。 他のタイプのNNのように、畳み込みの縮小ステップを通常の行列乗算と比較する場合、便宜性は明確な説明になります。しかし、これは最も適切な比較ではないかもしれません... デジタルイメージング処理では、画像へのフィルターの畳み込みの適用（これは実用的な直感のための素晴らしいYouTubeビデオです）は次のように関連しているようです： 畳み込みは連想的であるが（相互）相関はそうではないという事実。 時間領域での畳み込みは周波数領域での乗算と同じであるため、画像の周波数領域でフィルターを乗算として適用する可能性（畳み込み定理）。 DSP 相関のこの特定の技術環境では、次のように定義されます。 F∘I(x,y)=∑j=−NN∑i=−NNF(i,j)I(x+i,y+j)F∘I(x,y)=∑j=−NN∑i=−NNF(i,j)I(x+i,y+j)F\circ I(x,y)=\sum_{j=-N}^{N}\sum_{i=-N}^N\, F(i,j)\,I(x+i, y+j) これは本質的に、アダマール製品のすべてのセルの合計です。 F∘I(x,y)=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢F[−N,−N]I[x−N,y−N]⋮F[0,−N]I[x,y−N]⋮F[N,−N]I[x+N,y−N]⋯⋱⋯⋱⋯F[−N,0]I[x−N,y−N]⋮F[0,0]I[x,y]⋮F[N,0]I[x+N,y]⋯⋱⋯⋱⋯F[−N,N]I[x−N,y+N]⋮F[0,N]I[x,y+N]⋮F[N,N]I[x+N,y+N]⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥F∘I(x,y)=[F[−N,−N]I[x−N,y−N]⋯F[−N,0]I[x−N,y−N]⋯F[−N,N]I[x−N,y+N]⋮⋱⋮⋱⋮F[0,−N]I[x,y−N]⋯F[0,0]I[x,y]⋯F[0,N]I[x,y+N]⋮⋱⋮⋱⋮F[N,−N]I[x+N,y−N]⋯F[N,0]I[x+N,y]⋯F[N,N]I[x+N,y+N]]\small F\circ I(x,y)=\Tiny\begin{bmatrix}F[-N,-N]\,I[x-N,y-N]&\cdots&F[-N,0]\,I[x-N,y-N]&\cdots& F[-N,N]\,I[x-N,y+N]\\ \vdots&\ddots&\vdots&\ddots&\vdots\\ F[0,-N]\,I[x,y-N]&\cdots&F[0,0]\,I[x,y]&\cdots& F[0,N]\,I[x,y+N]\\ \vdots&\ddots&\vdots&\ddots&\vdots\\ F[N,-N]\,I[x+N,y-N]&\cdots&F[N,0]\,I[x+N,y]&\cdots& F[N,N]\,I[x+N,y+N]\\ \end{bmatrix} ここで、はフィルター関数（行列として表される）であり、I （x 、y ）は位置（x 、y ）の画像のピクセル値です。F(i,j)F(i,j)F(i,j)I(x,y)I(x,y)I(x,y)(x,y)(x,y)(x,y) 相互相関の目的は、プローブ画像とテスト画像の類似性を評価することです。相互相関マップの計算は、畳み込み定理に依存しています。 一方、畳み込みは次のように定義されます。 F∗I(x,y)=∑j=−NN∑i=−NNF(i,j)I(x−i,y−j)F∗I(x,y)=∑j=−NN∑i=−NNF(i,j)I(x−i,y−j)F* I(x,y)=\sum_{j=-N}^{N}\sum_{i=-N}^N\, F(i,j)\,I(x-i, y-j) これは、フィルターが対称である限り、フィルターの行と列を反転した相関操作と同じです。 F∗I(x,y)=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢F[N,N]I[x−N,y−N]⋮F[0,N]I[x,y−N]⋮F[−N,−N]I[x+N,y−N]⋯⋱⋯⋱⋯F[N,0]I[x−N,y−N]⋮F[0,0]I[x,y]⋮F[−N,0]I[x+N,y]⋯⋱⋯⋱⋯F[N,−N]I[x−N,y+N]⋮F[0,−N]I[x,y+N]⋮F[−N,−N]I[x+N,y+N]⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥F∗I(x,y)=[F[N,N]I[x−N,y−N]⋯F[N,0]I[x−N,y−N]⋯F[N,−N]I[x−N,y+N]⋮⋱⋮⋱⋮F[0,N]I[x,y−N]⋯F[0,0]I[x,y]⋯F[0,−N]I[x,y+N]⋮⋱⋮⋱⋮F[−N,−N]I[x+N,y−N]⋯F[−N,0]I[x+N,y]⋯F[−N,−N]I[x+N,y+N]]\small F* I(x,y)=\Tiny\begin{bmatrix}F[N,N]\,I[x-N,y-N]&\cdots&F[N,0]\,I[x-N,y-N]&\cdots& F[N,-N]\,I[x-N,y+N]\\ \vdots&\ddots&\vdots&\ddots&\vdots\\ F[0,N]\,I[x,y-N]&\cdots&F[0,0]\,I[x,y]&\cdots& F[0,-N]\,I[x,y+N]\\ \vdots&\ddots&\vdots&\ddots&\vdots\\ F[-N,-N]\,I[x+N,y-N]&\cdots&F[-N,0]\,I[x+N,y]&\cdots& F[-N,-N]\,I[x+N,y+N]\\ \end{bmatrix} ⎡⎣⎢⎢⎢⎢⎢⎢⎢1474141626164726412674162616414741⎤⎦⎥⎥⎥⎥⎥⎥⎥[1474141626164726412674162616414741]\small\begin{bmatrix} …

14 machine-learning  neural-networks  conv-neural-network  convolution 

約1,000,000個のパラメーターを持つたたみ込みニューラルネットワーク（CNN）がある場合、いくつのトレーニングデータが必要ですか（確率的勾配降下を行っていると仮定します）？経験則はありますか？ 追記事項：確率的勾配降下（たとえば、1回の反復で64個のパッチ）を実行した場合、〜10000回の反復の後、分類器の精度は大まかな定常値に達することがあります）。これは、多くのデータが必要ないという意味ですか？100k-1000kデータのように。

14 machine-learning  neural-networks  deep-learning  conv-neural-network