たたみ込みニューラルネットワークは、異なるサイズの入力画像として使用できますか？

私は画像認識のための畳み込みネットワークに取り組んでおり、さまざまなサイズの画像を入力できるかどうかは疑問に思っていました（ただし、それほど大きくはありません）。

このプロジェクト：https : //github.com/harvardnlp/im2markup

彼らが言う：

and group images of similar sizes to facilitate batching

したがって、前処理を行った後でも、画像のサイズは異なります。これは、式の一部を切り取らないため意味があります。

異なるサイズの使用に問題はありますか？ある場合、どのようにこの問題に取り組むべきですか（式がすべて同じ画像サイズに収まらないため）？

どんな入力でも大歓迎です

異なるサイズの使用に問題はありますか？ある場合、どのようにこの問題に取り組むべきですか（式がすべて同じ画像サイズに収まらないため）？

それはニューラルネットワークのアーキテクチャに依存します。一部のアーキテクチャは、すべての画像が同じ次元であると想定していますが、他のアーキテクチャ（im2markupなど）はこのような想定をしていません。im2markupが異なる幅の画像を許可するという事実は、畳み込み層の出力をスキャンするRNNを使用するため、私が信じている問題はありません。

類似したサイズの画像をグループ化してバッチ処理を容易にする

これは通常、余計なパディングを追加しないようにして、処理速度を上げるためです。

前処理段階で単に画像をスケーリングすることを検討しましたか？直感的に、スケーリングされた画像に直面している人間は、同じ機能とオブジェクトを認識することができます。CNNがスケーリングされた画像に対して同じことを行えないという明確な理由はありません。

画像を同じサイズにスケーリングすることは、畳み込みネットワークにさまざまなサイズの画像を処理させようとするよりも簡単かもしれないと思います。再トレーニングすることなく、convnetのconvレイヤーが任意のサイズの画像を処理できるようにすることができます。ただし、convnetの出力は通常、ある種の分類子であり、おそらくこれはあまり機能しません。異なるサイズの入力をフィードする場合、私は想像するでしょう。

別のアプローチは、画像にゼロを埋め込むことです。しかし、直感的に、黒い境界線が埋め込まれた小さな写真を見ているか、ズームインできるので、視野内に適度な弧を描いていると想像してください。どちらにしますか？どちらが見やすいですか？