ニューラルネットワークを使用して段ボール箱を検出する方法

複数のクラスの人（人）とともに段ボール箱を検出する方法をニューラルネットワークにトレーニングしようとしています。

人を検出し、正しく分類するのは簡単ですが、段ボール箱を検出するのは非常に困難です。

ボックスは次のようになります。

私の疑いは、ボックスがオブジェクトに対して単純すぎることです。オブジェクトから抽出する機能が少なすぎるため、ニューラルネットワークはそれを検出することが困難です。

データセットの分割は次のようになります。

personA: 1160
personB: 1651
personC: 2136
person: 1959
box: 2798

人は、分類されているアイテムに基づいてさまざまな安全アイテムを着用していますが、アイテムだけでなく、人全体として検出されています。

私が使用しようとしました：

ssd300_incetpionv2
ssd512_inceptionv2
faster_rcnn_inceptionv2

これらはすべて、箱よりもはるかに優れた人物の検出と分類です。正確には提供できませんmAP（それがありません）。

何か案は？

ありがとう。

あなたが言ったように：

私の疑いは、ボックスがオブジェクトに対して単純すぎることです。ニューラルネットワークは、オブジェクトから抽出する機能が少なすぎるため、ボックスを検出するのが困難です。

...そして、それがまさにこの課題の問題です。たくさんの画像拡張を使用してネットワークをトレーニングすることをお勧めします。Keras / TensorFlow 2.0を使用している場合、それらにはそれを行う組み込み関数があります。

また、最初のモデルをトレーニングし、ネットワークがボックスであると考えているがそうではない画像（誤検知）を正確に調査することをお勧めします。その時点で、「正」のケースと誤検出のケースを選択し、データセットのサブセットを作成します。そのサブデータセットは、実際のボックスとボックスのように見えるオブジェクトを区別するようにネットワークをトレーニングするのに役立ちます。

ここでも、大量の画像拡張を使用します。それが私のポイントであり、それが私がすることです。

事前トレーニング済みモデルの使用をお勧めします。

これは、最近行った事前トレーニング済みのマルチクラス画像分類の完全なコードです。https：//datascience.stackexchange.com/a/52772/71442

試すことができるさまざまな事前トレーニング済みモデルがあります：https ://keras.io/applications/

事前トレーニング済みモデルを使用すると、大きなモデルの畳み込み層を「再利用」して、クラスを最上位にトレーニングできます。これは、ボックスに関連付けられている特定の機能を見つけるのに役立ちます。

ボックスの形状と色は明確で均一であるため、ボックスは簡単に検出できるはずです。したがって、同様の（ボックスのような）クラスでトレーニングされた事前トレーニング済みのモデルを試すと、役立つと思います。

すべてのボックスが茶色の場合（例の画像のように）、カラーパターンに基づいてボックスを検出できる場合もあります。NNはそれを行うことができます。

全体として、モデルを見ずに何がうまくいかなかったかを言うのは難しいです。モデルアーキテクチャはここで関連性があります。

MS-COCO、Kitti、Open Imagesなどの大規模なデータセットで事前トレーニングされた既存のTensorflowモデルを使用してみることができます。その後、データセットで必要な特定のモデルを微調整できます。

使用可能なすべてのモデルのリストは、こちらにあります：https : //github.com/tensorflow/models/blob/master/research/object_detection/g3doc/detection_model_zoo.md

オブジェクト検出器の設定方法に関する優れた情報源：https : //www.youtube.com/watch?v=Rgpfk6eYxJA（Linuxユーザーの場合も心配はいりません。同じチュートリアルをLinuxシステムでも適用できます）

labellmgなどのツールを使用して、トレーニング用に画像にラベルを付けることができます（https://github.com/tzutalin/labelImg）

お役に立てれば。