満たされたガラス物体の検出

私はこの質問からstackoverflowでここに送信されました。質問が具体的すぎて、ここの方法ではない場合は失礼します:)

タスクは、特定の液体が入っているガラスを見つけることです。写真を見せて、私が達成しようとしていることと、これまでに達成しようとしていたことを、写真の下の説明で説明しましょう。

写真：（写真とリンクを投稿するには、少なくとも10の評判が必要なようです。リンクはこれを行う必要があります：（そうでなければ、スタックオーバーフローの質問を見ることができます）

詳細な説明：opencvで特定の形状のガラスを検出するアルゴリズムを実装しようとしました（ガラスは異なるカメラショットの角度/距離によって変換される可能性があります）。他の形の他のグラスもあります。私が探しているガラスも、他の色を含むガラスと区別するために、いくつかの着色された液体で満たされます。

これまでのところ、私はSIFT特徴抽出機能を使用してグラスのいくつかの特徴を見つけ、それをグラスの中にある他の写真と照合することを試みました。

このアプローチは、ガラスが非常に特定の位置にあり、背景が学習画像に似ているような非常に特定の条件でのみ機能しました。問題はまた、ガラスが3Dオブジェクトであり、そこから特徴を抽出する方法がわからないことです（おそらく、異なる角度からの複数の写真がリンクされているのでしょうか？）。

今、私は他にどんなアプローチが使えるのか分かりません。私はこれについていくつかの手掛かりを見つけましたが（ここでは/programming/10168686/algorithm-improvement-for-coca-cola-can-shape-recognition#answer-10219338）、リンクが壊れているようです。

別の問題は、そのようなガラスのさまざまな「空のレベル」を検出することですが、ガラス自体を適切に見つけることさえできませんでした。

このタスクでのアプローチについての推奨事項は何ですか？ローカル3Dオブジェクトフィーチャーを見つけるには別の方法を使用する方が良いでしょうか？それとも、他のアプローチを完全に使用する方が良いでしょうか？複数の写真のセットからオブジェクトを「学習」するアルゴリズムについて聞いたことがありますが、実際にはこれを見たことがありません。

任意のアドバイスは本当にいただければ幸いです

あなたのリンクで参照されている論文はこれのようです。

特に興味深いのは、表1です（下記を参照）。他のアプローチよりも優れていますが、正確度はそれほど高くありません。

多分このペーパーはあなたを助けることができます：http : //ai.stanford.edu/~ang/papers/iros09-ScalableLearningObjectDetectionGPU.pdf

奥行き画像を取得するために2D画像に加えてアクティブステレオシステムを使用しますが、パッチベースの機能を使用して、多くの小さなフラグメントを持つオブジェクトのディクショナリを構築し、分類子をトレーニングする方法は興味深いものです。おそらく、この機能を追加して検出率を向上させることができます。

顔認識ソフトウェアに関しては、これに関して多くの作業が行われてきました。たとえば、写真にタグを付けるときにFacebookで気付いた場合、顔の場所がボックスで囲まれて提案されます。

ニューラルネットワークを使用した画像の顔認識に関する多くの文献を見てきましたが、Googleをすばやく検索すると、間違いなくその主題に関する膨大な量の情報が見つかります。これらのネットワークは、画像のピクセルを入力として受け取ります。あなたの場合、不透明度の変化/光がガラスで反射する方法は、ネットワークが学習する特徴を識別するのに良いかもしれません。

1つの問題は、トレーニングデータとして使用する必要がある写真の数と、それらの前処理（つまり、自分で顔を識別する）です。ネットワークを十分にトレーニングするのに十分な数の画像に対してこれを実行することが不可能である場合、学習段階でいくつかのショートカットを探す必要があります。このペーパーは、あなたがやりたいことに関連しています：http : //www.ll.mit.edu/publications/journal/pdf/vol04_no2/4.2.5.neuralnetwork.pdf

幸い、これは非常にアクティブなフィールドであり、この種の問題に必要なコードの多くは、オンラインですぐに入手できます。

画像でメガネを特定できたら、そこからさらに分析を実行できます。