ニューラルネットワーク-最も類似した画像を見つける

私はPython、scikit-learn、kerasを使用しています。次のような前面時計の画像が30万枚あります： Watch_1、Watch_2、Watch_3。

入力として実際の時計の写真を受け取って、上の写真よりも理想的ではない状況で撮影したプログラム（異なる背景色、暗い稲妻など）を書き、それに3000の時計の中で最も類似している時計を見つけたいと思います。同様に、薄いレースの丸い茶色の時計の写真を入力として与えると、丸い形の暗い色の薄いレースの出力時計として期待されます。

これを行うための最も効率的な機械学習アルゴリズムは何ですか？

たとえば、このリンクをたどることで、2つの異なる解決策を考えています。

1）CNNを特徴抽出器として使用し、入力画像を参照して、画像のすべてのペアについてこれらの特徴間の距離を比較します。

2）シャムニューラルネットワークで2つのCNNを使用して画像を比較する。

これらの2つのオプションは、このタスクに最適なオプションですか、それとも他のことを提案しますか？

このタスクについて、事前にトレーニングされたニューラルネットワーク（事前に定義されたハイパーパラメーターを使用）を知っていますか？

これについてStackOverflowで興味深い投稿をいくつか見つけましたが、それらはかなり古いです：Post_1、Post_2、Post_3。

このような高レベルのアーキテクチャが最適であるとは思いませんが、多くの要因と詳細に依存しています。最初のアプローチが私が知っていることから、特にTiefVisionで行われた追加のステップによって拡張された場合、有望です：

1. 追加の境界ボックスネットワークを使用して、画像の関連部分を残りの部分から区別します。
2. 特徴ベクトルは単純に直接比較されるのではなく、トリプレットを使用して比較ネットワークをトレーニングするために使用されます（特徴ベクトルと類似するインスタンスの例に基づいて類似性を学習します）。

この作品はあなたが投稿したものよりもはるかに新しい（2016/17）もので、素晴らしいツールセットとより詳細なペーパーが付属しています。

トリプレット、つまりディープランキングを使用する理由

コメントで述べたように、特徴ベクトルを学習して距離を計算する代わりに、画像の類似性にトリプレットを使用する必要があるのはなぜですか？トリプレットは、基本的に類似性を気にしない特徴ベクトルを学習する代わりに、類似性質問を学習問題として定式化する方法です。このアプローチは、人間が知覚する類似性が重要である場合に特に意味があり、マシンの知覚とは異なる場合があります。

トリプレットは次のように機能します。3つの画像を提供します。比較対象の1つ、類似した（近い）1つのイメージ、および類似していない（遠い）1つのイメージ。これはトレーニング/テスト/検証データです。これらのサンプルでネットワークをトレーニングし、全体的に正しい順序（非類似画像から類似を分類）を予測すると、ネットワークは類似性に基づいて画像を順序付ける方法を学習できます。

全体として、このアプローチは比較的複雑です。過度に設計されている可能性がありますが、これを行うための最良の方法も求められ、ディープランキングは非常に高い精度の値を達成します。

imagenetクラスでうまく機能するVGG-16などの分類子を選びます。次に、時計の画像を実行します。確かに、出力は高い確率でほとんど「監視」されると期待できます。

ただし、追加の機能、つまり、他のすべてのカテゴリのアクティブ化レベルを取得します。これにより、0と1の間の1000個の値のベクトルが得られます。

ネットワークのさまざまなポイントでアクティベーションを抽出することもできます。次に、それらのアクティブ化と出力の類似性は、画像が類似している場合にのみ、2つのケース間で類似する必要があります。

最初にデータ拡張に焦点を当てます。画像の背景が白なので、少し簡単です。白い背景を透明な背景に変え、画像を縮小して回転させ、ターゲットデータと同様の背景に配置します。

これをさまざまな組み合わせで何度も行い、各時計にラベルを付けます。次に、分類に通常の畳み込みニューラルネットワークを使用することをお勧めします。各ラベルにはスコアがあり、最も信頼度が高く、最も類似しているラベルを選択します。

たとえば、画像を使用して分類子を実行し、この結果を取得するとします。

Watch1: 0.51

Watch2: 0.30

Watch3: 0.25

CNNは、Watch1が入力画像の時計であるという51％の信頼度があると言っています。しかし、真実であることは、それがより似ていると考えるものであり、Watch2が次に似ているということです。

良い結果が得られない場合は、いつものようにしてください。パラメータを試してみるか、レイヤを追加してください。それが失敗している場所を見つけてみてください。その洞察が得られたら、それを使用して、特定の問題に対してより特殊なタイプの畳み込みネットワークを選択できます。それがどのように機能するかについての事前の知識なしにそれを探すことは正しいアプローチではありません。基本的なたたみ込みモデルから始めて、そこから作業することをお勧めします。