パラメータ悪魔—グラウンドトゥルースに対する検証が不可能な場合にそれらを設定する方法[終了]

質問：

Groundtruthに対する検証が不可能な場合（おそらくGroundtruthを取得できないか、取得が非常に困難/面倒なため）、人々がアルゴリズムパラメーターを設定する方法についての議論を始めたいと思います。

私は多数の論文を読み、基礎となるアルゴリズムを実装しました---一連のパラメーターは「経験的に」設定されたと言われています---そして、これらがアルゴリズムの一般性に影響を与えるものであることがよくあります（たとえメソッドの基礎となる理論は、エレガントで魅力的で健全です）。

ご意見をお聞かせいただければ幸いです。そして、この質問には正しい答えも間違った答えもありません。他の皆がこれにどう対処するか知りたいだけです。

背景/質問の出典：

私は画像解析、コンピュータービジョン、機械学習の分野で働いているコンピューターサイエンティストで、新しいアルゴリズムを設計するたびに何度も何度もこのジレンマに直面しているため、この質問はしばらくの間私の心の奥底にありましたパラメータの調整にかなりの時間を費やしていることに気づきました。

また、ここでの質問は、計算アルゴリズムに深く関わっているすべての領域に一般的であり、関係するすべての領域の人々の考えを招待したいと思います。

私はあなたにいくつかの具体的な例を挙げたかったので、それはあなたが考えるのを助ける：

---特徴検出の場合を考えてみましょう（円形のブロブまたは特徴点としましょう）。いくつかのフィルター（パラメーターが必要）を異なるスケール（スケールパラメーター）で実行し、おそらく応答にしきい値を設定します（しきい値パラメーター）。通常、検証するグラウンドトゥルースを取得して、そのようなシナリオでパラメーターを自動的に調整することはできません。

---多数の信号処理コンポーネントを含む計算フレームワークを取り上げます。常に調整するパラメーターがあり、通常は根拠はありません。データセットの小さなランダムなサブセットで主観的にそれらを調整すると、いつかは一般化されないケースに遭遇します。

アルゴリズムのいくつかの中間ステップのパラメーターを設定する場合、このパラメーターの悪魔はより厄介です。

そして、私はしばしばこれらのパラメーターの適切な値を見つける問題を、導関数を取り、それによって標準の最適化アルゴリズムを使用して適切な値を見つけることができる目的関数の最適化問題としてキャストすることは不可能だと気付きました。

また、多くのシナリオでは、これらのパラメーターをエンドユーザーに公開することはオプションではありません。非計算エンドユーザー（生物学者、医師など）向けのアプリケーション/ソフトウェアを開発することが多く、チューニングを依頼すると、それらは通常無知になります。非常に直感的でない限り（おおよそのオブジェクトサイズなど）。

あなたの考えを共有してください。

グラウンドトゥルースがあると仮定すると、（少なくとも理論的には）「面倒さ」の問題を克服するための可能な方法の1つは、「ブートストラップ」グラウンドトゥルースの作成です。約80％〜90％程度のケースで適切に機能する適切なアルゴリズムがすでにある場合は、アルゴリズムを大規模なインスタンスのセットで実行し、ユーザーに間違いのみをマークするように依頼できます。このアプローチには、アルゴリズムへのバイアスなど、独自の欠点があります。

ただし、グラウンドトゥルースがまったくない場合があり、システムのトレードオフが異なるだけです。例えば、画像処理システムは、鮮明で色が正確でノイズのない画像を出力する必要があります。もちろん、それらすべてを同時に持つことはできません。そのような場合、システムの結果に基づいて計算できる客観的なメトリックを使用する必要があります。（画像処理については、Imatest、DXOアナライザーを参照してください）。

これらを取得したら、トレードオフ（ユーザーには明らか）から組み込みパラメーターへのマッピングを作成できる多目的最適化の方法があります。

いずれにしても、ユーザーが理解できないパラメーターをユーザーに与えてはなりません。すべてが失敗した場合は、単にパラメーターをハードコーディングします。

これは本当に非常に難しい問題ですが、この地域ではかなりの作業が行われています。一例として、SUREアプローチに関するRamani＆Fesslerによるこの論文をご覧ください。イントロダクションには、パラメーター選択方法の優れた概要があります。必ずそれらのリファレンスを確認してください。