これはかなり一般的な質問です（つまり、必ずしも統計に固有ではありません）が、著者が次のアプローチに従うことを好む機械学習および統計文献の傾向に気づきました。
アプローチ1：（たとえば、計算の観点から）大域的に最適なソリューションを見つけることができるコスト関数を（たとえば、凸コスト関数を公式化することによって）公式化することにより、実際的な問題の解決策を取得します。
のではなく：
アプローチ2：グローバルに最適なソリューションを取得できない可能性があるコスト関数を定式化して、同じ問題のソリューションを取得します（たとえば、ローカルに最適なソリューションしか取得できない）。
厳密に言えば2つの問題は異なることに注意してください。前提は、最初の解決策ではグローバルに最適な解を見つけることができるが、2番目の解決策では見つからないことです。
その他の考慮事項（つまり、速度、実装の容易さなど）は別として、私は次のことを探しています。
回答:
目的は、関心のある関数を最適化することであるべきだと私は信じています。もしそれが偶然の分類の数であり、二項尤度ではない場合は、誤分類の数を最小限に抑えてみてください。ただし、言及されている多くの実用的な理由（速度、実装、不安定性など）のために、これはそれほど簡単ではなく、不可能でさえあります。その場合、ソリューションを近似することを選択します。
基本的に2つの近似戦略を知っています。元の問題の解を直接近似しようとするアルゴリズムを考え出すか、元の問題をより直接解決可能な問題（たとえば、凸型緩和）として再定式化します。
あるアプローチを他のアプローチよりも優先することについての数学的議論は、a）実際に計算された解の特性、およびb）ソリューションが実際に関心のある問題の解にどれだけ近いかを理解できるかどうかです。
最適化問題の解の特性を証明できる統計の多くの結果を知っています。アルゴリズムの計算を数学的に定式化していない場合（たとえば、特定の最適化問題を解決する場合など）は、アルゴリズムの解を分析するのはより困難に思えます。確かに、そうすることはできないとは言いませんが、計算した内容を明確に数学的に定式化できれば、理論的にはメリットがあるようです。
そのような数学的議論がアプローチ2よりもアプローチ1に実用的な利点を与えるかどうかは、私には不明確です。非凸損失関数を恐れない誰かが確かにそこにいます。
@NRHは（5年以上前に）この質問に対する回答を提供したので、アプローチ1と2を組み合わせたアプローチ3を提供します。
アプローチ3：