モデルをデータに適合させる複雑さ

仮定いくつかの連続関数であり、いくつかの $f:\mathbf{R}\times \mathbf{R} \to \mathbf{R}$

$x_1 \ldots x_n$ は実際の値のセットであり、計算したい

$\text{argmin}_a \sum_i f(a,x_i)$ を規定の精度に

さまざまなfについてこの問題の難しさについていくつかの結果はありますか？

たとえば、と仮定します。問題の最小値は、計算が容易なxの平均です。一方、と仮定すると、閉形式の解はないため、argminの計算が難しいように見えますか、それともそうですか？ $f(m,x)=(m-x)^2$ $f(m,x)=\log (1+\exp(-m x))$

動機：この最小化の問題は、モデルをデータに適合させるときに発生します。fの最初の例は最小二乗近似で、2番目の例はロジスティック回帰です。

編集：私は関連する質問を見ただけであり、それは私が求めていたものの精神であり、特定のfを選択するためのものです

approximation-algorithms machine-learning st.statistics

— ヤロスラフ・ブラトフ
ソース

回答:

とき凸状である、それは閉じた形を持っていない場合でも、あなたはまた、グローバル最小される、あなたが極小に好きな近くにポイントを見つけるために、（有界ドメイン上）検索方法を使用することができます-これは、凸関数の合計も凸であるため、合計の最小値を見つけるのに役立ちます。 $f$

凸関数を最適化するためのさまざまな保証（関数のプロパティに応じて）を持つ他の多くのより良い数値的方法があります- この本は良い（そして無料です！）参考資料です。

— レフ・レイジン
ソース

追加の注記：二乗損失、ロジスティック損失、およびブレッグマン発散（最初の引数）は凸です。

— Lev Reyzin

私が最近すべての数値オプティマイザ（正確なヘッセ行列によるニュートンの方法を含む）を試してみたいくつかの凸の目的に出会うまで、すべての凸最適化は簡単だと思いました。問題は、目的が平坦すぎることでした。解決策は代数的手法（tinyurl.com/2dz8wky）を使用することでした。これは、実用的な凸最適化問題が難しいことを示唆しています

— Yaroslav Bulatov

hard / easyの意味によると思います。ドメインにボックス制約がある場合、常にバイナリ検索を実行できます。

— Lev Reyzin

はい、そうです。この質問の理由は、フィッティングが確かに難しいモデルを採用し、フィッティングの尺度を少し変更して、フィッティングが容易なモデルを取得できることは、私にとって驚くべきことでした。（つまり、密度の高いグラフィカルモデルの疑似尤度と最大尤度、どちらも一貫した推定量ですが、扱いやすいのは1つだけです）

— Yaroslav Bulatov

すでにご存じかもしれませんが、fがブレッグマンの発散である場合、このarg minは常に簡単な解決策を持っています。特定の形式はパラメーターの順序によって異なりますが、最小化される式が

\arg min_{a} \sum_{i} f (x_{i}, a)

$\arg\min_a \sum_i f(x_i, a)$

$f$ $x_i$ $f$ $\phi$ $\phi$ $c$

\nabla ϕ (c) = (1 / n) \sum_{i} \nabla ϕ (x_{i})

$\nabla \phi(c) = (1/n)\sum_i \nabla \phi(x_i)$

$f$

— Suresh Venkat
ソース

興味深いことに、これを知りませんでした... phi-mean式のリファレンスはありますか？これがロジスティック回帰モデルに適合するより速い方法を提供するかどうか疑問に思っています

— Yaroslav Bulatov

導出は非常に簡単です（基本計算、フェンシェルデュアルと組み合わせた）、1つの参照はBanerjeeらによるJMLR論文です：jmlr.csail.mit.edu/papers/v6/banerjee05b.html

— Suresh Venkat