最適化における「ソルバー」とは正確には何ですか？

計算の最適化におけるソルバーの使い方に本当に戸惑っています。この用語が何を意味するのかをよく理解できるかどうかを確認するために、1か月間前後を見て回っていましたが、それでもまだ十分に理解していません。

機械学習などで最適化問題を解決したい場合、正確な計算手順をソルバーではなくアルゴリズムと呼びます。たとえば、2次プログラムがある場合、MATLABのQuadprog関数を使用してQPを解きます。

Quadprog関数は、単なるMATLAB関数またはスクリプトであるため、QPソルバーとは呼びません。Quadprogの背後にある正確なアルゴリズムをQPソルバーと呼ぶことはしません。勾配降下法、内点法、ニュートンラフソンであるかどうかは気にしません...それらはすべて私にとってアルゴリズムです。最後に、MATLABを唯一の目的ではないので、QPソルバーとしてMATLABを参照しません。したがって、最適化を日常的に使用しなければならないにもかかわらず、「ソルバー」という単語が私の日常の語彙から欠落しているようです。これは私をかなり混乱させ、専門用語に慣れていないように感じます。

したがって、私の推論では、アルゴリズムとMATLABはソルバーではありません。しかし、最適化の問題を解決するためにGurobiやYALMIPなどのソフトウェアをダウンロードしたとしたら、これらのソフトウェアはソルバーと呼ばれますか？私は、あなたが使用している「ソフトウェア」と同じトーンで、あなたが使用している「ソルバー」を参照している人をよく耳にします。最適化ソフトウェアとソルバーの違いは何ですか？

これは本当に初歩的な質問のように聞こえますが、MATLABでのみ最適化を行いました。

ソルバーは次のとおりです。

• ソフトウェアパッケージ
• 1つ以上のアルゴリズムを組み込んでいる
• 1つ以上のクラスの問題の解決策を見つけるため

問題のクラスはその一部です。Xソルバーです。

そう

• 私は、Gurobiを「MIP / LPソルバー」と呼びます。
• そして、「MatlabはQPソルバーを組み込んでおり、Quadprog関数を介して公開します。」この場合、実際の「QPソルバー」は、スタンドアロン製品として存在する場合と存在しない場合があります。
• コンコルド はTSPソルバーです
• コンコルドには、LPソルバーであるQSoptが組み込まれています

この使用法は（たとえば）JuMPのドキュメントと一致していると思います

JuMPは、ジュリアに埋め込まれた数学的最適化のためのドメイン固有のモデリング言語です。現在、線形計画法、混合整数計画法、2次円錐計画法、半定計画法、非線形計画法など、さまざまな問題クラスに対して、多数のオープンソースおよび商用ソルバー（下記参照）をサポートしています。

JuMPがソルバーと呼ぶもののリストを次に示します。それらはどれもアルゴリズムではなく、すべて特定のプログラムです

ソルバーは決定システムのための正確な数値の答えを見つけるためのルーチンです。たとえば、ルートを見つけるためにNewton-Raphsonを使用する場合。システムが過剰決定されている場合、一般的には、回帰などの近似解を使用します。一般に、回帰をソルバーとは呼びませんが、予測可能な言語は誤用される可能性があり、概算の多くのルーチンは、大まかにソルバーと呼ばれます。たとえば、CUTEr最適化ソフトウェアパッケージには、少なくとも一部が過剰決定システム用で、一部がソルバーであるアルゴリズムが含まれているため、簡単に言うと、「ソルバー」をダウンロードしています。ソルバーと回帰メソッドの両方が最適化メソッドの例です。

私は通常、ソフトウェアの説明に使用される「ソルバー」を聞きます。つまり、アルゴリズムの特定の実装に適用されることを意味します。たとえば、これはsolverとタグ付けされたSciComp.SE質問のほとんどに当てはまるようです。

一般に、この用語は「明確な解決策」を伴う数学的問題のために予約されているようです。Sycoraxのコメントで指摘されているように、独自のソリューションは「十分に定義された」十分と見なされます。（Gurobiソルバーはこのクラスの問題のようです。その価値のために、Gurobiは私にとってソルバーのスイートまたはライブラリのように見えます）。

しかし、私はユニークさが必要だとは思いません。たとえば、ローカルとグローバルの両方の最適化問題には、明確に定義されているが一意ではないソリューションがある場合があります（たとえば、関数は、グローバル最小）。$f[x]=\sin[\pi x]^2$$f[k]=0$$k\in\mathbb{Z}$

「最適化ソルバー」ではなく「方程式系ソルバー」について議論しているように思われるこの回答には同意しません。たとえば、線形最小二乗では、線形代数問題は過剰決定されますが、最適化問題は凸型であり、（非縮退の場合）一意の解を伴います。また、その回答にリンクされているWikipediaの「ソルバー」ページには、その例の中に「線形および非線形最適化の問題、最短パスの問題、最小スパニングツリーの問題」がリストされています。

---

コメントに応えて、私は「回帰」の場合の意味を明らかにします。

機能所定の、方程式系の解によって指定された であるAベクトルすべての成分がゼロになるようにします。機能に応じて、の寸法に応じて、何の解決策は、単一のユニークなソリューション、または多数の溶液（典型的には無限に多くの）は存在しないことができる零空間の。場合に線形である、すなわち、いくつかのために次にいいえない限り、解は存在します$F:\mathbb{R}^n\to\mathbb{R}^m$

$$F[x]=0$$ $x\in\mathbb{R}^n$$m$$F[x]$$F$$F$$F$$F[x]=Ax-b$$A\in\mathbb{R}^{m\times{n}},b\in\mathbb{R}^m$$m\leq\mathrm{rank}[A]\leq n$。

一方、与えられた目的関数 と実行可能なセットについては、最適化の解決策であるに依存します指定される 問題 は、すべてのに対してになるようなベクトルです。$E_F:\mathbb{R}^n\to\mathbb{R}$ $\Omega_F\subset\mathbb{R}^n$$F$

$$\epsilon=\min_{x\in\Omega_F}E_F[x]$$ $x\in\Omega_F$$E_F[x]\leq E_F[y]$$y\in\Omega_F$

「最小二乗」最適化では、関数は二乗の合計です。最も一般的な2つの最小二乗問題は次のとおりです。1） ここで、は過剰決定の連立方程式に対応し、および2） ここで、は劣決定の方程式のシステム。$E_F$

$$E_F[x]=\|F[x]\|^2 \text{ , } \Omega_F=\mathbb{R}^n$$ $F$ $$E_F[x]=\|x\|^2 \text{ , } \Omega_F=\{y\in\mathbb{R}^n\ \mid F[y]=0\}$$ $F$

Matlabなどの一般的な線形代数プラットフォームでは、linsolve（）などの便利な関数でこれらの3つの異なる数学問題を「内部」で組み合わせることができます。ただし、LAPACKなどの低レベル（「ソルバー」）ライブラリはサポートしません。

明確化の最後の2つのポイント：

• 「ソルバー」は通常、明確に定義された抽象化された数学問題に対応します。たとえば、「統計的推論」や「成功した予測」はそのような問題ではありません。言語では計算科学、あなたが確認するソルバを、あなたは、検証モデルを。

  • ユニーク/非ユニークまたは正確/近似のアイデアは完全に明確ではありません。方程式の平方システムの場合にのみ焦点を当てるとします。これにより、ほとんどの競合ポイントが削除されます。この分野での「反復解法」の話はどこにでもあります（たとえば、Google Scholarで約600,000ヒット）。したがって、「ソルバー」の事実上の定義には、このクラスのアルゴリズムが含まれている必要があります。これは、定義上、本質的に不正確です。

私が思うソルバーで見つけようとする追加オプションエクセルの「値」、そこにあるように、いくつかの実行可能解を解決するための同様の機能から来ているソルバー単語ようにといくつかのより多くの等式と不等式の制約。mathematicaでは関数solveは同じことをする。$X$$f(X) = Y$

英語（特に米国のメディアのおかげ）は、「クラッカー」〜「ハッカー」のようにコピーされる間違いによって進化する傾向があります。ソルバーも同様です。実際の最適化アルゴリズムの名前を隠すのに十分なほど抽象的です。多くの場合、実際の実装は、純粋に単一のアルゴリズムではありません。