Python用の高品質な非線形プログラミングソルバーはありますか？

解決すべきいくつかの挑戦的な非凸のグローバル最適化問題があります。現在、MATLABのOptimization Toolbox（特にfmincon()algorithm ='sqp'を使用）を使用していますが、これは非常に効果的です。ただし、私のコードのほとんどはPythonで作成されているため、Pythonでも最適化を行いたいと考えています。競合できるPythonバインディングを備えたNLPソルバーはありfmincon()ますか？ちがいない

• 非線形等式および不等式の制約を処理できる
• ユーザーがヤコビアンを提供する必要はありません。

グローバルな最適化を保証していなくても構いません（保証fmincon()しません）。私は、困難な問題や、それよりもわずかに遅い場合でも、ローカル最適にロバストに収束するものを探していfmincon()ます。

OpenOptで利用できるソルバーをいくつか試しましたが、MATLABのソルバーより劣っていfmincon/sqpます。

強調するために、私はすでに扱いやすい定式化と優れたソルバーを持っています。私の目標は、ワークフローをより合理化するために、単に言語を変更することです。

Geoffは、問題のいくつかの特性が関連している可能性があると指摘しています。彼らです：

• 10-400の決定変数
• 4〜100の多項式等式制約（1〜8の範囲の多項式次数）
• 決定変数の数の約2倍に等しい合理的な不等式制約の数
• 目的関数は決定変数の1つです

不等式制約のヤコビアンと同様に、等式制約のヤコビアンは密です。

fmincon()、あなたが言ったように、非線形最適化でよく知られているいくつかの戦略を採用し、グローバルな最適化が見つかったかどうかをあまり考慮せずにローカルな最小値を見つけようとします。これで問題なければ、質問を正しく表現したと思います（非線形最適化）。

一般的な非線形最適化のために私が知っている最高のパッケージはIPOPT [1]です。どうやらMatthew XuがIPOPTへのPythonバインディングのセットを維持しているので、これはどこかで開始するかもしれません。

[1]：Andreas Wachterは個人的な友人なので、少し偏見があるかもしれません。

私は、混合整数問題と非凸問題のグローバルな最適化を行うラボで働いています。オープンソースの最適化ソルバーでの私の経験では、優れたものは通常コンパイルされた言語で書かれており、市販の最適化パッケージに比べて貧弱です。

Aronが言ったように、問題を明示的な方程式系として定式化でき、無料のソルバーが必要な場合、最善の策はおそらくIPOPTでしょう。他の無料のソルバーは、COIN-OR Webサイトで見つけることができます。私の知る限り、非線形ソルバーには開発者が提供するPythonバインディングがありません。見つけたバインディングはすべてサードパーティになります。良い解を得るには、適切な確率的グローバル最適化ヒューリスティック、または分岐限定などの決定論的グローバル最適化アルゴリズムで見つかった非線形凸ソルバーをラップする必要があります。あるいは、BonminまたはCouenneを使用することもできます。どちらも確定的な非凸最適化ソルバーであり、最先端のソルバーであるBARONと比較して十分なパフォーマンスを発揮します。

市販の最適化ソルバーを購入できる場合は、いくつかの非線形最適化ソルバーを含むGAMSモデリング言語を検討することを検討してください。特に言及されているのは、ソルバーCONOPT、SNOPT、およびBARONへのインターフェースです。（CONOPTとSNOPTは凸ソルバーです。）私が過去に使用した賢明な解決策は、GAMSへのFortran（またはMatlab）言語バインディングを使用してGAMSファイルを記述し、Fortran（またはMatlab）からGAMSを呼び出して最適化問題の解決。GAMSにはPython言語バインディングがあり、非常に反応の良いサポートスタッフが問題があれば助けてくれます。（免責事項：私はGAMSに所属していませんが、私のラボはGAMSライセンスを所有しています。）商用ソルバーは、fmincon; 実際、それらがそれほど良くなければ驚くでしょう。問題のサイズが十分に小さい場合、GAMSの評価版がWebサイトからダウンロードされる可能性があるため、GAMSライセンスとソルバーへのライセンスを購入する必要さえありません。それ以外の場合は、GAMSライセンスと併せて購入するソルバーを決定する必要があります。BARONには混合整数線形計画法ソルバーが必要であり、2つの最高の混合整数線形計画法ソルバーCPLEXとGUROBIのライセンスは学者には無料であるため、GAMSインターフェイスを購入するだけで済むことは注目に値しますインターフェイスとソルバーのライセンスよりも、かなりのお金を節約できます。

この点は繰り返します。前述の決定論的な非凸最適化ソルバーの場合、モデルを明示的な方程式のセットとして定式化できる必要があります。そうしないと、非凸最適化アルゴリズムは機能しません。これらはすべて、シンボリック分析に依存して、分枝限定アルゴリズムの凸緩和を構築するためです。

UPDATE：最初に私に起こっていなかった一つの考えはあなたにも高度な最適化（のためのツールキットを呼び出すということでしたTAO）とPETScを使用してtao4pyとpetsc4pyを簡単に並列化の潜在的な付加的な利点を有することになる、とPETScに精通して活用およびACTSツール。

更新＃2：あなたが言及した追加情報に基づいて、逐次二次計画法（SQP）メソッドが最善の策です。SQP法は一般に内点法よりも堅牢であると考えられていますが、密な線形解を必要とするという欠点があります。速度よりも堅牢性を重視するため、SQPが最善の策です。Pythonで書かれた優れたSQPソルバーを見つけることはできません（このテクニカルレポートでは、アルゴンヌのSven Leyfferも見つかりませんでした）。SciPyやOpenOptのようなパッケージに実装されているアルゴリズムには、いくつかのSQPアルゴリズムの基本的なスケルトンが実装されているが、より高度なコードが収束の問題を克服するために使用する特殊なヒューリスティックがないと推測しています。NLoptを試すことができます、MITのSteven Johnsonによって書かれました。私はそれを知っているという評判がないので、私はそれに対して大きな希望を持っていませんが、スティーブン・ジョンソンは良いソフトウェアを書く素晴らしい人です（結局、彼はFFTWを共同で書きました）。SQPのバージョンを実装します。良いソフトウェアであれば、私に知らせてください。

TAOが制約付き最適化ソルバーの方法で何かを持っていることを望んでいましたが、そうではありません。あなたは確かにそれらを構築するために持っているものを使用することができます; それらには多くのコンポーネントがあります。しかし、あなたが指摘したように、あなたがそれを行うのははるかに多くの仕事になるでしょう、そしてあなたがそのようなトラブルに行くなら、あなたはTAO開発者であるかもしれません。

その追加情報を使用すると、PythonからGAMSを呼び出す（それがオプションである場合）か、IPOPT Pythonインターフェイスにパッチを適用しようとすると、より良い結果が得られる可能性が高くなります。IPOPTは内点法を使用するため、それほど堅牢ではありませんが、多分Andreasの内点法の実装は、MatlabのSQPの実装よりもかなり優れている可能性があります。確実に知るために、いくつかのケーススタディを実行する必要があります。

有理不等式の制約を多項式不等式の制約として再定式化するトリックはすでにご存知です（これは本の中にあります）。これがBARONおよびその他の非凸ソルバーに役立つ理由は、用語解析を使用して、ソルバーの収束を改善および高速化するためのカットとして使用できる追加の有効な不等式を生成できるためです。

GAMS PythonバインディングとIPOPTへのPythonインターフェイスを除き、答えはノーです。Python用の高品質な非線形プログラミングソルバーはまだありません。たぶん@DominiqueはNLPyでそれを変えるでしょう。

更新＃3：Pythonベースのソルバーを見つけるためのより多くの野生の突き刺しは、C ++ベースのグローバル多目的最適化ソルバーであるPaGMOへのPythonバインディングのセットであるPyGMOをもたらしました。多目的最適化のために作成されましたが、単一目的の非線形プログラミングにも使用でき、他のソルバーの中でもIPOPTおよびSNOPTへのPythonインターフェイスを備えています。それは欧州宇宙機関内で開発されたので、うまくいけばその背後にコミュニティがあります。また、比較的最近リリースされました（2011年11月24日）。

更新：リリースしたばかりの新しいGEKKOパッケージを参照してください。

APM Pythonは、APOPT、BPOPT、IPOPT、およびその他のソルバーへのインターフェースを備えた無料の最適化ツールボックスです。ソルバーに最初の情報（ヤコビアン）と2番目の情報（ヘシアン）を提供し、結果を表示するためのオプションのWebインターフェイスを提供します。APM Pythonクライアントはpipと共にインストールされます。

 pip install APMonitor

以下を使用してPythonスクリプトにインストールすることもできます。

try:
    from APMonitor.apm import *
except:
    # Automatically install APMonitor
    import pip
    pip.main(['install','APMonitor'])
    from APMonitor.apm import *

いくつかのベンチマークテストを行った結果、APOPT（アクティブセットメソッド）とIPOPT（内点法）を組み合わせることで、ベンチマークの問題の大部分を解決できることがわかりました。ダウンロードzipファイルには、いくつかの問題例が含まれています。おそらく最初から始めたいのは、Hock Schittkowski＃71の問題です。これは最も単純な例であり、制約付き最適化の問題を解決する方法を示しています。

ブラウザインターフェイスとPython / MATLABへのAPIがあります。PythonのAPIは、apmonitor.comホームページからダウンロードできる単一のスクリプト（apm.py）です。スクリプトがPythonコードにロードされると、次の問題を解決することができます。

• 非線形方程式
• 混合整数非線形計画法
• 微分方程式と代数方程式
• 最小二乗モデルのあてはめ
• 移動地平線の推定
• 非線形モデル予測制御
• 等

新規ユーザー向けに、APM Pythonソフトウェアには、ユーザーが質問を投稿できるGoogleグループフォーラムがあります。オペレーションズリサーチおよびエンジニアリングの最適化問題を紹介するウェビナーがあります。

以下は最適化問題（hs71.apm）の例です。

Model
  Variables
    x[1] = 1, >=1, <=5
    x[2] = 5, >=1, <=5
    x[3] = 5, >=1, <=5
    x[4] = 1, >=1, <=5
  End Variables

  Equations
    x[1] * x[2] * x[3] * x[4] > 25
    x[1]^2 + x[2]^2 + x[3]^2 + x[4]^2 = 40

    minimize  x[1] * x[4] * (x[1]+x[2]+x[3]) + x[3]
  End Equations
End Model

最適化の問題は、次のPythonスクリプトで解決されます。

from APMonitor.apm import *
server = 'http://byu.apmonitor.com'

# Application name
app = 'eqn'

# Clear previous application
apm(server,app,'clear all')

# Load model file
apm_load(server,app,'hs71.apm')

# Option to select solver (1=APOPT, 2=BPOPT, 3=IPOPT)
apm_option(server,app,'nlc.solver',3)

# Solve on APM server
solver_output = apm(server,app,'solve')

# Display solver output
print(solver_output)

# Retrieve results
results = apm_sol(server,app)

# Display results
print('--- Results of the Optimization Problem ---')
print(results)

# Display Results in Web Viewer 
url = apm_var(server,app)
print("Opened Web Viewer: " + url)

APM Pythonは、最適化のための無料のWebサービスです。最適化の問題はリモートサーバーで解決され、結果はローカルPythonスクリプトに返されます。インターネット接続が必要ないように、APMonitorローカルサーバーもダウンロードできます（ダウンロードサーバー）。最近、MATLABとPythonの両方の並列処理サポートを追加しました。Pythonモジュールは、Python 2.7またはPython 3+と互換性があります。

これはあなたの質問に完全に答えているわけではありませんが、NLPyという名前の非線形プログラミング用のPythonパッケージを作成しています。最新バージョンはhttps://github.com/dpo/nlpyから取得できます

NLPyは研究グレードであり、含まれるソルバーはIPOPTのようなより熟練したコードほど堅牢ではないことを強調しなければなりません。さらに、現在、ヤコビアンの提供が必要です。とはいえ、NLPyのポイントは、研究者が必要に応じてカスタムソルバーを組み立てるために必要なツールを提供することです。とにかく、あなたがそれを試してみたら、私はあなたのコメントをオフラインで聞くことに興味があるでしょう。関連パッケージhttps://github.com/dpo/pykrylovおよびhttps://github.com/dpo/pyorderも役立つ場合があります。現在、NLPyのドキュメントは間違いなく不足しています。他の2つは合理的なはずです。

pyomoは、Pythonで最適化するための完全なGAMS / AMPLのようなモデリング環境です。非常に強力で、AMPLでサポートされているすべてのソルバーへのインターフェイスがあり、ヤコビアンなどを自動的に生成します。ただし、「仮想python環境」で実行されるため、既存のコードにリンクするのは簡単ではない場合があります。

GEKKO Pythonパッケージを最近リリースしました（2018）アクティブセットおよび内点法によるIPOPT、APOPT、BPOPT、MINOS、SNOPTなどのソルバーを使用した非線形プログラミングの場合。これらのソルバーを使用する際の問題の1つは、通常、少なくとも1次導関数とオプションで2次導関数を提供する必要があることです。他の回答で述べたように、これを行うことができるいくつかの素晴らしいモデリング言語があります。GEKKOは方程式をバイトコードにコンパイルするため、速度の点でFortranやC ++でモデルを作成したようになります。自動微分は、勾配ベースのソルバーにスパース形式で1次および2次導関数を提供します。最適な制御問題のためにGEKKOを設計しましたが、fminconに似た問題も解決できます。以下は、等式および不等式の制約がある非線形プログラミング問題の簡単な例です。まず、あなた

pip install gekko

ホックSchittkowskiの問題＃71は、目的関数、不等式制約、等式制約、及び上限と下限との4つの変数の例として、以下に示します。

from gekko import GEKKO
m = GEKKO() # Initialize gekko
# Initialize variables
x1 = m.Var(value=1,lb=1,ub=5)
x2 = m.Var(value=5,lb=1,ub=5)
x3 = m.Var(value=5,lb=1,ub=5)
x4 = m.Var(value=1,lb=1,ub=5)
# Equations
m.Equation(x1*x2*x3*x4>=25)
m.Equation(x1**2+x2**2+x3**2+x4**2==40)
m.Obj(x1*x4*(x1+x2+x3)+x3) # Objective
m.options.IMODE = 3 # Steady state optimization
m.solve() # Solve
print('Results')
print('x1: ' + str(x1.value))
print('x2: ' + str(x2.value))
print('x3: ' + str(x3.value))
print('x4: ' + str(x4.value))    

GEKKOはすべてのプラットフォーム（Windows、MacOS、Linux、ARMプロセッサー）およびPython 2.7および3+で動作します。オプション「remote = False」を設定することにより、インターネットに接続せずに完全にローカルなオプションを利用できます。現在、ローカルオプションはWindowsでのみ使用できます。Linux、MacOS、ARMプロセッサなど、インターネットに接続せずにローカルで実行する他のバージョンに取り組んでいます。ローカルバージョンには、ライセンスを必要としない無料のソルバーのみが含まれています。デフォルトでは、問題はパブリックサーバーに送信され、そこでソリューションが計算されてPythonに返されます。

この質問は、特にPythonでの非線形プログラミングの解決に関するものですが、GEKKOが解決できる他のいくつかのタイプの問題と、最適化を学習するためのリソースもいくつか取り上げます。GEKKOはまた、混合整数および微分代数方程式を解き、高度な制御（DMC、RMPCTなどに類似）のために事前にプログラムされたオブジェクトをいくつか持っています。動作モードには、データ調整、リアルタイム最適化、動的シミュレーション、および非線形予測制御が含まれます。

最適化に関する2つのコース（設計最適化と動的最適化）を教え、コース資料をオンラインで投稿しました。動的最適化コースは毎年1月に開始され、GEKKO Pythonパッケージ（およびMATLAB）をコースに使用します。GEKKOはAPMonitor Optimization Suiteの拡張機能ですが、Python内でモデリングとソリューションの視覚化を直接統合しています。APMonitorおよびGEKKOリファレンスは、このパッケージで解決できるアプリケーションの種類のサンプルを提供します。GEKKOは、全米科学財団の研究助成金＃1547110の下で開発されています。

scipy.fmin_slsqpはどうですか？

http://docs.scipy.org/doc/scipy/reference/generated/scipy.optimize.fmin_slsqp.html

PyGMOにはいくつかのソルバーが含まれており、それらに同じインターフェースを提供します。コードをコンパイルし、サードパーティのコードを個別にダウンロード/インストールする場合に備えて、IPOPTとscipy slsqpが含まれています。

ボーナスとして、ソルバーの並列使用は、群島クラスを介して非常に簡単に（マルチスタート）できます！

Stephen Boydの凸最適化ソフトウェアのPythonラッパーであるcvxmodがあります。これはSageパッケージの一部です。

fminconは、OpenOptフレームワークを介してPythonから使用できるようになりました。オプションで、FuncDesigner http://openopt.org/fminconによる密/疎自動区別を使用できます 。

$\to$ $\to$

された流域は、scipyのダウンロード経由でホッピングニーズに十分な？グローバルな最小値ではなくローカルな最小値を返す場合、反復回数を変更したり、境界を適用したりできます。

CMA-ESはどうですか？Pythonバインディングがあり、非凸、非線形最適化の問題によく適合し、かなり使用しました：https : //www.lri.fr/~hansen/cmaesintro.html

pipによるインストール：

pip install cma

ウェブサイトのサンプルコードを次に示します。

import cma
help(cma)  # "this" help message, use cma? in ipython
help(cma.fmin)
help(cma.CMAEvolutionStrategy)
help(cma.CMAOptions)
cma.CMAOptions('tol')  # display 'tolerance' termination options
cma.CMAOptions('verb') # display verbosity options
res = cma.fmin(cma.Fcts.tablet, 15 * [1], 1)
res[0]  # best evaluated solution
res[5]  # mean solution, presumably better with noise

MATLABにはJITコンパイラーがありますが、CPythonにはまだありません（少なくとも、pypyがnumpyを完全にサポートするまで）。市販の製品よりも優れた無料のソルバーが必要なようですfmincon。多すぎませんか？

商用NLPソルバーの中でIIRCは、これまでPython APIを提供してきたのはsnoptだけでした（かなりugいですが）。

どのOpenOptソルバーを試しましたか？非凸のタスクにはいくつの変数と制約がありますか？

OpenOpt Sageサーバーにインストールせずに、OpenOpt / Funcdesigner APIを介してIPOPTを試すことができます（「sageからpythonへの切り替え」の図に注意してください）。

$10^{300}(x-0.1)^2 + 10^{-300}(y-0.2)^2$$(x,y) = (1,1)$

グローバルな問題については、http： //openopt.org/interalgおよびその他のopenoptグローバルソルバー（http://openopt.org/GLP）に興味があります。ローカル最適化のために、openoptはさまざまなソルバーを提供しています：http ://openopt.org / NLP

ここで言及するのは、Google Ceresソルバーは実際には非常に強力な非線形オプティマイザーであり、多くのプロジェクトで使用されていることです。

また、https：//github.com/rll/cyresから Pythonラッパーを入手できます。

KNITROには、特にPythonおよびMATLABインターフェイスがあります。FMINCONの代替品と考えてください。ただし、パフォーマンスははるかに高く、高価です。 https://www.artelys.com/en/optimization-tools/knitro#doc-tab。

私はKNITROのユーザーですが、それ以外では製品と提携していません。