タグ付けされた質問 「optimization」

（一般化された）幾何学的プログラミングは一般的な凸型プログラミングとどう違うのですか？ 幾何学的プログラムは凸型プログラムに変換でき、通常は内点法によって解かれます。しかし、問題を凸型プログラムとして直接定式化し、内点法で解決することの利点は何ですか？ 幾何学プログラムのクラスは、内点法によって特に効率的に解くことができる凸プログラムのクラスのサブセットを構成するだけですか？または、一般的な幾何学プログラムをコンピューターで読み取り可能な形式で簡単に指定できるという利点もあります。 一方、幾何学プログラムでは適度に近似できない凸型プログラムはありますか？

10 optimization  convex-optimization 

私はこの投稿と同様の問題を抱えていますが、いくつかの顕著な違いがあります： 2D関数を適応的にサンプリングするための簡単な方法は何ですか？ その投稿のように： 私はを持っており、この関数の評価は計算にいくらか費用がかかりますf(x,y)f(x,y)f(x,y) その投稿とは異なり： どこでも正確に関数の値に興味があるのではなく、関数の単一の等高線を見つけることにのみ興味があります。 関数の自己相関、そしてその結果として滑らかさのスケールについて、私は重要な主張をすることができます。 この関数に沿ってステップ/サンプリングしてこの輪郭を見つけるインテリジェントな方法はありますか？ 詳しくは 関数は、計算されHaralick特長上に分類器/回帰何らかのによってポイント、ソフト分類を囲むpixles。これの出力は、ポイントが属するテクスチャ/マテリアルを示す浮動小数点数です。この数値のスケーリングは、推定クラス確率（SoftSVMまたは統計手法など）または線形/ロジスティック回帰の出力のような非常に単純なものです。分類/回帰は、画像からの特徴抽出にかかる時間に比べて正確で安価です。NNN を取り巻く統計は、ウィンドウが通常は重複領域をサンプリングしているため、近くのサンプル間に有意な相関があることを意味します。（私も象徴/数値的に近づくことができるもの）従って、これは、より複雑な機能と考えることができるより大きいより近傍に関連する推定値を与える（高度に相関する）、およびAが小さいほど、変数は大きくなりますが、より局所的な推定になります。 NNNf(x,y,N)f(x,y,N)f(x, y, N)NNNNNN 私が試したこと： ブルート計算-うまく機能します。定数 95％正しいセグメンテーション。その後、標準的な方法を使用して輪郭を描くと、結果は素晴らしいものになります。これには永遠にかかります。サンプルごとに計算された特徴を簡略化できますが、理想的にはこれを避けて、特徴空間の異なる部分に違いが現れるテクスチャのある画像にこのコードを一般的に維持します。 NNN ダムステッピング-各方向に1ピクセルの「ステップ」を取り、等値線値への近さに基づいて移動する方向を選択します。それでもかなり低速で、等値線の分岐は無視されます。また、グラデーションがフラットな領域では、「さまよう」または2倍に戻ります。 私は最初のリンクで提案された細分割のようなことをしたいと思っていますが、関心のある等値線を囲むボックスを剪定しました。も活用できると思いますが、どうすればいいのかわかりません。 NNN

10 optimization  image-processing 

私はそれを理解したように、連続オーバー緩和がAのパラメータを選択することによって動作しますと（準）ガウス・ザイデル反復と前のタイムステップでの値の線形結合を使用して...であることを 0≤ω≤20≤ω≤20\leq\omega\leq2 uk+1=(ω)ugsk+1+(1−ω)ukuk+1=(ω)ugsk+1+(1−ω)uk{u}^{k+1} = (\omega){u_{gs}}^{k+1} + (1-\omega)u^{k} ugsk+1ugsk+1{u_{gs}}^{k+1}は、任意のタイムステップでこのルールに従って更新された最新の情報が含まれているため、「準」と述べています。（ω=1ω=1\omega=1場合、これはまさにgauss-seidelです）。 いずれにせよ、空間分解能がゼロに近づくにつれて、ポアソン問題の2に近づく（反復が他よりも速く収束する）最適な選択でそれを読みましたωω\omega。同様の傾向が他の対称的で対角線的に支配的な問題に存在しますか？つまり、適応最適化スキームに埋め込むことなく最適にオメガを選択する方法はありますか？他の種類の問題に対する他のヒューリスティックはありますか？緩和不足（ω&lt;1ω&lt;1\omega<1）はどのような問題に最適ですか？

10 linear-algebra  optimization  iterative-method 

数値勾配しか提供できない場合、勾配ベースの最適化アルゴリズムを使用しても意味がありませんか？そうでない場合、最適化ライブラリ自体に対して有限微分を実行するのが簡単なのに、なぜ最初に数値勾配を提供するのですか？ [編集] 明確にするために、私の質問は確かに特定のアプリケーションよりも一般的な意味です。私の応用分野は、たまたま、さまざまな統計フレームワークの下での尤度最適化です。 自動微分に関する私の問題は、常に問題があるように見えることです。ADライブラリーが外部ライブラリー呼び出し（BLASなど）に伝搬できないか、ワークフローを大幅にやり直さなければならないため、対処するのが面倒になります...特に、タイプ依存の言語で作業している場合。ADに対する私の不満は、まったく別の問題です。でも信じたい！ 私は私の質問をよりよく定式化する必要があると思いますが、私はそれをうまくやっていません。導関数なしの最適化アルゴリズムまたは導関数ベースの最適化アルゴリズムのいずれかを使用するオプションがあり、私がそれに与えることができるのは数値勾配のみであるという警告がある場合、平均してどちらが優れていますか？

9 optimization 

値に依存する目的関数があります。ここで、はPDEの解です。PDEの初期条件である勾配降下によってを最適化しています。つまり、を更新し、PDEを統合して残差を計算する必要があります。つまり、勾配降下ステップサイズ（と呼びます）のラインサーチを実行する場合、すべての潜在的な値について、PDEをもう一度統合する必要があります。EEEϕ(x,t=1.0)ϕ(x,t=1.0)\phi(x, t = 1.0)ϕ(x,t)ϕ(x,t)\phi(x, t)EEEϕ(x,t=0.0)ϕ(x,t=0.0)\phi(x, t = 0.0)ϕ(x,t=0.0)ϕ(x,t=0.0)\phi(x, t = 0.0)αα\alphaαα\alpha 私の場合、それは法外に高価になるでしょう。適応型勾配降下ステップサイズの別のオプションはありますか？ 私はここで数学的に原理的なスキームを探しているだけではありません（もちろん、何かが存在する場合はそれよりも優れています）が、一般に静的ステップサイズよりも優れているものであれば何でも満足します。 ありがとう！

9 optimization  pde  conjugate-gradient 

準ニュートンBFGSアルゴリズムの一部としてラインサーチを実行しています。ラインサーチの1つのステップで、3次補間を使用して、ローカルミニマイザーに近づけます。 してみましょうf:R→R,f∈C1f:R→R,f∈C1f : R \rightarrow R, f \in C^1関心の関数です。f ′（x ∗）≈0となるようなを見つけたい。x∗x∗x^*f′(x∗)≈0f′(x∗)≈0f'(x^*) \approx 0 ましょうf(xk)f(xk)f(x_k)、f′(xk)f′(xk)f'(x_k)、f(xk+1)f(xk+1)f(x_{k+1})とf′(xk+1)f′(xk+1)f'(x_{k+1})知られています。また、想定0≤xk&lt;x∗&lt;xk+10≤xk&lt;x∗&lt;xk+10\le x_k<x^*<x_{k+1}。三次多項式Q(x)=ax3+bx2+cx+dQ(x)=ax3+bx2+cx+dQ(x)=ax^3+bx^2+cx+dので、Q(0)=f(xk)Q(0)=f(xk)Q(0)=f(x_k)、Q′(0)=f′(xk)Q′(0)=f′(xk)Q'(0)=f'(x_k)、Q(xk+1−xk)=f(xk+1)Q(xk+1−xk)=f(xk+1)Q(x_{k+1}-x_{k})=f(x_{k+1})と。Q′(xk+1−xk)=f′(xk+1)Q′(xk+1−xk)=f′(xk+1)Q'(x_{k+1}-x_{k})=f'(x_{k+1}) 私は二次方程式を解きます：は、閉形式の解を使用して、求めたx ∗ に対してです。(1):Q′(x∗−xk)=0(1):Q′(x∗−xk)=0(1): Q'(x^*-x_k) = 0x∗x∗x^* 上記は、が（1 ）の閉じた形の解をaで割るaで除算する場合を除いて、ほとんどの場合にうまく機能します。f(x)=O(x2)f(x)=O(x2)f(x)=\mathcal{O}(x^2)(1)(1)(1)aaa000 私の解決策を見ていると、それは「小さすぎる」であれば、単純に二次多項式の最小化のための閉じた形のソリューション取るQ 2（X ）= B のx 2 + C X + D私はすでに係数の持っているBを、C 、Dへの以前のフィットからQ （X ）。aaaQ2(x)=bx2+cx+dQ2(x)=bx2+cx+dQ_2(x)=bx^2+cx+db,c,db,c,db,c,dQ(x)Q(x)Q(x) 私の質問は次のとおりです。立方体に対して2次補間を行うタイミングを調べるにはどうすればよいでしょうか。以下のためのテストへの単純なアプローチ≡ 0は私が探していますので、数値的な理由による悪いです| a | &lt; ε τどこεはマシンの精度ですが、私は良いのかを決定することができないんだτの規模不変だFを。a≡0a≡0a \equiv 0|a|&lt;ϵτ|a|&lt;ϵτ|a| < \epsilon\tauϵϵ\epsilonττ\taufff おまけの質問：失敗した3次近似からの係数使用に数値的な問題はありますか、または係数を計算する適切な方法で新しい2次近似を実行する必要がありますか？b,c,db,c,db,c,d 明確化のための編集： …

9 optimization  numerical-analysis  interpolation 

長めの質問は申し訳ありませんが、実際の問題にたどり着くには説明が必要です。前述のアルゴリズムに精通している人は、おそらく最初のシンプレックスタブラウに直接ジャンプするでしょう。 最小絶対偏差の問題（別名解決する -optimization）を、Barrodale -ロバーツアルゴリズムは、はるかに少ないストレージと適切な最小値を見つけるために計算努力を必要とする特殊目的シンプレックス法です。L1L1L_1 アルゴリズムの実装は、適切な最小値に達する前に、単純な例で終了します。しかし、おそらく最初に、より詳細な方法で問題を述べさせてください。 データ与えられると、 -optimizationはを最小化する を見つけようとします ここで、は、何らかの方法で依存する行列です。この問題は線形プログラムとして説明できるため、特にシンプレックスのような方法を使用して解決できます。L 1 C ∈ M N Σは iが= 1 | y i − f （x i）|（x私、Y私）(xi,yi)(x_i,y_i)L1L1L_1C ∈ Mc∈mc\in mA 、X、N × M個のXΣi = 1ん| y私− f（x私）|とf（x ）：= Aバツ⋅ φ∑i=1n|yi−f(xi)|withf(x):=Ax⋅ϕ \sum_{i=1}^n |y_i-f(x_i)| \quad\text{with}\quad f(x):=A_x\cdot \phi あバツAxA_xn × mn×mn\times mバツxx BarrodaleとRobertsは、問題の特別な構造を使用してシンプレックス法を根本的に簡素化するシンプレックス法の（明らかに広く使用されている）変更を提案しました。最も注目すべきは、これは、最適なソリューションが、指定されたデータポイントの少なくともを補間することです。Jstorアクセス​​権を持つユーザーは、対応する記事をここで見つけることができます。r a n k（A …

9 optimization  linear-programming 

π 1 ：N最高πΣ私あπ私、私maxπ∑iAπi,i\max_\pi \sum_i A_{\pi i,i}ππ\pi1 ：n1:n1:n ここで、あAAは低ランクrのn × nn×nn\times n行列です。典型的なサイズは n = 10000 ~~（おそらくはるかに大きい）、r = 15です。rrrn = 10000 n=10000 n=10000~~r = 15r=15r=15

9 optimization 

一部の人口統計モデリングソフトウェアの最適化プロセスの改善に取り組んでいるため、人口統計モデルをデータによりよく適合させることができます。最適化時間を短縮したいと思います。 目的関数の評価にかかる時間は、入力値によって大きく異なります。目的関数を評価する時間と入力の関係は既知です。評価するポイントを選択するときに目的関数の相対時間コストを考慮する最適化方法があるかどうか疑問に思っています。 ありがとう！ 更新： Paulが要求したように、この特定の目的関数のいくつかの顕著な特徴は次のとおりです。 パラメータの数は中程度です（〜12ish） 私たちの問題は非凸であるか、少なくとも目的関数の表面に狭くて平らな「尾根」があります。現時点では、さまざまなポイントから複数の最適化を使用してこれに対処していますが、もっと改善したいと考えています。 目的関数は非常に滑らかですが、導関数の有限差分近似しか計算できません。 評価コストは、パラメーター値の滑らかな関数でもあり、非常に予測可能です。おおまかに言えば、各パラメーターの評価コストは、範囲の一端で高く、他端で低くなります。したがって、評価に費用がかかるパラメーターセットの大きな領域がありますが、それらがどこにあるかはわかっています。

9 optimization 

関数の最小値を見つけるために、Broyden-Fletcher-Goldfarb-Shannoメソッドを実装しようとしています。2つの初期推定バツ− 1x−1x_{-1}＆バツ0x0x_0と初期ヘッセ行列近似B0B0B_0です。について私が見つける唯一の要件B0B0B_0は、ヘッセ行列が対称正定値である場合、もそうであることB0B0B_0です。ウィキペディアを見ると、典型的な初期近似はB0= 私B0=IB_0=I（単位行列）であることがわかります。これは常に良い初期B0B0B_0ですか？自分以外を選びたいと思う理由はありますか私II？同じ行列特性を満たすBの他の選択は、メソッドの収束に大きな影響を与えるでしょうか？

9 optimization  algorithms 

いくつかの教科書に目を通すと、行探索中に最初に最小値を括弧に入れる問題が、（少なくとも私の学部のテキストでは）後付けになる傾向があることに気付きました。この種の問題に定評のあるテクニックやベストプラクティスはありますか、それともソリ​​ューションは通常アプリケーションに依存していますか？誰もがトピックに関するいくつかの参照を推奨できますか？

9 optimization  reference-request 

「検索手法」と「最適化手法」の違いや関係はどうなっているのでしょうか？ 特に最適化問題を解決する場合はどうでしょうか？検索方法は最適化問題を解決するためだけでなく、非最適化問題も解決すると思うので、私は最適化問題の解決のコンテキストを強調します。 私の混乱は以下の事実から来ています： ローカル検索、確率的検索など、「xxx検索」という名前の最適化方法がいくつかあります。 「検索」は実際にはどういう意味ですか？「検索」ではない最適化手法はあるのでしょうか？ また、この本のSpallによる確率的検索と最適化の概要でも、タイトルと内容の「検索」と「最適化」の違いがよくわかりません。同じ意味で「検索」と「最適化」を区別する必要があるのはなぜですか。または、「検索」は最適化タスク/問題を解決する方法を意味するのではなく、「最適化」は最適化方法ではなく確率論的最適化タスク/問題を意味しますか？ また、検索と最適化の無料ランチは、検索と最適化を再び区別するものではありません。 よろしくお願いします！

9 optimization 

ヒルクライミングは最適化のための非常に強力なツールのようです。しかし、ソリューションの「隣人」を生成する方法は常に私を困惑させます。 たとえば、私はソリューション最適化しています。ここで、は範囲、は範囲、は範囲ます。「ネイバー」を生成する最良の方法は何ですか？ここで「ステップサイズ」を実際に選択することはできません。1のステップサイズはx_1には巨大ですが、x_3には非常に小さいためです。x 1（x1、x2、x３）(x1,x2,x3)(x_1, x_2, x_3)バツ1x1x_1（0 、0.1 ）(0,0.1)(0, 0.1)バツ2x2x_2（0 、100 ）(0,100)(0, 100)バツ３x3x_3（0 、1000000 ）(0,1000000)(0, 1000000)バツ1x1x_1バツ３x3x_3 ヒルクライミングアルゴリズムで「ネイバー」を生成する最も一般的な方法は何ですか？

9 algorithms  optimization 

タンク内のフローディストリビューターを最適化して、断面全体の速度と温度の分布が比較的均一になるようにしています。入口パイプの数、位置、向き、方向など、断面の最大の均一性に合わせて調整できる多くのパラメーターがあります。さまざまな形状を作成して、それぞれを個別にテストできることはわかっていますが、これには非常に時間がかかります。複数のケースを一度に（並行して）反復的にテストし、以前の結果に基づいてテストする新しいジオメトリのセットを適応的に選択できるプログラムを作成できるようにしたいと考えています。これを行うにはどうすればよいですか？

9 optimization 

次の線形システムが与えられたと仮定 Lx=c,(1)(1)Lx=c,Lx=c,\tag1 ここで、LLL正であることが知られているラプラシアン重み付けsemi−semi−semi-で張ら一次元のヌル空間と明確1n=(1,…,1)∈Rn1n=(1,…,1)∈Rn1_n=(1,\dots,1)\in\mathbb{R}^n、そして、の翻訳分散x∈Rnx∈Rnx\in\mathbb{R}^{n}、すなわち、x+a1nx+a1nx+a1_nその誘導体である関数値（変化しない(1)(1)(1)）。の唯一の正のエントリはLLL、対角線上にあります。これは、負の非対角線上のエントリの絶対値の合計です。 私は非常にも、その場で学業に引用いずれかで見出さLLLであるnot strictlynot strictlynot~strictly斜めドミナント、例えば共役勾配、ガウスSeidl、ヤコビのような方法は、まだ安全に解決するために使用することができるが(1)(1)(1)。理論的根拠は、変換不変性のため、1つの点を固定しても安全です（たとえば、最初の行と列LLLおよび最初のエントリをから削除するccc）。したがって、LLLをa s t r i c t l yに変換します。strictlystrictlystrictly対角線的に支配的な行列。いずれにしても、元のシステムは、完全な形で解決される(1)(1)(1)と、L∈Rn×nL∈Rn×nL\in\mathbb{R}^{n\times n}。 この仮定は正しいですか、正しい場合、代替の根拠は何ですか？メソッドの収束がどのように維持されるかを理解しようとしています。 ヤコビ法を有する収束である場合(1)(1)(1)、どのスペクトル半径約状態可能性ρρ\rho繰り返し行列のD−1(D−L)D−1(D−L)D^{-1}(D-L)、DDDのエントリを有する対角行列であるLLLその対角線上には？あるρ(D−1(D−L)≤1ρ(D−1(D−L)≤1\rho(D^{-1}(D-L)\leq1、のための一般的な収束を保証からしたがって、異なるρ(D−1(D−L))&lt;1ρ（D−1（D−L））&lt;1\rho(D^{-1}(D-L))<1？私はラプラシアン行列の固有値ので、これを求めているD−1LD−1LD^{-1}L対角線上のものが持つべき範囲であることが[0,2][0、2][0, 2]。 原作より： ...................................... 各反復で、次の線形システムを解くことで新しいレイアウト（x（t +1）、y（t + 1））を計算します： L⋅x(t+1)=L(x(t),y(t))⋅x(t)L⋅y(t+1)=L(x(t),y(t))⋅y(t)(8)（8）L・バツ（t+1）=L（バツ（t）、y（t））・バツ（t）L・y（t+1）=L（バツ（t）、y（t））・y（t） L · x(t + 1) = L(x(t),y(t)) · x(t) \\ L · y(t + 1) = L(x(t),y(t)) · y(t) \tag 8 一般性を失うことなく、センサーの1つの位置を固定できます（ローカライズされたストレス）、厳密に対角線的に支配的な行列を取得します。したがって、（8）を解くためにJacobi反復を安全に使用できます。 ................................................. 上記の「反復」の概念は、基礎となる最小化手順に関連しており、Jacobi反復と混同しないでください。したがって、システムはJacobiによって（反復的に）解決され、ソリューションは（8）の右側に購入されますが、今度は、基礎となる最小化の別の反復のためです。これで問題が明確になることを願っています。 正の半定値行列に対して収束する反復線形ソルバーが見つかりましたか？、しかしより複雑な答えを探しています。

9 linear-algebra  optimization  iterative-method  matrix  linear-solver