タグ付けされた質問 「optimization」

このタグは、関数の（制約付きまたは制約なし）最小化または最大化のメソッドに関する質問を対象としています。

1
ラインサーチおよび信頼領域アルゴリズムのスケール不変性
Nocedal＆Wrightの数値最適化に関する本では、セクション2.2（27ページ）に「一般的に、信頼領域アルゴリズムよりもライン探索アルゴリズムのスケール不変性を保持する方が簡単です」という記述があります。同じセクションで、元の変数のスケーリングされたバージョンである新しい変数を使用することについて説明します。これは、ライン検索と信頼領域の両方に役立ちます。別のアプローチは事前調整です。信頼領域メソッドの場合、事前条件付けは楕円形の信頼領域を持つことと同等であるため、スケール不変性を提供します。ただし、行検索の前提条件については、同様の直観が明確ではありません。線の探索はどのような点でスケール不変性に適していますか？実用的な考慮事項はありますか？ また、信頼領域メソッドの前提条件に関する質問があります。非常に条件の悪い問題の場合、優れた前提条件は外側のニュートン反復と内側のCG反復の両方を減らすか、後者のみを減らすか？信頼領域は元の空間では楕円体であるため、適切な前提条件子を使用すると、地形によりよく一致する楕円体が得られます。これにより、アルゴリズムがより良い方向に進むように強制することにより、外側のニュートン反復の数を減らすことができると思います。これは正しいですか？
2
PDE制約付き最適化のための随伴法のコストを理解する
随伴ベースの最適化手法がPDE制約付き最適化でどのように機能するかを理解しようとしています。特に、設計変数の数は多いが「方程式の数は少ない」という問題に対して、随伴法がより効率的である理由を理解しようとしています。 私が理解していること： 次のPDE制約付き最適化問題を検討してください。 minβ I(β,u(β))s.t.R(u(β))=0minβ I(β,u(β))s.t.R(u(β))=0\min_\beta \text{ } I(\beta,u(\beta))\\ s.t. R(u(\beta))=0 ここで、は、設計変数に依存するベクトル設計変数βおよびフィールド変数未知数u （β ）の（十分に連続的な）目的関数であり、R （u ）はPDEの残差型です。IIIββ\betau(β)u(β)u(\beta)R(u)R(u)R(u) 明らかに、IとRの最初のバリエーションは δI=∂I∂βδβ+∂I∂uδuδI=∂I∂βδβ+∂I∂uδu\delta I = \frac{\partial I}{\partial \beta}\delta\beta + \frac{\partial I}{\partial u}\delta u δR=∂R∂βδβ+∂R∂uδu=0δR=∂R∂βδβ+∂R∂uδu=0\delta R = \frac{\partial R}{\partial \beta}\delta\beta + \frac{\partial R}{\partial u}\delta u = 0 ラグランジュ乗数ベクトルを導入すると、目的関数の変動は次のように記述できます。λλ\lambda δI=∂I∂βδβ+∂I∂uδu+λT[∂R∂βδβ+∂R∂uδu]δI=∂I∂βδβ+∂I∂uδu+λT[∂R∂βδβ+∂R∂uδu]\delta I = \frac{\partial I}{\partial \beta}\delta\beta + \frac{\partial …
11 optimization  pde 
3
のみ評価できる未知の関数を最適化しますか？
未知の関数与えられた場合、そのドメイン内の任意のポイントでその値を評価できますが、その式はありません。つまり、は私たちにとってブラックボックスのようなものです。 ff:Rd→Rf:Rd→Rf:\mathbb R^d \to \mathbb Rfff の最小化子を見つける問題の名前は何ですか？そこにはいくつかの方法がありますか？fff 方程式の解を見つける問題の名前は何ですか？そこにはいくつかの方法がありますか？f(x)=0f(x)=0f(x)=0 ：二つの問題上には、Fのいくつかの評価に補間又は適合することをお勧めします関数用い既知の形態とパラメータでを決定し、最小化するか、その根を見つけますか？G θ θ G θ(xi,f(xi)),i=1,…,n(xi,f(xi)),i=1,…,n(x_i, f(x_i)), i=1, \dots, ngθgθg_\thetaθθ\thetagθgθg_\theta よろしくお願いします！
1
ヌル空間突出
システム所与A ∈ R 、N × Nが場合ヤコビ反復がソルバとして使用する場合には、私は、それを読んで、この方法は、収束しないであろうbはのヌル空間内の非ゼロ成分有し、Aが。それでは、Aのヌル空間にまたがるゼロ以外の成分がbにある場合、Jacobiメソッドは非収束であると正式に述べることができますか？ヌル空間に直交する解の一部は収束するため、数学的にどのように形式化できるのでしょうか。A x = b 、Ax=b,Ax=b,A ∈ Rn × nA∈Rn×nA\in\mathbb{R}^{n\times n}bbbAAAbbbAAA したがって、各反復からヌル空間を射影することにより、収束（または？）します。AAA ......... Iは、特にの場合に興味Lが零空間対称ラプラシアン行列は、ベクトルによって張られる1 N = [ 1 ... 1 ] T ∈ R N、および有するゼロ成分中ののヌル空間、ここではセンタリング行列です。それは、各ヤコビ反復がヌル空間を投影することを意味しますか、つまり、各反復は中央に配置されますLx=b,Lx=b,Lx=b,LLL1n=[1…1]T∈Rn1n=[1…1]T∈Rn1_n=[1\dots 1]^T\in\mathbb{R}^nL J b = b 、J = I − 1bbbLLLJb=b,Jb=b,Jb=b, LJ=I−1n1n1TnJ=I−1n1n1nTJ=I-\frac{1}{n}1_n1_n^TLLL？私はこれを求めているので、Jacobiの反復からヌル空間を投影する必要はないでしょう（言い換えれば、反復を中央に配置するために）。LLL
1
逆関数を計算せずに線形回帰問題の標準誤差を計算する
反転するよりも、線形回帰問題の標準誤差をより高速に計算する方法はありますか？ここで、回帰があると仮定します。X′XX′XX'X y=Xβ+ε,y=Xβ+ε,y=X\beta+\varepsilon, ここで、はn × k行列、yはn × 1ベクトルです。XXXn×kn×kn\times kyyyn×1n×1n\times 1 最小二乗問題の解決策を見つけるために、で何かを行うことは実用的ではありません。行列Xで QRまたはSVD分解を直接使用できます。または、勾配法を使用できます。しかし、標準エラーはどうでしょうか？本当に必要なのは（X ′ X ）− 1の対角線（およびεの標準誤差の推定値を計算するためのLS解法）だけです。標準誤差計算のための特定の方法はありますか？X′XX′XX'XXXX(X′X)−1(X′X)−1(X'X)^{-1}εε\varepsilon
2
勾配降下法と共役勾配降下法
プロジェクトの場合、これら2つの方法を実装し、さまざまな機能でのパフォーマンスを比較する必要があります。 共役勾配法は、の線形方程式系を解くことを意図しているように見えます Ax=bAx=b A\mathbf{x} = \mathbf{b} ここで、は対称で正定で実数のn行n列の行列です。AAA 一方、勾配降下法について読むと、Rosenbrock関数の例が表示されます。 f(x1,x2)=(1−x1)2+100(x2−x21)2f(x1,x2)=(1−x1)2+100(x2−x12)2 f(x_1,x_2) = (1-x_1)^2+100(x_2-x_1^2)^2 見てのとおり、共役勾配法ではこれを解決できません。それとも私は何かを逃していますか？
2
小さなノルム調整の固有ベクトル
ゆっくりと変化するデータセットがあり、その共分散行列の固有ベクトル/固有値を追跡する必要があります。 私はを使用してきましたがscipy.linalg.eigh、高すぎるため、すでに少しだけ正しくない分解が既に存在しているという事実を使用していません。 誰もがこの問題に対処するためのより良いアプローチを提案できますか？
4
行列制約付きの線形計画法
次のような最適化の問題があります minJ,Bs.t.∑ij|Jij|MJ+BY=XminJ,B∑ij|Jij|s.t.MJ+BY=X \begin{array}{rl} \min_{J,B} & \sum_{ij} |J_{ij}|\\ \textrm{s.t.} & MJ + BY =X \end{array} ここでは、変数は行列 JJJおよびBBBですが、問題全体は依然として線形プログラムです。残りの変数は固定されています。 このプログラムをお気に入りの線形プログラミングツールに入力しようとすると、いくつかの問題が発生します。つまり、これを「標準」線形プログラム形式で記述した場合、パラメーター行列MMMとYYYは（Xの各列に対して1回）何回も繰り返されることになりますXXX。 上記のフォームの最適化を処理できるアルゴリズムやパッケージはありますか？MMMとYYYは何度もコピーする必要があるため、現在メモリが不足しています！
4
線形制約による凸関数の最大化（凹関数の最小化）
問題は 最大f（x）A x = bの 対象 maxf(x) subject to Ax=b\max f(\mathbf{x}) \text{ subject to } \mathbf{Ax} = \mathbf{b} ここで、f（x）= ∑Ni = 11 + x4私（ΣNi = 1バツ2私）2−−−−−−−−−−√f(x)=∑i=1N1+xi4(∑i=1Nxi2)2f(\mathbf{x}) = \sum_{i=1}^N\sqrt{1+\frac{x_i^4}{(\sum_{i=1}^{N}x_i^2)^2}}、 x =[ x1、x2、。。。、xN]T∈ RN× 1x=[x1,x2,...,xN]T∈RN×1\mathbf{x} = [x_1,x_2,...,x_N]^T \in \mathbb{R}^{N\times 1}、および A ∈ RM× NA∈RM×N\mathbf{A} \in \mathbb{R}^{M\times N} f（。）f(.)f(.)は\ sqrt {1 + y …
3
未知のノイズの多い関数を最大化する
関数を最大化することに興味があります。ここで、です。θ ∈ R Pf（θ）f（θ）f(\mathbf \theta)θ ∈ Rpθ∈Rp\theta \in \mathbb R^p 問題は、関数またはその導関数の分析形式がわからないことです。私ができる唯一のことは、値をプラグインして関数をポイントごとに評価し、そのポイントでNOISY推定を取得することです。必要に応じて、これらの推定値の変動性を減らすことができますが、計算コストを増やす必要があります。 θ∗θ∗\theta_*f^（θ∗）f^（θ∗）\hat{f}(\theta_*) これが私がこれまでに試したことです： 有限差分の確率的急降下：機能しますが、多くの調整（ゲインシーケンス、スケーリング係数など）を必要とし、多くの場合非常に不安定です。 シミュレーテッドアニーリング：機能し、信頼できますが、多くの関数評価が必要なため、かなり遅いことがわかりました。 したがって、私はこれらの条件下で機能する可能性のある代替の最適化方法についての提案/アイデアを求めています。私とは別の研究分野からの提案を奨励するために、問題をできるだけ一般的にしている。収束時のヘッセ行列を推定できる方法に非常に興味があることも付け加えておきます。これは、パラメーター不確実性を推定するために使用できるためです。それ以外の場合は、推定値を取得するために最大値の周りの有限差分を使用する必要があります。θθ\theta
2
（メタ）ヒューリスティック手法の意味
最適化のために、ウィキペディアから： コンピュータサイエンスでは、メタヒューリスティックは、与えられた品質の尺度に関して候補ソリューションの改善を繰り返し試行することによって問題を最適化する計算方法を指定します。メタヒューリスティックは、最適化される問題についてほとんどまたはまったく想定せず、候補ソリューションの非常に大きな空間を検索できます。ただし、メタヒューリスティクスは、最適なソリューションが見つかることを保証するものではありません。多くのメタヒューリスティクスは、何らかの形の確率的最適化を実装しています。 メタヒューリスティックと同様の意味を持つその他の用語は、派生物を含まない、直接検索、ブラックボックス、または実際にはヒューリスティックオプティマイザです。この主題に関していくつかの本と調査報告書が発行されています。 最適化メソッドがメタヒューリスティックかどうかはどうしたらわかりますか？例えば、 （1）線形計画法のシンプレックス法はメタヒューリスティックですか？ （2）勾配降下法、ラグランジュ乗数法、ペナルティ法、内点法（バリア法）、メタヒューリスティックなどの非線形計画法の大部分はありますか？ （3）ネルダーミード法やダウンヒルシンプレックス法など、勾配のない方法はすべてメタヒューリスティックですか？ メタヒューリスティックではないいくつかの最適化方法は何ですか？ より一般的に（最適化を超えて）Wikipediaの問題解決手法： ヒューリスティックとは、問題解決、学習、および発見のための経験ベースの手法を指します。徹底的な検索が実用的でない場合は、ヒューリスティック手法を使用して、満足のいくソリューションを見つけるプロセスを高速化します。この方法の例には、経験則、経験に基づく推測、直感的な判断、または常識の使用が含まれます。 より正確に言えば、ヒューリスティックスは、人間や機械の問題解決を制御するために、大まかに適用できるものの、容易にアクセスできる情報を使用する戦略です。 「ヒューリスティック」の意味をどう理解したらいいのでしょうか？ 「問題解決、学習、発見」手法がヒューリスティックであるかどうかはどうすればわかりますか？ ヒューリスティックではない「問題解決、学習、および発見」手法にはどのようなものがありますか？ よろしくお願いします！
2
PythonでのSVMのラグランジュ係数の計算
Pythonで完全なSVM実装を記述しようとしていますが、ラグランジュ係数の計算にいくつか問題があります。 最初に、アルゴリズムから理解したことを言い換えて、正しいパスにいることを確認します。 もしバツ1、x2、。。。、xんバツ1、バツ2、。。。、バツんx_1, x_2, ..., x_n、データセットでありy私∈ { - 1 、1 }y私∈{−1、1}y_i \in \{-1, 1\}のクラスラベルであるバツ私バツ私x_i次いで、∀ 私は、Y私（wTバツ私+ B ）≥ 1∀私、y私（wTバツ私+b）≥1\forall i, y_i(w^Tx_i + b) \geq 1 したがって、最適化問題を解決して ∥ ワット∥2‖w‖2\|w\|^2 対象y私（wTバツ私+ B ）≥ 1y私（wTバツ私+b）≥1y_i(w^Tx_i + b) \geq 1 ラグランジュ係数に関して、これは、およびおよび最小化することをます：B α = （α 1、α 2、。。。α N）≠ 0 ≥ 0 L （α 、W 、B ）= …
4
ボックス制約のある非線形最小二乗
ボックス制約を使用して、非線形最小二乗法min を実行する推奨方法は何ですか？ボックスの制約を2次式にして、を最小化できるように ここで、は、\ _ _ _ /、 ような形をした「タブ関数」です。 これは理論的に機能しますか、実際に機能しますか？ （NLS +に関する多くの理論的な論文があるようですが、私の興味は実用的です—∑ e r r私（p ）2Σerr私（p）2\sum err_i(p)^2l oj&lt; = pj&lt; = h ijloj&lt;=pj&lt;=h私jlo_j <= p_j <= hi_jΣ私e r r私（p ）2+ C∗ ∑jt u b （pj、l oj、時間Ij）2Σ私err私（p）2+C∗Σjtあなたb（pj、loj、h私j）2 \sum_i err_i(p)^2 + C * \sum_j tub( p_j, lo_j, hi_j )^2 t u b （x …
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.