タグ付けされた質問 「optimization」

PythonでBFGSとL-BFGSを使用してPythonで最適化手順を実装しようとしていますが、2つのケースで驚くほど異なる結果が得られます。L-BFGSは適切な最小値に超高速で収束しますが、BFGSは非常にゆっくりと収束し、それも無意味な最小値に収束します。 質問：私の測定値から、BFGSとL-BFGSは基本的にアルゴリズム（準ニュートン法）であるように見えますが、後者はメモリ使用量が少ないため高速です。本当？そうでなければ、それらがより異なっている場合、どのようにしてそうでしょうか？ 最終的に、パフォーマンスの違いが実際のアルゴリズムの違いによるものなのか、それともPython SciPyモジュールでの実装によるものなのかを把握したいと思います。 編集： 2つのアルゴリズムからの逸脱した動作の私の主張をサポートするためにいくつかのデータを追加しています。 RUNNING THE L-BFGS-B CODE * * * Machine precision = 2.220D-16 N = 147 M = 10 This problem is unconstrained. At X0 0 variables are exactly at the bounds At iterate 0 f= 2.56421D+04 |proj g|= 1.19078D+03 At iterate 1 f= 2.12904D+04 |proj …

7 optimization 

私はこのブランチとバウンドの問題を解決しようとしていますが、コストよりも優れたおおよそのコスト関数を思い付くことができませんでした。 まあ言ってみれば GGG のグラフです んnn ノード { 1 、2 、3 、... 、N }{1,2,3,…,n}\{1, 2, 3, \ldots , n\}。順列のためにfff のノードの GGG、各エッジの重み （x 、y）(x,y)(x,y) になります | f（x ）− f（y）||f(x)−f(y)||f(x)-f(y)|。総重量GGGエッジの重みの合計になります。あなたは考えることができますfff のノードの再ラベル付けとして GGG、 どこ f（x ）f(x)f(x) ノードの新しいラベルです バツxx。 順列を見つけようとしています fff その結果、最小総重量は GGG。 これを解決しようとすると、私が思いつくことができるのは、これまでに完了した各エッジの重みの合計であるおおよそのコスト（バックトラックツリーノードごとに）を見つけ、最小コストノードから続行することだけです。誰かがより良い近似式で私を助けてくれるかどうか疑問に思っています。

7 algorithms  graph-theory  optimization  backtracking  branch-and-bound 

2セット S、TS、TS, T それぞれの んんn内のポイント、私は全単射を見つけたい、は最小化され、はユークリッド距離。RkRk\mathbb{R}^ka ：S→ Ta：S→Ta : S \rightarrow TΣS ∈ Sd（s 、a （s ））Σs∈Sd（s、a（s））\sum_{s \in S} d(s, a(s))ddd この輸送問題はアースムーバーの距離問題の特殊なケースであることは承知していますが、重み付けされていない（ポイントを超えている）ため、3次ハンガリー方式よりも効率的なアルゴリズムがあるかどうか疑問に思っています。

7 algorithms  optimization  computational-geometry  linear-programming  bipartite-matching 

最大多様性問題は、選択を要求します メートルメートルm リストのアイテム んんn アイテム間のメトリック距離として定義される多様性が最大化されるようなアイテム。 私はもっ​​と簡単な方法で問題を解決できると思っていました。私の場合、私はリストを持っていますんんnそれぞれが特定の一意でないキーを持つアイテム。選びたいメートルメートルmキーごとのアイテムの最大数が最小化されるように、私のリストのアイテム。 たとえば、私のリストが： ('a', 5), ('b', 4), ('c', 2), ('a', 6), ('b', 5) そして、私たちは選択しなければなりません m = 3メートル=３m=3 アイテムの場合、最適なソリューションは、キーごとに1つのアイテムを含むリストです。 これを行うためのアルゴリズムは、最大多様性問題のアルゴリズムよりも簡単ですか？

7 algorithms  optimization 

ゲーテインスティトゥートで初心者レベルの外国語教授と出会い、できるだけ多くの学生とコミュニケーションをとるために学生が話す最も一般的な5つの言語を学んだことから、私は問題について考えていました。 有限数の人々がいて、それぞれがいくつもの言語を話しているとします。問題の目的のために、実際の言語を複雑にするいくつかのことを無視します（たとえば、人々は複数の言語を話しますが、異なるレベルでは、1つの言語を理解する人々は密接に関連する言語を理解できるかもしれません）言語など）。 したがって、たとえば： P 1が話す{English, German}。 P 2が話す{Spanish, Italian, French}。 P 3が話す{Mandarin, English}。 P 10000が話す{Afrikaans, Swahili, English}、など。 できるだけ多くの人に理解していただけるように翻訳したい文書を書いています。残念ながら、私の予算は限られているため、N言語にしか翻訳できません。 与えられたNの値に対して、意図した母集団から最大数の人々に到達するためのN言語の最適セットをどのように計算しますか？ この問題は、集合論/組み合わせ論の問題として簡単に一般化できるように聞こえるので、誰かが以前にそのような何かに取り組んだことがあると私は確信しています。既存の文献を見てみたいのですが、それを見つける方法がわかりません。 このタイプの問題に名前はありますか？そうでない場合は、別の既知の問題に削減できますか？

7 terminology  reference-request  optimization  combinatorics  sets 

彼らの論文「Coevolutionary Free Lunches」で、David WolpertとWilliam Macreadyは、以前の論文で証明したNo Free Lunchの定理に対する一連の例外について説明しています。例外は、対戦相手による最適なプレー、または少なくとも優れたプレーを前提として、プレーヤーが予想される検索コストを最小化しようとする2プレーヤーゲームに関係します。 この場合、無料のランチは「許可」されます。これは、以前のラウンドのラウンドでどのフィットネス（つまり、目的）関数が「除外」されているかに応じて、変更を最小限に抑えるコスト関数を正確に選択したためです。つまり、対戦相手がすでにゲームについて何かを知っていて、プレーヤーの期待リターンを最小にする応答を選択すると、プレーヤーは特定のフィットネス関数を評価せずに排除できます。これがどのように機能するかを説明するために、W＆Mは次のグラフを提供します。 ここに、 ⟨ グラム⟩⟨g⟩\langle g \rangle 対戦相手の動きに注意を払わない検索アルゴリズムを表します。 ⟨ グラム⟩1⟨g⟩1\langle g \rangle_{1}各移動に対する可能なすべての対戦相手の応答を考慮する検索アルゴリズムを表します。そして⟨ グラム⟩2⟨g⟩2\langle g \rangle_{2} は、各移動に対して1つの可能な対戦相手の応答のみをサンプリングする検索アルゴリズムを表します。 これは、提供される無料ランチの特徴を示しています。対戦相手から提供された情報を考慮に入れるアルゴリズムは、そうしないアルゴリズムよりも優れており、対戦相手からできるだけ多くの情報を収集するアルゴリズムは、一部のみを収集するアルゴリズムよりも優れています。W＆Mは、後の対戦相手の諜報についての議論でこの点を拡大しています。彼らは、対戦相手が全知ではないが部分的な知識を持っている場合でも、プレイヤーはその部分的な知識を活用できることを示しています。完全な無知の場合、これはうまくいきません。なぜなら、敵は常にランダムな動きで応答するからです。その場合、利益はないようです： 薬剤の予想される性能は、拮抗薬の可能な応答の平均です。 これは次のようだと思います ⟨ グラム⟩⟨g⟩\langle g \rangle上記。しかし、対戦相手にある程度の知識がある場合、アルゴリズムのパフォーマンスは対戦相手のインテリジェンスによって単調に増加するように見えます。 これらすべてについて私を混乱させるのは、議論が次の些細な見方の主張に要約されるように見えることです：すべての問題ドメインにわたって、知識のある敵から学ぶのに煩わしいアルゴリズムは、そうでないアルゴリズムよりも優れています。つまり、無料のランチを断らない限り、それを手にすることができます。 対戦相手が買っているので、事実上、昼食は無料です。 それが本当なら、たとえば、プレイヤーがオラクルと協力ゲームをし、協力を拒否するゲームはすべての問題でより悪いパフォーマンスをするゲームの全範囲を想像できませんか？同じ意味で無料のランチですね。しかし、オラクルの知識がどこから来たのかについては説明していません。 これは、他のプレイヤーの知識のソースをモデル化する必要がある場合、無料ランチゾーンに戻ることを意味しますか？あるいは、「無料の昼食」という言葉が暗示するように、両方のプレーヤーが完全に無知で始めた場合でも、この種の競争的なプレーがより良い結果をもたらすという主張は本当にありますか？

7 optimization  machine-learning 

文法の進化を利用して遺伝的アルゴリズムをプログラミングしています。私の問題は、局所的な最適値（早期収束）に到達し、それが発生したときに何をすべきかわからないことです。突然変異率を上げることを考えています（5％がデフォルト値です）が、いつ必要かを判断する方法がわかりません。 私がすべての世代で持っているデータは、最初の列がその適合性である二次元配列です adn[i][0] ← fitness row → is the values of the Grammar column ↓ Each indiviual result 説明が必要な場合は、お問い合わせください。変更させていただきます。これは私の母国語ではなく、間違いやご不便をおかけして申し訳ありません。 リクエストに答えると、私の操作は次のとおりであり、この順序で正確に： ランダムな母集団（乱数を含む行列）を生成します 希望する結果を含む行列を生成します。これを行うために、私はさらに+ -5％のバリエーションを持ついくつかの関数を実装しました。例：fun（x）=（2 * cos（x）+ sen（x）-2X）* （0,95+ （0と0,1の間で振動する数値）、xには0からN（Nは行のサイズ）までのすべてのf（x）が含まれ、yにはまったく同じ（より多くの結果）が含まれます アルゴリズムを開始します（世代が変わり始めます すべての世代を作るアクションは次のとおりです。 突然変異：すべての染色体の乱数は任意の遺伝子で突然変異する可能性があります→adn [i] [ランダム] =乱数（これが発生する確率の5％） クロスオーバー：私はすべてのadnを他のadnと交差させます（80％はすべてのペアの突然変異の可能性です）。ペアリングのために、乱数を選び、adn [i]とadn [（i + j）mod NumADNs]に直面します。 翻訳。ワンステップの転写で作成したf（0からN）の値を含む行列を取得し、画像に文法を適用して翻訳します -fitness：取得した値を期待値と比較し、適合度を更新します。 -エリート主義：その後、私は最高の4つのADNを選択し、それをトップにします、それらは選択されます -選択：非エリート主義のadnは完全にランダムなadnに直面し、その適応度が低い（低いほうが良い）が優勢であり、悪い方が生き残る可能性があります

7 optimization  genetic-algorithms  evolutionary-computing 

私がグラフ、頂点のサブセット、および頂点の2番目のセット持っている場合、 2セット？つまり、すべての -パスの中で最短のパスを探しています。すべてのエッジの重みが正であると仮定することもできます。G=(V,E)G=(V,E)G=(V,E)S⊂VS⊂VS \subset VS′⊂(V∖S)S′⊂(V∖S)S' \subset (V\setminus S)SSSS′S′S' これが私がこれまでこの問題に取り組んだ方法です： 前の操作でフロイドワーシャルアルゴリズムを適用して計算されたグラフの距離行列情報がすでにあります。(d)(d)(d)GGG 次に、各頂点についてすべての頂点を反復処理し、行列最小値を持つペアを見つけます。SSSS′S′S'(s1,s2)(s1,s2)(s_1,s_2)ddd 次にダイクストラのアルゴリズムを使用してと間の最短経路を計算し、頂点セットと接続します。s1s1s_1s2s2s_2SSSS′S′S' これと同じ結果を達成するためのより効率的な方法はありますか？

7 algorithms  graphs  optimization  shortest-path 

以下の最小ザップ問題は、「Greedy Algorithm」に関するJeff Ericksonの講義の演習11 です。 最小ザップ問題は、次のようにより正式に述べることができます。セットを考えるCCC の nんn 平面内の円。それぞれが半径と (x,y)(x,y)(x, y) 中心の座標。すべての円と交差する原点からの光線の最小数を計算します CCC。あなたの目標は、この問題の効率的なアルゴリズムを見つけることです。（下図の「9-balloons-with-4-rays」の例を参照してください） 質問：風船と交差しない光線を発射することが可能だとします。この特別な場合の最小ザップ問題を解決する貪欲なアルゴリズムを説明および分析します。 この問題への取り組みに問題があります。貪欲なアプローチは、ほとんどの円と交差して再帰する光線を使用することだと思いましたが、これは間違っていると言われました。どうしてこれなの？ そして、風船と交差しない光線があるという事実の意味は何ですか？いくつかの最適なソリューションがこの事実を使用していることを証明するはずですか？ どんな助けもいただければ幸いです！私は最近アルゴリズムを学び始めました:) hengxinの回答に基づくアルゴリズム：https ://cs.stackexchange.com/a/52293/42816 数学的帰納法による証明 注：O（n log n）実装を使用しませんでした 次に、数学的帰納法を使用して、このアルゴリズムの正確性を証明します。私たちの貪欲なアルゴリズムは最適解よりも悪いことはできないことを示します。 しましょう S′S′S'私たちの貪欲なアルゴリズムによって発射された光線のセットになります。しましょうSSS 別の最適なソリューションによって撮影された光線のセットである。 私たちの基本ケースはいつですか n=1n=1n = 1。破壊するオブジェクトは1つだけであり、貪欲なアルゴリズムは1つのレイを使用しますが、これもたまたま最適です。これはチェックアウトです。 ここで、帰納法の仮説について、貪欲なアルゴリズムが最大で nnn オブジェクト。 ここで、最初の光線が αα\alpha の S′S′S' それよりも悪いことはできません SSS。 今考えてみましょう n+1n+1n+1オブジェクトの状況。次に、並べ替えますS′S′S' そして SSS による αα\alpha、時計回り。今から発生する最初の光線を調べてみましょうαα\alpha時計回り。にS′S′S'、この最初の光線、それを呼び出します R′R′R'、おそらくそれよりも悪いことはできません SSS、 あれを呼べ RRR、私たちの貪欲なアルゴリズムは、この光線が最初のオブジェクトを含むほとんどのオブジェクトと交差することを示しているため、 αα\alpha。したがって、RRR …

7 algorithms  optimization  greedy-algorithms 

しばらく前、私は夜遅くに洗濯をしていました。洗濯物を寮に持ち帰ると、片付け始めました。 私のワードローブは次のように設定されています： 私の引き出しは、持っている衣類の種類によって分類されており、私はそのことに非常にこだわっています。これは、パンツの引き出しにTシャツを入れられないことを意味します（それ以外の場合は、毛羽立ちすぎて寝ることができません）。もちろん、私はこの分類を知っており、暗闇の中でもどの引き出しがどれであるかを知っています。 私はきれいな洗濯物を個持っており、引き出しが縦に並んでいます（引き出しの一番上が）NNNMMMD0D0D_0 引き出しは開閉可能ですが、引き出しが開いていると、衣類を引き出し入れることができません（ブロックされているため）。D私DiD_iDi + 1Di+1D_{i+1}D私DiD_i 部屋に入ると、引き出しはすべて閉じています。 終了したら、開いている引き出しをすべて閉じなければなりません。 私は思いやりのある紳士で、ルームメイトを起こしたくありません（これは大学の寮だったので、同じ部屋で寝ていました）。私はライトをオンにしないで、できるだけノイズを少なくすることにしました。 これは、以下の制約の下で洗濯物を片付けなければならないことを意味します。 洗濯物が見えないので、引っ張った瞬間に何を掴んでいるか分からない。 引き出しを開閉すると音がします。ランドリーバッグからアイテムを引き出したり、実際に引き出しに入れたりしても、そうはいきません。 一度に片方の衣類しか片付けることができません。床が汚れすぎて手が届かない家具のスペースがないので、私は服のように折りたたんで積み重ねることができません（それからそれらの積み重ねを置きません）。 衣類をバッグに入れて別のアイテムを取り出すことはできますが、次に取り出すのは、入れたばかりのアイテムである可能性があります（バッグから何を取り出すかは制御できません）。 このことから、3つの質問があります。 引き出しの開閉をできる限り少なくするために、洗濯物をどのように片付けることができますか？ 他の誰かがこの問題または同様のことを考えましたか？ この問題には実用的な用途がありますか？

7 algorithms  optimization  sorting  randomized-algorithms 

与えられた んnn ブール変数 バツ1、… 、バツんx1,…,xnx_1,\ldots,x_n それぞれに正のコストが割り当てられています c1、… 、cん∈Z&gt; 0c1,…,cn∈Z&gt;0c_1,\ldots,c_n\in\mathbb{Z}_{>0} とブール関数 fff 次の形式で与えられた変数について f(x1,…,xn)=⋀i=1k⨁j=1lixrijf(x1,…,xn)=⋀i=1k⨁j=1lixrijf(x_1,\ldots,x_n)=\bigwedge_{i=1}^k\bigoplus_{j=1}^{l_i}x_{r_{ij}} （⊕⊕\oplus XORを示す） k∈Z&gt;0k∈Z&gt;0k\in\mathbb{Z}_{>0}、整数 1≤li≤n1≤li≤n1\leq l_i\leq n そして 1≤ri1&lt;⋯&lt;rili≤n1≤ri1&lt;⋯&lt;rili≤n1\leq r_{i1}<\cdots<r_{il_i}\leq n すべてのために i=1,…,ki=1,…,ki=1,\ldots,k、 j=1,…,lij=1,…,lij=1,\ldots,l_i、問題はの最小コストの割り当てを見つけることです x1,…,xnx1,…,xnx_1,\ldots,x_n それは満たす fff、そのような割り当てが存在する場合。割り当てのコストは、単純に ∑i∈{1,…,n}xitrueci.∑i∈{1,…,n}xitrueci.\sum_{\substack{i\in\{1,\ldots,n\}\\x_i\,\text{true}}}c_i. この問題はNP困難ですか、つまり、付随する決定問題ですか？「コストに十分な値が割り当てられていますか？ KKK「NP難しい？ ここで、標準のXOR-SAT問題はPにあります。これは、線形方程式系の可解性の問題に直接マッピングされるためです。 F2F2\mathbb{F}_2（たとえば、https：//en.wikipedia.org/wiki/Boolean_satisfiability_problem#XOR-satisfiabilityを参照してください）。このソリューションの結果（存在する場合）は、次のアフィン部分空間です。Fn2F2n\mathbb{F}_2^n。したがって、問題は、その部分空間から最小のコストで対応する要素を選択するために削減されます。悲しいかな、その部分空間はかなり大きく、実際、fff バイナリで k×nk×nk\times n-行列形式、 111 それぞれに xrijxrijx_{r_{ij}} で iii-行と rijrijr_{ij}-番目の列、それ以外の場合はゼロ、コストの最小化の問題が発生します Ax=1,Ax=1,Ax=1, どこ AAA マトリックスとは xxx で構成される列ベクトルです x1,…,xnx1,…,xnx_1,\ldots,x_n …

7 optimization  np-hard  satisfiability  integer-programming  xor 

次の2次の最大化を考えます。 with \ begin {align} \ mathcal {X} = \ lbrace \ mathbf {x} \ in \ mathbb {R} ^ {n}：〜\ | \ mathbf {x} \ | _ {2} = 1、\ | \ mathbf {x} \ | _ {0} \ le k \ rbrace、\ end {align} ここで、\ mathbf {A}は正の半定行列、k \ …

7 complexity-theory  optimization  np-hard 

私は無料ランチの定理について読んでいますが、それが何であるかはよくわかりません。この定理が「汎用のユニバーサルオプティマイザは存在しない」という主張として他の場所で説明されているのを聞いたことがあります。一方、ウィキペディアの記事では、「1つずつ評価される」「候補ソリューション」について説明しています。特定の形式のアルゴリズムのみを検討すると、それははるかに限定的な主張になります。 この定理が実際に主張していることを誰かが説明できますか？

7 algorithms  terminology  optimization  heuristics 

NP困難であるが、固定次元で多項的に解決できるいくつかの問題を見てきました。 例としては、アイテムの数が固定されている場合に多項式で時間を解けるナップザックと、レンズトラによる固定数の変数または制約による整数線形計画法が結果として得られると思います。 質問： 次元が固定されている場合に多項式時間解決可能になるNPハード問題の他の例は何ですか？ これが当てはまらない問題はありますか？ これは、ナップザックなどのFPTAS /疑似多項式時間アルゴリズムを認める問題の場合に常に当てはまりますか？

7 np-complete  optimization  decision-problem  linear-programming  parameterized-complexity 

多くの一般的な操作はモノイドです。Haskellはこの観察を利用して、多くの高階関数をより一般的なものにしています（Foldable1つの例です）。 モノイドを使用してパフォーマンスを改善できる1つの明白な方法があります。プログラマーは操作の結合性をアサートしているため、操作を並列化できます。 モノイドを扱っていることを知って、コンパイラーがコードを最適化できる他の方法があるかどうか知りたいです。

7 optimization  compilers  category-theory