確率的コンピューターモデルの最適化

検索で「optimization and stochastic」という単語を使用すると、ほとんどの場合、デフォルトで確率的最適化が検索されるため、これはGoogleにとって難しいトピックです。しかし、私が本当に知りたいのは、コンピュータモデルの出力が確率論的、つまり決定論的ではない場合に、コンピュータモデルを最適化するためにどのような方法があるかです。

たとえば、コンピュータモデルの出力を表す未知の関数が存在するコンピュータモデルを考えた場合、次のような問題を解決するための多くの統計的方法が存在します。$f(x)$

$$\begin{align*} \min&\,\,\,\, f(x)\\ x&\in\mathcal{X} \end{align*}$$

場合$f(x)$決定的です。しかし、$f(x)$が確率的である場合はどうなりますか？問題の解決策はありますか、またはせいぜい私たちは解決することしかできません

$$\begin{align*} \min&\,\,\,\, \mathbb{E}[f(x)]\\ x&\in\mathcal{X} \end{align*}$$

ここで、$\mathbb{E}(\cdot)$は通常の期待演算子です。

（私のコメントを適切な答えに拡大します）

私が述べたように、それはあなたの目標次第です。

期待値は、最適化ターゲットの多くの可能な選択肢の1つにすぎません。たとえば、が正規分布であると仮定すると、次のようにできます。f （x $\mathbb{E}[f(x)]$$f(x)$

κ∈Rκ>0κ

$$x^\text{opt} = \arg \min_x \left\{ \mathbb{E}[f(x)] + \kappa \sqrt{\mathbb{Var}[f(x)]} \right\}$$ ためリスク感度を操作するいくつかの。もしあなたが探している堅牢最高と意欲大きな正の変動である可能性が高いソリューションを提供します。逆に、負のは、大きな負の変動を探す "楽観的"な最適化を優先します（最小化しているため、負の値が適切です）。正規分布の分位に基づいてを選択できます（下の参考2を参照）。$\kappa \in \mathbb{R}$$\kappa > 0$$\kappa$$\kappa$

一般に、ベイジアン最適化（BO、これはガウス過程とクリギングに関連しています）は、コストが高く、ノイズの多い関数評価を扱います。文献の焦点のほとんどは前者に向けられていますが。この質問でベイジアン最適化のレビューを見つけることができます。

何人かの人々がノイズの多い機能にBOを適用しました。このトピックの紹介として、David Ginsbourgerがワークショップ「グローバル最適化のためのガウスプロセスに関するワークショップ（2015年9月17日、シェフィールド）」で、「期待される改善に関するバリエーション」という素晴らしい講演を行いました。彼の講演はここで見つけることができ、すべての講演はこのページで入手できます（BOの優れた一般的な紹介として、他のすべての講演もお勧めします）。

参考として、Ginsbourgerと同僚、およびGramacyと同僚が行った作業から始めます。

1. Picheny、V.およびGinsbourger、D.、2014。「ノイズの多いクリギングベースの最適化手法：DiceOptimパッケージ内の統合された実装」。計算統計とデータ分析、71、pp.1035-1053。（リンク）

2. Picheny、V.、Ginsbourger、D.、Richet、Y。およびCaplin、G.、2013。テクノメトリクス、55（1）、2-13ページ。（リンク）

3. Gramacy、RB and Lee、HK、2012。「コンピュータモデリングへの応用を伴うベイジアンツリー化ガウスプロセスモデル」。アメリカ統計協会誌。（リンク）

4. Gramacy、RBおよびApley、DW、2015。「大規模なコンピュータ実験のためのローカルガウスプロセス近似」。Journal of Computational and Graphical Statistics、24（2）、pp.561-578。（リンク）

GinsburgerとGramacyの両方に、それぞれDiceOptimとtgpの BOメソッドを実装するRパッケージがあります。

現在の回答は、確率的最適化ターゲットの適切な（数学的）定義に焦点を当てています-もう少し応用的な視点を提供したいと思います。

この問題は、非公式または合成の可能性などを使用して確率モデルを近似するときに頻繁に発生します。リファレンス（1）は、確率モデルとデータの間の距離を定義するために使用できるオプションのリストを提供します。

この方法でターゲットを定義した後、残っている問題は、ノイズの多いターゲットの平均の最適値を見つけることです。2つの方法があります。a）最適化、b）MCMCサンプリングです。特に最適化について質問していましたが、MCMCはこのタスクに適していることが多いため、MCMCを持ち込みたいと思います。

a）最適化を続ける場合は、行き詰まらないようにし、オプティマイザが確率論的ターゲットを処理できることを確認する必要があります。Matteo Fasioloの博士論文の第4章は、いくつかのヒントを与えます（2）を参照してください。

b）（1）で述べたように、MCMCは一般に確率的ターゲットに対してより堅牢です-ノイズの分布に関する穏やかな条件下では、MCMCはノイズを平均化し、サンプリングされたターゲットはノイズのないものと区別がつきませんノイズの多いターゲットの平均値を持つターゲット。ただし、MCMCも特に優れた評価に遭遇するとスタックする可能性があります。今してはいけないことは、次の「明白な」アイデアを得ていることです。MCMCの各反復で現在の値と提案された値の両方を単純に計算します。ここで検索するキーワードは「疑似限界」です。こことここも参照してください。

1）ハーティグ、F。カラブレーゼ、JM; Reineking、B。Wiegand、T.＆Huth、A.（2011）確率論的シミュレーションモデルの統計的推論-理論と応用。Ecol。Lett。、14、816-827。

2）Fasiolo、M.（2016）Statistical Methods for Complex Population Dynamics。バース大学

とように、離散確率空間にいるとします。直感的に、最適化できるように、関数が必要です。最適化できるのは1つの目標のみです。 U ：R N → R U （F （X ）$f(x) \in \mathcal{R}^n$$U: \mathcal{R}^n \rightarrow \mathcal{R}$$U(f(x))$

単一の目的関数を最適化することは、かなり制約に聞こえるかもしれませんが、そうではありません！むしろ、単一の目的が、より良いまたはより悪いソリューションであるものに関してあなたが持つかもしれない信じられないほど多様な好みを表すことができます。

先にスキップして、開始する簡単な場所は、ランダム変数選択して解決することです。$\lambda$

E[F（X）

$$\begin{array}{*2{>{\displaystyle}r}} \mbox{minimize (over $x$)} & E\left[\lambda f(x) \right] \\ \mbox{subject to} & x \in X \end{array}$$ これは、単純な線形再重み付けです。とにかく、ここで、複数の目的を単一の目的に縮小することが通常は問題ない理由についての議論があります。$E[f(x)]$

基本的なセットアップ：

• 選択変数と実行可能なセットます。$x$$X$
• 選択はランダムな結果を導きます〜Y = F （X $x$$\tilde{y} = f(x)$
• あなたは持っている合理的な好み ランダムな結果オーバー。（基本的に、あるランダムな結果を別のものよりも好むかどうかを言うことができます。）〜$\prec$$\tilde{y}$

あなたの問題はを選択することです：$x^*\in X$

、X * X F （X *

$$\nexists_{x \in X} \quad f(x^*) \prec f(x)$$ 英語では、を選択して、実行可能な選択がよりも好ましい結果にないようにします。$x^*$$x$$f(x^*)$

実用性を最大化することとの同等性（特定の技術的条件下で）

技術を簡単にするために、結果を持つ離散確率空間にいるとしましょう。ランダムな結果をベクトルます。$n$ Y∈R$\tilde{y}$$\mathbf{y} \in \mathcal{R}^n$

特定の技術的条件（実際的な意味での制限ではない）では、上記の問題は効用関数を最大化することと同等です。（効用関数は、より好ましい結果に高い数値を割り当てます。）$U(\mathbf{y})$

このロジックは、選択が複数の結果変数につながるすべての問題に適用されます。

$$\begin{array}{*2{>{\displaystyle}r}} \mbox{maximize (over $x$)} & U(f(x)) \\ \mbox{subject to} & x \in X \end{array}$$

ユーティリティ関数により多くの構造を与える：期待されるユーティリティ仮説：$U$

確率的な設定にあり、ノイマン・モルガーンスターンの公理を受け入れる場合、全体的な効用関数は特別な形を取る必要があります。$U$

p i i u u

$$U(\mathbf{y}) = E[u(y_i)] = \sum_i p_i u(y_i)$$ ここで、は状態の確率、は凹型効用関数です。の曲率はリスク回避を測定します。この特殊な形式の置き換えるだけで、次の結果が得られます。$p_i$$i$$u$$u$$U$

$$\begin{array}{*2{>{\displaystyle}r}} \mbox{maximize (over $x$)} & \sum_i p_i u(y_i) \\ \mbox{subject to} & x \in X \\ & \mathbf{y} = f(x) \end{array}$$

単純なケースが期待値を最大化している（つまり、リスク回避がないください。$u(y_i) = y_i$

別のアプローチ：重み$\lambda$

もう1つのことは、次のとおりです。

$$\begin{array}{*2{>{\displaystyle}r}} \mbox{maximize (over $x$)} & \sum_i \lambda_i y_i \\ \mbox{subject to} & x \in X \\ & \mathbf{y} = f(x) \end{array}$$

直観的に、状態の発生確率よりも大きいまたは小さい重みを選択できます。これにより、状態の重要性がわかります。のp $\lambda_i$$p_i$

このアプローチのより深い正当化は、特定の技術的条件下で、上記の問題と以前の問題（たとえば、最大化）が同じ解を持つようなラムダの重みが存在することです。U （F （X ）$\boldsymbol{\lambda}$$U(f(x))$