ラテン超立方体サンプリングは、多次元で有効ですか？

私は現在、ラテンハイパーキューブサンプリング（LHS）を使用して、モンテカルロプロシージャ用の適切な間隔の均一な乱数を生成しています。LHSから得られる分散の減少は1次元では優れていますが、2次元以上では効果がないようです。LHSがよく知られている分散削減手法であることを見て、アルゴリズムを誤って解釈しているのか、それとも何らかの方法でそれを誤用しているのかと思います。

特に、私が生成に使用するLHSアルゴリズム $N$ 等間隔のランダム変数 $D$ 寸法は：

• 各次元について $D$のセットを生成します $N$ 一様に分布した乱数 $\{u^1_D,u^2_D...u^N_D\}$ そのような $u^1_D \in [0,\frac{1}{N+1}]$、 $u^2_D \in [\frac{1}{N+1}, \frac{2}{N+1}]$ ... $u^N_D \in [\frac{N}{N+1}, 1]$

• 各次元について $D \geq 2$、各セットの要素をランダムに並べ替えます。最初$U(0,1)^D$ LHSによって生成された $D$ 並べ替えられた各セットの最初の要素を含む次元ベクトル、2番目の要素 $U(0,1)^D$ LHSによって生成された $D$ 並べ替えられた各セットの2番目の要素を含む次元ベクトルなど

以下にいくつかのプロットを含めて、得られた分散の減少を示します $D = 1$ そして $D = 2$モンテカルロ手順の場合。この場合、問題はコスト関数の期待値を推定することを含みます$E[c(x)]$ どこ $c(x) = \phi(x)$、および $x$ は $D$の間に分散された3次元確率変数 $[-5,5]$。特に、プロットは、100サンプルの推定値の平均と標準偏差を示します。$E[c(x)]$ サンプルサイズが1000から10000の場合。

独自の実装を使用するかlhsdesign、MATLABで関数を使用するかに関係なく、同じタイプの分散削減結果が得られます。また、以下に対応するものだけではなく、すべての乱数のセットを並べ替えても、分散の減少は変わりません。$D \geq 2$。

層別サンプリング以降の結果は理にかなっています $D = 2$ からサンプリングする必要があることを意味します $N^2$ 代わりに正方形 $N$ 十分に広がることが保証されている正方形。

あなたの投稿で説明されている問題を、以下の3つの質問に分けました。この本の章は、ラテンハイパーキューブサンプリングおよびその他の分散低減技術の結果の優れたリファレンスです。また、この本の章では、分散削減の「基本」のいくつかについての情報を提供します。

Q0。分散減少とは何ですか？詳細に入る前に、「分散の減少」が実際に意味することを思い出しておくと役に立ちます。「基本」の本の章で説明されているように、モンテカルロ手順に関連する誤差分散は、通常、次の形式です。$\sigma^2/n$IIDサンプリングの下。エラーの分散を減らすには、サンプルサイズを大きくするか、$n$ または削減する方法を見つける $\sigma$。分散の減少は、減少の方法に関係しています$\sigma$、したがって、そのようなメソッドは、エラー分散が次のように変化する方法に影響を与えない可能性があります $n$ 不定。

Q1。Latin Hypercube Samplingは正しく実装されていますか？ あなたの書いた説明は私には正しいようで、本の章の説明と一致しています。私の唯一のコメントは、 $u^i_D$変数は単位間隔全体を埋めているようには見えません。実際に必要なようです$u^i_D \in [\frac{i-1}{N}, \frac{i}{N}]$が、うまくいけば、このエラーが実装に忍び込むことはありませんでした。いずれにせよ、両方の実装で同様の結果が得られたという事実は、実装が正しい可能性が高いことを示唆しています。

Q2。あなたの結果は、LHSから期待できるものと一致していますか？本の章の命題10.4は、LHS分散がIIDサンプリングから得られた分散よりも（はるかに）悪くなることは決してないと述べています。多くの場合、LHSの分散はIIDの分散よりもはるかに小さくなります。より正確には、命題10.1は、LHSの推定値について、$\hat{\mu}_{LHS}=\frac{1}{n} \sum_{i=1}^n f(X_i)$、 我々は持っています

$$\mathrm{Var}(\hat{\mu}_{LHS})=n^{-1}\int e(x)^2dx+o(n^{-1})$$ どこ $e(x)$ 関数の「加法性からの残差」 $f$ すなわち $f$ 最良の加法近似を差し引いたもの（詳細については、本の章のp.10を参照） $f$ 書くことができれば加法的です $f(x)=\mu+\sum_{j=1}^D f_j (x_j)$）。

ために $D=1$、すべての関数は加算的であるため $e=0$ そして $\mathrm{Var}(\hat{\mu}_{LHS})=o(n^{-1})$命題10.1から 実際、$D=1$ LHSはグリッドベースの層別化（本の章のセクション10.1）に相当するため、分散は実際には $O(n^{-3})$ （本の章の方程式10.2。 $f$継続的に微分可能です）。これは最初のグラフと矛盾していないようです。要点は$D=1$ 非常に特殊なケースです！

ために $D=2$、その可能性が高いです $e\neq 0$ したがって、順序の変動が予想される場合があります $O(n^{-1})$。繰り返しますが、これは2番目のグラフと矛盾しません。（IIDサンプリングと比較して）達成される実際の分散減少は、選択した関数が加法性にどれだけ近いかに依存します。

要約すると、LHSは低次元から中程度の次元で、特に加法関数によって十分に近似された関数に対して効果的です。

http://statweb.stanford.edu/~owen/mc/Ch-var-adv.pdf

このホワイトペーパーでは、多次元でのラテンハイパーキューブサンプリングの分散削減について説明します。LHSは、各次元で個別にサンプリングし、次に次元をランダムに結合するだけなので、複数の次元でサンプリングするときに均一性を適用しません。あなたが言及するN ²ビンの層別サンプリングは、ウィキペディアのページで説明されているように、直交サンプリングとも呼ばれます：https : //en.wikipedia.org/wiki/Latin_hypercube_samplingそして、より多くの代わりにすべての次元を組み合わせます。

このスタイルのサンプリングにいくつかの微調整を^加えると、エラー分散はO（N ^{-1-2 / d}）（上記参照）であることが示されます。これにより、小さな次元で大きな利益が得られますが、大きな次元では、通常のモンテカルロのパフォーマンスに低下し始めます。

「加法性」についてコメントしたい。LHSは、たとえばX1とX2が（通常（0,1）で）よく分散されるようにします。したがって、設計が1つの変数のみに依存している場合、「完全な」ヒストグラムと強い分散減少が得られます。f = 100 * X1 + X2の統合では、良い結果が得られますが、X1-X2では得られません。この違いはほぼiidのランダム分布であり、LHS特性はありません。電子工学では、設計はしばしば2つのパラメーターの影響がほとんど相互に打ち消し合うことを利用します（差動ペア、カレントミラー、レプリカ回路など）が、不一致X1-X2の影響は依然として存在し、多くの場合支配的です。したがって、LHS MC分析は、多くの電気設計でrnd MCよりも優れた動作をしません。