モンテカルロシミュレーション推定の精度を見つける

バックグラウンド

私は一連のモデルの出力を組み合わせたモンテカルロシミュレーションを設計しています。シミュレーションにより、シミュレーション結果の確率とその確率推定の精度について合理的な主張ができることを確認したいと思います。

シミュレーションは、特定のコミュニティから選ばれたju審員が特定の被告に有罪判決を下す可能性を見つけます。シミュレーションの手順は次のとおりです。

1. 既存のデータを使用して、人口統計的予測因子で「審査員第一投票」を回帰することにより、ロジスティック確率モデル（M）を生成します。

2. モンテカルロ法を使用して、Mの 1,000バージョン（つまり、モデルパラメーターの係数の1000バージョン）をシミュレートします。

3. モデルの1,000バージョン（M _i）のいずれかを選択します。

4. 特定の人口統計学的特性分布を持つ個人の「コミュニティ」（C）から12の「ju審員」の1,000セットをランダムに選択することにより、1,000人の審査員を審査します。

5. M _iを使用して、各審査員の最初の投票有罪投票の確率を決定論的に計算します。

6. 各「ju審員」の可能性のある票を、（0-1の間でランダムに選択された値よりも大きいか小さいかに基づいて）確定票にレンダリングします。

7. 最初の投票で有罪判決を下すju審員の割合を条件に、ju審が有罪となる確率のモデル（経験的データから導出）を使用して、各「 "審員」「最終投票」を決定します。

8. 1000人のju審員に対する有罪判決の割合（PG _i）を保存します。

9. Mの 1,000のシミュレートされたバージョンのそれぞれについて、手順3〜8を繰り返します。

10. PGの平均値を計算し、それをCでの確信の確率のポイント推定値として報告し  ます。

11. PGの2.5および97.5パーセンタイル値を特定し、0.95信頼区間として報告します。

現在、確率分布（Cの人口統計学的特性またはMのバージョン）から1,000のランダム抽選がその分布を埋めるという理論で、1,000人のju審員と1,000人のju審員を使用しています。

ご質問

これにより、見積もりの​​精度を正確に判断できますか？もしそうなら、Cの確率分布をカバーするために、各PG _i計算に何人の審査員を入れる必要があります（したがって、選択バイアスを回避します）。1,000未満しか使用できませんか？

助けてくれてありがとう！

モンテカルロの良さには、収束という一般的な「宇宙内」の基準が1つあります。

1つのMに固執し、PGがju審の数でどのように動作するかを確認してください-それは収束するはずですので、合理的な（あなたのアプリケーションのための）有効数字の数になる繰り返しを表示します。他の少数のMに対してこのベンチマークを繰り返して、Mの選択がうまくいかなかったことを確認してから、シミュレーション全体に進みます。

ここでの問題は、モデルが複雑すぎて、モンテカルロシミュレーションを使用せずに見ることができないかどうかであるように思えます。

モデルがすべて比較的単純な場合は、モデルを複数回再実行することなく、従来の統計を介してモデルを調べ、質問に対する解決策を導き出すことができるはずです。これはやや複雑すぎますが、モデルがすべて正規分布に基づいてポイントを生成することであれば、探している答えの種類を簡単に導き出すことができます。もちろん、モデルがこれほど単純な場合は、モンテカルロシミュレーションを実行して答えを見つける必要はほとんどありません。

問題が複雑で、より基本的なものに分解できない場合、モンテカルロは使用するのに適したタイプのモデルですが、モデルを実行せずに信頼限界を定義する方法はないと思います。最終的に、記述されたタイプの信頼限界を取得するには、モデルを何度も実行する必要があり、確率分布を出力に適合させる必要があり、そこから信頼限界を定義できます。モンテカルロシミュレーションの課題の1つは、モデルが中程度の分布に対して適切で規則的な答えを与えるが、多くの場合、テールはより可変的な結果を与えることであり、最終的には、出力の形状を2.5％ 97.5％パーセンタイル。