中心打ち切り正規サンプルの分散の推定

分散を推定するために使用したい小さなサンプル（nは通常10から30）を取得する正規分散プロセスがあります。しかし、サンプルが非常に接近しているため、中心付近の個々のポイントを測定できないことがよくあります。

順序付けられたサンプルを使用して効率的な推定量を構築できるはずであるという漠然とした理解があります。たとえば、サンプルに20のポイントが含まれ、10が中心付近に密集しすぎて個別に測定できない場合、個別の測定があります。 5どちらかの側に、そのようなサンプルを最適に使用するプロセス分散を推定するための標準/公式のアプローチはありますか？

（中心の平均に重みを付けることはできないと思います。たとえば、7つのサンプルが密にクラスター化する一方で、別の3つが非対称に片側に歪んでいる可能性がありますが、十分に近いので、面倒な単一のサンプリングなしではそのことがわかりません。。）

答えが複雑な場合は、私が何を研究すべきかについてのヒントをいただければ幸いです。たとえば、これは注文統計の問題ですか？公式な答えがある可能性はありますか、またはこれは計算上の問題ですか？

更新された詳細：アプリケーションは射撃ターゲットの分析です。単一の基礎となるサンプルは、ターゲットへの単一ショットの影響点（x、y）です。基になるプロセスには対称的な2変量正規分布がありますが、軸間に相関関係がないため、{ x }と{ y }のサンプルを同じ正規分布から独立した描画として扱うことができます。（小規模のためにこれ、我々はまた、基本的なプロセスがレイリー分布していると言うことができるが、我々は、プロセスの「真の」中心の座標を特定することはできませんので、我々は、レイリー変量サンプルを測定することはできませんnは大幅にすることができサンプルの中心から離れている（、）） $\bar{x}$ $\bar{y}$

ターゲットとそれに発砲されたショットの数が与えられます。問題は、n >> 3の場合、正確な銃は通常、異なるショットに囲まれた「不規則な穴」を撃つことです。穴のx-とy-の幅を観察できますが、穴のどこに明確でないショットが影響したかはわかりません。

次に、より問題の多いターゲットの例をいくつか示します。

[n = 10のサンプルターゲット]

n = 100のサンプルターゲット

（確かに、理想的な世界では、ショットごとにターゲットを変更/切り替えてから、サンプルを分析のために集約します。多くの場合、非現実的ですが、可能な場合に行われます）。

コメントでのWHuberの説明に続く次の注意事項：ショットは、均一で既知の直径のターゲット穴を生成します。ショットが「不規則なグループ」の外にある場合、発射体の半径がわかっているため、正確な中心測定できます。各「不揃いのグループ」では、いくつかの周辺の「ボール」を識別し、既知の発射体の半径に基づいて、これらの外側のショットの正確な中心をマークすることができます。これは、「不規則なグループ」の内部のどこかでのみ影響を受けていることがわかっている残りの「中央検閲」ショットです（通常、ターゲットごとに1つです）。 $x_i$

解決を容易にするために、これを法線から1次元のサンプルのセットに減らすことが最も簡単であると考えます。幅がw > dの中心間隔で、dは発射体の直径で、c < nの「打ち切られた」サンプルを含みます。

normal-distribution estimation rayleigh

— フィートウェット
ソース

（1）正規分布は仮定ですか、それともそれを裏付ける良い証拠がありますか？（2）中央付近のデータを正確にカウントできないという問題はありませんか？（これは、「打ち切り」の通常の意味とは異なります。つまり、それらのデータをカウントすることはできますが、それらの値が特定の間隔内にあることがわかっているだけです。）

— whuber

@whuber：はい、プロセスが通常分散している根本的および経験的証拠の両方があります。そして、はい、グループ全体の正確なポイント数がわかっているので、サンプルが多すぎて個々の値を決定できない間隔を観察できます。

— 2013年

ありがとう、それは役に立ちます。ただし、不確実性の性質は依然として不明であり、そのための優れたモデルは優れたソリューションの動機となります。イラストや例を提供したり、少なくとも測定プロセスをもう少し詳しく説明してもらえますか？

— whuber

@whuber：更新されました。それが役立つ場合は、実際のサンプルへのリンクを投稿することにも取り組みます。

— 2013年

非常に興味深い問題です。良い解決策を導き出すには、いくつかの創造的な考えが必要だと思います。各ショットの中心 2変量正規分布のiidサンプルとして検討していると言ってもよいでしょうか。を見積もりたい; しかし、いくつかの不正確さを伴って、観察できるのは（は各発射体の既知の共通半径であり、は周りの半径のボールです）？

x_{i},

$x_i,$

(μ, σ^{2})

$(\mu, \sigma^2)$

σ

$\sigma$

\cup_{i} B (x_{i}, r)

$\cup_i B(x_i, r)$

r

$r$

B (x, r)

$B(x,r)$

r

$r$

x

$x$

— whuber

回答:

それは興味深い問題です。まず、正規分布を仮定しません。あなたが本当に探しているのは、多くの異なる射手や銃、弾薬などにかなり当てはまる分散の推定です。

私はこれを逆にしようと思います。（10発のショットを想定して）10個の個別の穴が表示されない限り、すべての弾丸がどこに移動したか正確にはわかりません。しかし、あなたは彼らがどこへ行かなかったかを知っています。これは、分布から始めたい場合に、ベイジアン統計を仮定して分布を制約するために使用できます。

ここで最も良いかもしれないアイデアは、数学的にやろうとするのをやめて、このような賢明なことをすることです。ターゲットを取得し、画像処理ルーチンを実行して、接続されていない可能性のあるエリア全体にショットをマークします。この平均と二次モーメントを測定し、これらを推定に使用します。もう少し進んでガウス正規化したい場合は、簡単なモンテカルロ実験を実行して、校正係数を取得できます。

— デイブ31415
ソース

もう少し説明させてください。10発のショットがあり、弾丸がどこに飛んだかわかっている6つのクリアな穴があるとします。まずこれらの点を取り、それらを使用してガウス幅を制約します。通常のルーチンに従って、これはガウスシグマ

— 〜murphyk / Papers /

さて、それを行ったら、新しい穴を開けなかった4つの弾丸を検討します。弾丸は独立しているので、この新しい可能性（ガウスシグマ上）は単純に乗算できます。したがって、基本的に4つの弾丸のそれぞれについて、それらが新しい穴を開けない確率を掛けます。

— Dave31415 14年

モンテカルロでこれを行う簡単な方法は、制約された分布からシグマのセットを描画し、このシグマを使用して、新しい穴を開けない確率を計算することです。したがって、これから多くのシミュレートされたショットを描き、どの部分が新しい穴を開けないか数えます。これを使用して、可能性を更新できます。次に、次のものに移動し、同じことを行います。これで最終的な可能性があります。

— Dave31415 14年

最後のコメント。実用的な観点から見ると、シグマの見積もりは、目に見えない弾丸が以前の穴を通過したと想定している限り、正確にどこに移動したかによって実際にはそれほど影響を受けません。ほとんどの場合、エッジを定義するものによって制約されます。これは、弾丸が中心から遠い穴を2回通過する可能性が非常に低いためです。したがって、粗いモンテカルロであっても、最適な推定量に非常に近くなります。

— Dave31415 14年

正規（またはその他の）分布を主張しない場合、検閲された領域で何が起こっているかについて上限または下限を設定する以上のことを言うことはできそうにありません。nショットが打ち切られた1次元の場合、分散の下限は、それらがすべて平均に最も近い同じ内部ポイントにぶつかると想定し、（平均が内部の中央にあると仮定して）上限は打ち切り点が内部の周辺に均等に分布していると仮定します。しかし、基礎となるプロセスが正常であると想定すると、もっと良いことができるはずです。

— フィートウェット14年

別の視点から見ると、これは空間統計の分野に照らして見ることができ、さまざまなメトリックが作成され、その多くがツールボックスに配置されています（たとえば、https：//www.google.comを参照）。 /url?sa=t&source=web&rct=j&ei=SG31U5j4BormsASc5IHgCw&url=http://resources.arcgis.com/en/help/main/10.1/005p/005p00000002000000.htm&cd=13&ved=0CE4QFjAM&usg=AFQjCNFw9AkAa-wo1rgNmx53eclQEIT1pA&sig2=PN4D5e6tyN65fLWhwIFOYA）。

ウィキペディア（リンク：http : //en.m.wikipedia.org/wiki/Spatial_descriptive_statistics）には、実際には、空間中心傾向や空間分散の測定などの概念を説明する優れた紹介ページがあります。後者についてウィキペディアを引用するには：

「ほとんどのアプリケーションでは、空間分散は回転と反射に不変な方法で定量化する必要があります。ポイントセットの空間分散のいくつかの簡単な測定は、ポイントの座標の共分散行列を使用して定義できます。トレース、行列式、および共分散行列の最大固有値を空間分散の尺度として使用できます。共分散行列に基づいていない空間分散の尺度は、最近傍間の平均距離です。[1] "

関連する概念には、空間的均一性の測定、リプリーのKおよびL関数が含まれ、おそらく弾丸クラスターの分析、クラスター化された集団内のサブ集団のクラスター化に関するCuzick-Edwards検定に最も関連があります。後者のテストは、（「最近傍」分析を使用して統計を表にした）対照母集団との比較に基づいています。現在のコンテキストでは、クラスタリングを表示しないと分類された実際の観測ターゲットに基づいているか、または理論的シミュレーションに従って、レイリー分布を言う。

— AJKOER
ソース