不確実性を組み込んだカーネル密度推定

12

1次元データを視覚化する場合、カーネル密度推定手法を使用して、不適切に選択されたビン幅を考慮するのが一般的です。

1次元データセットに測定の不確実性がある場合、この情報を組み込む標準的な方法はありますか？

たとえば、KDEは観測のデルタ関数を使用してガウスプロファイルを畳み込みます。このガウスカーネルは各場所で共有されますが、ガウスパラメーターは測定の不確実性に合わせて変更できます。これを実行する標準的な方法はありますか？広いカーネルで不確実な値を反映したいと思っています。 $\sigma$

私はこれを単にPythonで実装しましたが、これを実行するための標準的なメソッドや関数を知りません。この手法に問題はありますか？奇妙な見た目のグラフが得られることに注意してください！例えば

KDE比較

この場合、KDEは低い値（および不確実な値）に過剰な重みを付けますが、低い値はより大きな不確実性を持つため、広く平坦なカーネルを提供する傾向があります。

uncertainty kde kernel-smoothing

— サイモン・ウォーカー
ソース

赤い曲線は可変幅のガウス分布であり、緑の曲線はそれらの合計であると言っていますか？（これはこれらのグラフからもっともらしく見えません。）

— whuber

各観測の測定誤差は何か知っていますか？

— Aksakalはほぼ確実にバイナリ

@whuber赤い曲線は可変幅のガウス分布で、青い曲線はそれらの合計です。緑色の曲線は一定の幅のKDEです。混乱して申し訳ありません

— サイモンウォーカー14

@Aksakalはい、各測定には異なる不確実性があります

— サイモンウォーカー14

副次的な問題ですが、ガウスカーネルを使用するのはカーネル密度推定の定義ではありません。あなたは、いくつかのカーネルは、より賢明なまたは他より有用である任意のは......、1に統合するようにあなたのカーネルを使用することができます

— ニック・コックス

6

幅を変えることは理にかなっていますが、カーネル幅を不確実性に一致させることは必ずしも必要ではありません。

観測値に本質的に不確実性がない（つまり、観測値を正確に近い値で観測できる）確率変数を扱うときは、帯域幅の目的を考慮してください-それでも、kdeは帯域幅が観測の不確実性ではなく、分布の変動性（すなわち、「観測内」の不確実性ではなく、「観測間」の変動）。

あなたが持っているのは、本質的に（「観測の不確実性なし」の場合を超える）追加の変動源であり、観測ごとに異なります。

$\sigma_i$

問題を見る別の方法は、各観測値を小さなカーネルとして処理することです（あなたがしたように、観測値がどこにあったかを表します）が、通常の（kde-）カーネル（通常は固定幅ですが、観測不確実性カーネルを使用する必要はありません）し、結合密度推定を実行します。（実際には、上記で提案した結果と同じ結果だと思います。）

— Glen_b -Reinstate Monica
ソース

2

たとえば、デコンボリューションカーネル密度推定用のローカル帯域幅セレクターは、測定誤差分布がわかっているときに適応ウィンドウKDEを構築しようと試みます。あなたはエラーの分散を知っていると述べたので、このアプローチはあなたのケースに適用できるはずです。汚染サンプルを使用した同様のアプローチに関する別の論文を次に示します。汚染サンプルからのカーネル密度推定におけるブートストラップ帯域幅選択

— Aksakalはほぼ確実にバイナリ
ソース

最初のリンクからms.unimelb.edu.auに移動しますが、これは論文ではありません。link.springer.com/article/10.1007/s11222-011-9247-y

— アディRo

これらのソリューションは素晴らしいですね！これらを実装するコードを知っていますか？

— アディRo

@AdiRo、壊れたリンクを修正しました。私はコードがありません

— Aksakal、ほぼ確実にバイナリ

0

David W. Scott、1992、Wileyによる「多変量密度推定：理論、実践、視覚化」の第6章を参照してください。

単変量の場合（pp 130-131）、帯域幅選択の通常の参照規則を導き出します。

h = (4 / 3)^{1 / 5} σ n^{1 / 5} (6.17)

$h = (4/3)^{1/5}\sigma n^{1/5} \qquad (6.17)$

σ

$\sigma$

n

$n$

h

$h$

σ

$\sigma$

\hat{f} （ バツ ） = \frac{1}{n h} \sum_{私 = 1}^{n} K （ \frac{バツ - {バツ}_{私}}{h} ）

$\hat{f}(x) = \frac{1}{nh} \sum_{i=1}^n K\left(\frac{x-x_i}{h}\right)$

K (\cdot)

$K(\cdot)$

— user29652
ソース

0

実際、あなたが提案した方法は、地球科学で広く使用されている確率密度プロット（PDP）と呼ばれていると思います。https： //www.sciencedirect.com/science/article/pii/S0009254112001878

ただし、上記の論文で述べたような欠点があります。測定されたエラーが小さい場合など、最終的に得られるPDFにスパイクがあります。しかし、KDEのように、@ Glen_b♦が述べたように、PDPをスムーズにすることもできます。

— CyTex
ソース