素人の言葉でParzenウィンドウ（カーネル）密度推定を説明できますか？

24

Parzenウィンドウ密度の推定は次のように記述されます。

p (x) = \frac{1}{n} \sum_{i = 1}^{n} \frac{1}{h^{2}} ϕ (\frac{x_{i} - x}{h})

$p(x)=\frac{1}{n}\sum_{i=1}^{n} \frac{1}{h^2} \phi \left(\frac{x_i - x}{h} \right)$

ここで、ベクトルの要素数であり、ベクトルであり、確率密度であり、パルゼンウィンドウの寸法であり、窓関数です。 $n$ $x$ $p(x)$ $x$ $h$ $\phi$

私の質問は：

Parzenウィンドウ関数とガウス関数などの他の密度関数の基本的な違いは何ですか？
の密度を見つける際のウィンドウ関数（）の役割は何ですか？ $\phi$ $x$
ウィンドウ関数の代わりに他の密度関数をプラグインできるのはなぜですか？
の密度を見つける際のの役割は何ですか？ $h$ $x$

— user366312
ソース

44

Parzenウィンドウ密度推定は、カーネル密度推定の別名です。これは、データから連続密度関数を推定するためのノンパラメトリックな方法です。

一般的な未知の、おそらく連続的な分布からのデータポイントがあると想像してください。与えられたデータから分布を推定することに興味があります。できることの1つは、経験的な分布を見て、それを真の分布と同等のサンプルとして扱うことです。ただし、データが連続している場合は、おそらく各が表示されます $x_1,\dots,x_n$ $f$ $x_i$ ポイントはデータセットに一度しか現れないため、これに基づいて、各値の確率は等しいため、データは均一な分布に由来すると結論付けます。うまくいけば、これよりもうまくいくことができます：いくつかの等間隔の間隔でデータをパックし、各間隔に入る値を数えることができます。この方法は、ヒストグラムの推定に基づいています。残念ながら、ヒストグラムを使用すると、連続的な分布ではなく、いくつかのビンになります。したがって、これは大まかな近似にすぎません。

カーネル密度の推定は3番目の選択肢です。主なアイデアは、カーネルと呼ばれる連続分布混合（表記を使用）でを近似し、ポイントを中心とし、スケール（帯域幅）が等しいことです。 $f$ $K$ $\phi$ $x_i$ $h$

\hat{f_{h}} (x) = \frac{1}{n h} \sum_{i = 1}^{n} K (\frac{x - x_{i}}{h})

$\hat{f_h}(x) = \frac{1}{nh} \sum_{i=1}^n K\Big(\frac{x-x_i}{h}\Big)$

これを下の図に示します。ここでは、正規分布がカーネルとして使用され、帯域幅異なる値が7つのデータポイント（プロットの上部のカラフルな線でマーク）の分布を推定するために使用されます。プロット上のカラフルな密度は、ポイントを中心とするカーネルです。ことに注意してくださいある相対的なパラメータは、それの値は常に、あなたのデータに応じて選択されるとの同じ値異なるデータセットに対しても同様の結果が得られない場合があります。 $K$ $h$ $x_i$ $h$ $h$

カーネルは確率密度関数と見なすことができ、1つに統合する必要があります。また、あり、その後にゼロを中心とするように対称である必要があります。カーネルに関するウィキペディアの記事には、ガウス分布（正規分布）、エパネチニコフ、長方形（均一分布）など、多くの人気のあるカーネルがリストされています。基本的に、これらの要件を満たす分布はすべてカーネルとして使用できます。 $K$ $K(x) = K(-x)$

明らかに、最終的な見積もりは、カーネルの選択（ただし、それほどではありません）および帯域幅パラメーター $h$ 依存します。次のスレッドカーネル密度推定で帯域幅値を解釈する方法は？帯域幅パラメーターの使用法について詳しく説明します。

これをわかりやすい英語で言うと、ここで想定しているのは、観測ポイント $x_i$ は単なるサンプルであり、推定される分布 $f$ に従うということです。分布は連続的であるため、 $x_i$ ポイントの近傍付近に未知であるがゼロではない密度があると想定し（近傍はパラメーター $h$ によって定義されます）、カーネル $K$ を使用してそれを考慮します。近隣にあるポイントが多いほど、この領域の周囲に密度が蓄積されるため、 $\hat{f_h}$ 全体的な密度が高くなります。結果として得られる関数 $\hat{f_h}$ は、ポイント $x$ （添え字なし）で密度推定を取得します。これは、未知の密度関数近似である関数 $\hat{f_h}(x)$ を取得する方法です。 $f(x)$

カーネル密度の良いところは、ヒストグラムのように連続関数ではなく、有効な確率密度が混在しているため、有効な確率密度であることです。多くの場合、これは $f$ 近似に近づくことができます。

正規分布としてのカーネル密度と他の密度の違いは、「通常の」密度は数学関数であり、カーネル密度はデータを使用して推定される真の密度の近似値であり、「スタンドアロン」分布ではないことです。

Silverman（1986）とWand and Jones（1995）によるこの主題に関する2つの素晴らしい入門書をお勧めします。

シルバーマン、BW（1986）。統計およびデータ分析のための密度推定。CRC /チャップマン＆ホール。

ワンド、MPおよびジョーンズ、MC（1995）。カーネル平滑化。ロンドン：チャップマン＆ホール/ CRC。

— ティム
ソース

x

$x$

x_{i}

$x_i$

x

$x$

1

@anonymous「平易な英語でこれを言って...」段落の最後にコメントで質問を参照する編集を追加しました。

— ティム

4

$\phi$

$x$ $\phi_h(x_i - x)$ $x$ $x_1=1$ $x_2 = 2$ $\sigma=1$ $\phi_h$ $x$ $\frac{\mathcal{N}_{1, 1}(x) + \mathcal{N}_{2, 1}(x)}{2}$

3）任意の密度関数をウィンドウ関数としてプラグインできます。

$h$

— デビッド・J・ハリス
ソース