可変カーネル幅がカーネル回帰に適している場合が多いのに、一般的にカーネル密度の推定に適さないのはなぜですか？

可変カーネルは、ローカル回帰でよく使用されます。たとえば、黄土は広く使用されており、回帰スムーザーとして機能し、データのスパース性に適応する可変幅のカーネルに基づいています。

一方、変数カーネルは通常、カーネル密度推定の推定量が不十分になると考えられています（Terrell and Scott、1992を参照）。

密度推定ではなく回帰ではうまく機能するという直感的な理由はありますか？

「一方で、変数カーネルはカーネル密度推定の推定量が不十分であると通常考えられている」と書いていますが、あなたが言及している論文の中であなたが信じている部分は何ですか？他の選択に関する参考文献がたくさんあります。たとえば、このペーパーで言及されている参考文献を参照してください。arxiv.org/ PS_cache

— ロビンギラード

テレルとスコットの要約は、「すべてのバージョンの最も近い隣接推定量は、1次元と2次元でパフォーマンスが低い」とうまくまとめています。彼らは多変量密度推定で多くの利点を見つけるようです。

— ロブハインドマン

「最近傍」が唯一の可変カーネルではありません。私が言及した論文は、レプスキーのアルゴリズムなどの他のツールを使用しています。AOSの論文を読みますが、次元によって最近傍のパフォーマンスが低下するはずなので、次元を増やすと「非常にノンパラメトリック」な推定量に利点があることがわかりました（一定の帯域幅がノンパラメトリックであると認めた場合、さまざまな帯域幅）。この種の状況では、頻繁に使用された評価場合は...結果を決定

— ロビンはジラール

@Robin Girard：> *次元を増やすと「非常にノンパラメトリックな」推定量に利点があることがわかりました（一定の帯域幅が帯域幅を変化させるよりもノンパラメトリックであると認める場合）*この文には誤字がありますか？そうでなければ、少なくとも直感的なレベルでは、著者に同意するようです。確認/修正していただきありがとうございます。

— user603

@kwakに感謝します！これはタイプミスです。私は私のコメント:(そのことについて申し訳ありませんを変更することはできません...一定の帯域幅が少ないNPで言いたかった

— ロビンはジラール

回答:

ここには2つの異なる質問があるようです。それらを分割してみます。

1）KS、カーネル平滑化、KDE、カーネル密度推定との違いは何ですか？まあ、私は推定器/スムーザー/補間器を持っていると言います

est( xi, fi -> gridj, estj )

また、xiで「実際の」densityf（）を知ることもあります。次に、実行 est( x, densityf ) するとdensityf（）の推定値、KDEが得られます。KSとKDEの評価は異なる場合があります（異なる平滑化基準、異なる基準）が、根本的な違いは見当たりません。私は何が欠けていますか？

2）次元は推定または平滑化に直感的にどのように影響しますか？直感を助けるために、おもちゃの例を示します。均一なグリッド内のN = 10000ポイントのボックスと、その中のW = 64ポイントのウィンドウ、ライン、正方形、またはキューブを考えてみましょう。

                1d          2d          3d          4d
---------------------------------------------------------------
data            10000       100x100     22x22x22    10x10x10x10
side            10000       100         22          10
window          64          8x8         4x4x4       2.8^4
side ratio      .64 %       8 %         19 %        28 %
dist to win     5000        47          13          7

ここで、「サイド比」はウィンドウ側/ボックス側であり、「勝つまでの距離」は、ランダムに配置されたウィンドウまでのボックス内のランダムポイントの平均距離の概算です。

これはまったく意味がありますか？（画像またはアプレットが本当に役立ちます：誰ですか？）

固定サイズのボックス内の固定サイズのウィンドウは、1d 2d 3d 4dのボックスの残りの部分と非常に異なる近さを持つという考え方です。これは均一なグリッド用です。次元への強い依存が他の分布に引き継がれるかもしれませんが、そうではないかもしれません。とにかく、それは強い一般的な効果、次元の呪いの側面のように見えます。

— デニス
ソース

カーネル密度推定とは、ローカル（ファジー）ウィンドウでの統合を意味し、カーネル平滑化とは、ローカル（ファジー）ウィンドウでの平均化を意味します。

カーネル平滑化：。 $\tilde y(x) \propto \frac 1 {\rho(x)} \sum K(||x-x_i||)\,y_i$

カーネル密度推定：。 $\rho(x) \propto \sum K(||x-x_i||)$

これらはどのように同じですか？

ブール値関数のサンプル、つまり、「真のサンプル」（それぞれ単位値を持つ）と「偽のサンプル」（それぞれゼロ値を持つ）の両方を含むセットを考えてください。全体的なサンプルの密度は（格子状）に一定であると仮定すると、この関数の局所平均である同じ真値の部分集合の局所的な（部分）の密度に比例します。（偽サンプルにより、平滑化方程式の分母を常に無視することができますが、合計にゼロ項が追加されるため、密度推定方程式が単純化されます。）

同様に、サンプルがブールラスター上のスパース要素として表されている場合、ラスターにぼかしフィルターを適用することでサンプルの密度を推定できます。

これらはどう違いますか？

直観的には、平滑化アルゴリズムの選択は、サンプル測定に重大な測定誤差が含まれているかどうかに依存することが予想されます。

極端な場合（ノイズなし）、サンプル位置で正確に既知の値の間を補間するだけです。Delaunayの三角形分割（双線形の区分的補間を使用）で言います。

密度推定は反対の極端に似ています。それは完全にノイズです。孤立したサンプルには、その時点での密度値の測定が含まれていないためです。（したがって、単純に補間するものは何もありません。ボロノイ図のセル領域の測定を検討することもできますが、平滑化/ノイズ除去は依然として重要です。）

ポイントは、類似性にもかかわらず、これらは根本的に異なる問題であるため、異なるアプローチが最適である可能性があるということです。

— ベンジミン
ソース