「ノンパラメトリック統計モデル」の実例は何ですか？

12

私はここで統計モデルに関するWikipediaの記事を読んでいます。具体的には、「ノンパラメトリック統計モデル」の意味について、いくぶん困惑しています。

パラメータセットが無限次元の場合、統計モデルはノンパラメトリックです。統計モデルは、有限次元と無限次元の両方のパラメーターを持つ場合、セミパラメトリックです。形式的に、がの次元で、がサンプルの数である場合、セミパラメトリックモデルとノンパラメトリックモデルの両方がをとして持つ。もしとして、次にモデルはセミパラメトリックあります。それ以外の場合、モデルはノンパラメトリックです。 $\Theta$ $d$ $\Theta$ $n$ $d \rightarrow \infty$ $n \rightarrow \infty$ $d/n \rightarrow 0$ $n \rightarrow \infty$

モデルの次元（文字通り、パラメーターの数を意味します）が有限であれば、これはパラメトリックモデルです。

私にとって意味をなさないのは、無数のパラメーターを持つ統計モデルをどのようにして "ノンパラメトリック"と呼ぶことができるかです。さらに、それが事実であったとしても、実際には無限の次元があるのに、なぜ「非」なのでしょうか。最後に、私は機械学習のバックグラウンドから来ているので、この「ノンパラメトリック統計モデル」と「ノンパラメトリック機械学習モデル」との違いはありますか？最後に、そのような「ノンパラメトリック無限次元モデル」の具体的な例は何でしょうか？

nonparametric model

— クレアトロン
ソース

3

別のWikiページ（en.wikipedia.org/wiki/…）の使用： '非パラメトリックモデルは、モデル構造がアプリオリに指定されず、代わりにデータから決定されるという点でパラメトリックモデルとは異なります。ノンパラメトリックという用語は、そのようなモデルに完全にパラメーターがないことを意味するのではなく、パラメーターの数と性質が柔軟で、事前に固定されていないことを意味します。したがって、ノンパラメトリックには、パラメーターの数が無限ではなく、パラメーターの数が不明です。

— 2016

私は疑問を持っています。ノンパラメトリックモデルでは、モデルの構造を演繹的に定義します。たとえば、ディシジョンツリー（ノンパラメトリックモデル）では、max_depthを定義します。では、このパラメータは実際にデータ自体から学習/決定されたものであり、私たちによって事前に決定されたものではないと、どうして言えますか？

— Amarpreet Singh

5

Johnnyboycurtisが答えたように、ノンパラメトリック手法は、モデルを生成するために母集団の分布またはサンプルサイズを仮定しない場合の手法です。

k-NNモデルは、モデルを開発するための前提条件を考慮しないため、ノンパラメトリックモデルの例です。Naive BayesまたはK-meansは、モデルを作成するための分布を想定しているため、パラメトリックの例です。

たとえば、K平均法は、モデルを開発するために次のことを前提としています。すべてのクラスターは球形（iidガウス）です。すべての軸は同じ分布、したがって分散を持っています。すべてのクラスターのサイズは均一です。

k-NNについては、予測に完全なトレーニングセットを使用します。予測のためのテストポイントから最近傍を計算します。モデルを作成するための配布がないことを前提としています。

詳細：

— プラシャント
ソース

これについて詳しく教えてください。なぜKNNがノンパラメトリックの例であり、なぜK平均がそうであるのでしょうか？それは私が求めている詳細、特にノンパラメトリック手法の例、そしてなぜ / どのようにしてそれらが人口分布について仮定を持たないのかです。ありがとう！

— Creatron

@Creatron詳細な説明のために回答を変更しました。

— prashanth

3

だから、あなたはいくつかのポイントを逃していると思います。まず、そして最も重要なことは、

統計的方法は、母集団の分布またはサンプルサイズを仮定しない場合、ノンパラメトリックと呼ばれます。

以下は、いくつかのノンパラメトリックモデルに関する簡単な（適用された）チュートリアルです。http：//www.r-tutor.com/elementary-statistics/non-parametric-methods

研究者は、ノンパラメトリックモデルとパラメトリックモデルのどちらを使用するかを決定できます。たとえば、ノンパラメトリック回帰と線形回帰は、データがパラメトリックモデルが保持する仮定に違反しているためです。あなたはMLのバックグラウンドから来ているので、典型的な線形回帰モデルの仮定を学習したことがないと仮定します。ここに参照があります：https : //statistics.laerd.com/spss-tutorials/linear-regression-using-spss-statistics.php

仮定に違反すると、パラメーターの推定値がゆがめられ、最終的には無効な結論のリスクが高まります。ノンパラメトリックモデルは、外れ値、非線形関係に対してより堅牢であり、多くの人口分布の仮定に依存しないため、推論または予測を行うときに、より信頼できる結果を提供できます。

ノンパラメトリック回帰に関する簡単なチュートリアルとして、次のスライドをお勧めします：http : //socserv.socsci.mcmaster.ca/jfox/Courses/Oxford-2005/slides-handout.pdf

— ジョン
ソース

リンクをありがとう、私はそれらを通過します。ただし、「ノンパラメトリック」モデルを構成する「無限数のパラメーター」とこれをどのように結び付けるのでしょうか。ありがとう

— Creatron

その「無限の数のパラメーター」についての引用はないので、コメントすることはできません。ノンパラメトリック統計モデルのトピックへのそのような参照は見たことがありません。そのため、回答/解釈を提供する前に、参照を確認する必要があります。とりあえず、特定のモデルとフィールド全体の仮定について心配します。

— Jon

私の質問で引用されているウィキペディアの記事は、無限の次元を参照しています。文字通り：「パラメーターセットが無限次元の場合、統計モデルはノンパラメトリックです。」これは何を意味するのでしょうか？これは私が言及しているものです。

— Creatron

知っている。しかし、ウィキペディアはその声明の引用を提供していません。参照なしで何かを信頼することはできません。

— Jon

3

私は現在、機械学習のコースを受講しています。ここでは、ノンパラメトリックモデルの次の定義を使用します。

パラメトリックモデル

$w \in ℝ ^d$

f (x) = w^{T} x

$f(x) = w^Tx$

ノンパラメトリックモデル

f (x) = \sum_{i = 1}^{n} α_{i} k (x_{i}, x)

$f(x) = \sum_{i=1}^n \alpha_i k(x_i, x)$

n

$n$

α_{i}

$\alpha_i$

k (x_{i}, x)

$k(x_i, x)$

α_{i}

$\alpha_i$

n

$n$

f (x) = s i g n (\sum_{i = 1}^{n} α_{i} y_{i} k (x_{i}, x)))

$f(x) = sign( \sum_{i=1}^n \alpha_i y_i k(x_i,x)))$

$\alpha_i$ $n \to \infty$ $d \to \infty$

私は講義のスライドからカーネル回帰関数を、ウィキペディアからカーネル化されたパーセプトロン関数を取得しました：https : //en.wikipedia.org/wiki/Kernel_method

— sop_se
ソース