パラメトリックモデルとノンパラメトリックモデルの違いは何ですか?


14

このリンクのパラメトリックモデルノンパラメトリックモデルを読み、別の質問のコメントに回答した後、ノンパラメトリックモデルの定義と混同されています。

元々、「パラメトリックvsノンパラメトリック」とは、モデルに分布仮定があるかどうかを意味すると思っていました(パラメトリックまたはノンパラメトリック仮説検定と同様)。しかし、どちらのリソースも、「パラメトリックvsノンパラメトリック」は、モデルのパラメーターの数がデータマトリックスの行の数に依存しているかどうかによって判断できます。

カーネル密度推定(ノンパラメトリック)の場合、このような定義を適用できます。しかし、この定義の下では、モデル内のパラメーターの数はデータマトリックスの行数ではなくニューラルネットワーク構造に依存しているため、ニューラルネットワークをノンパラメトリックモデルにするにはどうすればよいでしょうか。

パラメトリックモデルとノンパラメトリックモデルの違いは何ですか?


3
(仮説検定への参照のように)分布モデルに関する「ノンパラメトリック」は、分布の定義に使用されるパラメーターの数に関連することに注意してください(「パラメトリック」=固定数のパラメーターによって定義されます。ノンパラメトリックメソッドには、パラメータの数が一定の分布-連続性や対称性など、より穏やかな仮定を持つ傾向があります)
Glen_b -Reinstate Monica

私の意見:あなたの定義に固執してください。定義がそうであるように、それは体系的な定義です。もう1つは不安定です。まず、アルゴリズムの「有効なパラメーターの数」を定義する必要があります。しかし、私は常にケースバイケースで定義されたこの量を見てきました(つまり、線形回帰の定義が1つ、最近傍の定義、ニューラルネットワークの定義があります。)。したがって、誰かが有効なパラメーターの数の一般的で体系的な定義を提供できない限り、私はこの定義を真剣に受け止めることはできません。
エイドリアン

1
パラメトリック機械学習アルゴリズムとノンパラメトリック機械学習アルゴリズムの説明があるリンクの下にあります。machinelearningmastery.com/…–
Satya

回答:


16

パラメトリックモデルでは、パラメーターの数はサンプルサイズに対して固定されています。ノンパラメトリックモデルでは、パラメーターの(有効な)数がサンプルサイズとともに増加する可能性があります。

OLS回帰では、パラメーターの数は常にの長さに分散の1つを加えたものになります。 β

アーキテクチャが固定され、重みの減衰がないニューラルネットは、パラメトリックモデルになります。

ただし、重みの減衰がある場合、交差検証によって選択された減衰パラメーターの値は、一般にデータが多いほど小さくなります。これは、サンプルサイズの増加に伴うパラメーターの有効数の増加として解釈できます。


1
確かに、重みの減衰パラメーターは、まだ1つの追加パラメーターであり、ネットワークの構造を変更することはありません(間違えない限り)。サンプルサイズが増加するにつれて、パラメーター数の増加としてどのように解釈できますか?
モーガンボール

2
重量の減衰はハイパーパラメータです。正則化における効果的な自由度については、こちらをご覧ください:statweb.stanford.edu/~tibs/sta305files/Rudyregularization.pdf。ニューラルネットは線形ではありませんが、重みの減衰は、これらのモデルの2次ペナルティと同じ機能を実行します。
generic_user 2017年

私は(もちろん)効果的なパラメーターの直感に同意しますが、この概念を使用してパラメトリック/ノンパラメトリックを定義することに同意しません。質問へのコメントを参照してください。
エイドリアン

ええ、私はあなたの要点を理解しています。しかし、合理的な人々は、定義の不安定さがそれを役に立たない定義とするかどうか、意見を異にすることができると思います、ceteris paribus。
generic_user 2017年

1
この説明は以前に見たことがあり、気に入らなかった。この方法では、「効果的な」パラメーターは係数よりも少なくなる可能性があるため、収縮を伴う通常の最小二乗をノンパラメトリック法と呼ぶことができます。それは本当にノンパラメトリックな方法の間の境界線を曖昧にするので、有用な分類ではないと思います
Aksakal

1

モデルが方程式のセットとして定義されている場合(連立方程式のシステムでも単一の方程式でもかまいません)、そのパラメーターを学習すると、パラメトリックになります。これには微分方程式、さらにはナビエ・ストークスの方程式も含まれます。説明的に定義されたモデルは、解決方法に関係なく、ノンパラメトリックのカテゴリーに分類されます。したがって、OLSはパラメトリックであり、分位点回帰でさえ、ノンパラメトリック統計の領域に属していますが、パラメトリックモデルです。

一方、SEM(構造方程式モデリング)を使用してモデルを特定すると、SEMを解くまではノンパラメトリックモデルになります。PCAはパラメトリックになります。これは、方程式が明確に定義されているためですが、CCAはノンパラメトリックになる可能性があります。ピアソンの相関関係では、パラメトリック(線形)モデルを意味します。特定の形状のクラスターを探しているのでなければ、クラスター化アルゴリズムはノンパラメトリックだと思います。

次に、ノンパラメトリックであるノンパラメトリック回帰とパラメトリックであるLOESS回帰がありますが、同じ目的を果たします。方程式とウィンドウを定義します。


3
あなたの説明はどちらかと言えば曖昧で、「パラメトリック」と「ノンパラメトリック」の標準的な統計的意味と矛盾しているようです。特に、一般にノンパラメトリックと見なされているLOESSなどの特定のテクニックに関して、通常とは異なる位置を占めています。たとえば、en.wikipedia.org / wiki / Local_regressionを参照してください。
whuber

@whuberリンクをありがとう!正解です。LOESSはノンパラメトリックと見なされます。これは私にはかなり直観に反しています。指数平滑法はどうですか?すべてのポイントの重みが異なるため、ノンパラメトリックですか?または、アルファは時系列全体で同じであるため、パラメトリックですか?
AlexG 2018年

パラメトリック状況のパラメーターは、必ずしも一連の数値を数えるわけではありません。それらは、統計モデルのファミリーをどのように説明しなければならないかについて言及しています。たとえば、プロシージャがデータに単一の値を当てはめる場合(おそらく他の方法による相互検証による)、データが任意の分布からのランダムなサンプルであるとのみ想定している場合、そのプロシージャはノンパラメトリックです。
whuber

0

logoddsG=t+aバツ1+bバツ2+


1
ノンパラメトリックなカーネル推定法の方程式を書くこともできます。
HelloWorld 2017年

1
誤り-最も一般的なノンパラメトリック回帰法の1つであるガウシアンプロセスの予測平均と予測分散、および他の多くのノンパラメトリック回帰法の明示的で単純な方程式を書くことができます。
DeltaIV 2017年
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.