ガウスプロセスモデルがノンパラメトリックと呼ばれるのはなぜですか？

26

私は少し混乱しています。ガウス過程がノンパラメトリックモデルと呼ばれるのはなぜですか？

関数値またはそのサブセットは、カーネル関数として与えられた平均0と共分散関数を持つガウス事前分布を持っていると仮定しています。これらのカーネル関数自体には、いくつかのパラメーター（ハイパーパラメーターなど）があります。

それでは、なぜそれらはノンパラメトリックモデルと呼ばれているのでしょうか？

nonparametric gaussian-process

— user34790
ソース

1

「ガウス過程」のいくつかの定義を知っているので、あなたの質問が実際に何を求めているのかは明らかではありません。しかし、それを明確にする方法を検討する際には、次のことを自問してください：念頭に置いているガウス過程を正確にどのようにパラメータ化するのでしょうか？有限数の実パラメーターを使用して自然な方法でそれを行うことができない場合は、ノンパラメトリックと見なす必要があります。

— whuber

@whuber。知る限り、ガウス過程の主なパラメーターは平均と共分散関数です。しかし、データポイントを追加し続けると、それらは増え続けます。そのため、増え続けています。それが、ガウス過程がノンパラメトリックと呼ばれる理由ですか？

— user34790

@whuber何百万ものトレーニングデータポイントがある場合、GP f〜N（m、k）は100万次元の多変量ガウス分布になります。それは大きすぎませんか？新しいトレーニングデータが来ると、それはどんどん大きくなります。計算上の問題は生じませんか？

— user34790

1

「パラメトリック」対「ノンパラメトリック」は、特定のプロセスには適用されない用語です。これらは、データに適合する可能性のあるプロセスファミリ全体に適用されます。私はまだあなたが考えている家族かわからないが、それはパラメータの数はどのような状況での有限かもしれないがのように聞こえる、のメンバーの間で表示されることがあり、パラメータの数に制限はありません家族：エルゴ、問題がノンパラメトリックです。

— whuber

20

$M_\theta$ $\{M_\theta: \theta \in \Theta\}$ $\Theta$

$(Y_i, X_i), i = 1, ..., n$ $E(Y|X = x) := f(x)$

Y_{i} = f (X_{i}) + ϵ_{i}

$Y_i = f(X_i) + \epsilon_i$

ϵ_{i}

$\epsilon_i$

ϵ_{i} \sim N (0, σ^{2})

$\epsilon_i \sim N(0, \sigma^2)$

X_{i}

$X_i$

$X_i$ $f(\cdot)$

$f$ $f$ $f$ $f$

計算問題の編集

このようなもののほとんど（すべて？）は、RasmussenとWilliamsによるGaussian Process bookにあります。

$O(N^2)$ $O(N^3)$ $v$ $(K + \sigma^2 I)v = Y$ $K$ $O(N^3)$ $k$ $O(kN^2)$ $K$

$O(N^3)$ $O(kN^2)$ $N$ $m$ $m \times m$ $Y$ $N$ $m$ $O(m^2 N)$

$K$ $K = QQ^T$ $Q$ $n \times q$ $q$ $K + \sigma^2 I$ $Q^TQ + \sigma^2 I$

— 男
ソース

8

一般的に、ベイジアンノンパラメトリックの「ノンパラメトリック」とは、無限の数の（潜在的な）パラメーターを持つモデルを指します。videolectures.net（このような）には、このクラスのモデルの概要を説明する、本当に素晴らしいチュートリアルと講義がたくさんあります。

具体的には、GPは関数（無限次元ベクトル）を表すため、ガウス過程（GP）はノンパラメトリックと見なされます。データポイントの数が増えると（（x、f（x））ペア）、モデルの「パラメーター」の数も増えます（関数の形状が制限されます）。パラメーターの数がデータのサイズに対して固定されているパラメトリックモデルとは異なり、ノンパラメトリックモデルでは、パラメーターの数はデータポイントの数とともに増加します。

— ニック
ソース

これはまさに私が想定していたことです。だから私の推測は正しいと思う。しかし、私の質問は、100万ポイント（観測データ）があるかどうかです。そうすると、私のfも100万次元になります。計算上の問題はありません。さらに、共分散行列のサイズも100万x 100万です。この場合、どうすればよいですか？

— user34790

@ user34790はい、計算上の問題が発生します。GPにとって計算上の課題は非常に大きな問題です。ラスムッセンとウィリアムズは、GPについての本を章ごとに用意しており、Googleで十分にグーグルで検索すれば、無料でオンラインで見つけることができます。最小限の詳細については、更新された投稿を参照してください。

— 男

1

ハイパーパラメーターと呼んだパラメーターは、物理的に動機付けられたパラメーターではないため、名前です。これらは、カーネル機能のみをパラメーター化するために使用されます。例を挙げると、ガウスカーネルでは：

$K(x_i,x_j) = h^2 \exp(\frac{-(x_i - x_j)^2}{\lambda^2})$

$h$ $\lambda$

この問題はこの講義でも取り上げられました。理解を深めるのに役立つかもしれません。

— カミレ
ソース