関数の分布とは何ですか？

15

CE RasmussenとCKI Williamsによる教科書の機械学習のためのガウス過程を読んでいますが、関数上の分布が何を意味するのか理解するのに苦労しています。教科書では、関数を非常に長いベクトルと考えるべきであるという例が示されています（実際、無限に長いはずですか？）。したがって、関数全体の分布は、そのようなベクトル値の「上」に描かれた確率分布であると思います。それでは、関数がこの特定の値を取る可能性はありますか？それとも、関数が特定の範囲内の値をとる確率でしょうか？または、関数の分布は関数全体に割り当てられた確率ですか？

教科書からの引用：

第1章：はじめに、2ページ

ガウス過程は、ガウス確率分布の一般化です。確率分布はスカラーまたはベクトル（多変量分布の場合）であるランダム変数を記述しますが、確率的プロセスは関数のプロパティを管理します。数学的な洗練はさておき、関数を非常に長いベクトルと大まかに考えることができます。ベクトルの各エントリは特定の入力xで関数値f（x）を指定します。この考えは少し素朴ではありますが、驚くべきことに私たちが必要とするものに近いことがわかりました。実際、これらの無限次元オブジェクトをどのように計算的に処理するかという問題は、想像できる限り最も快適な解像度を持っています。有限数の点で関数のプロパティのみを要求する場合、

第2章：回帰、7ページ

ガウス過程（GP）回帰モデルを解釈する方法はいくつかあります。ガウス過程は、関数の分布を定義し、関数の空間である関数空間ビューで直接行われる推論と考えることができます。

最初の質問から：

この概念図を作成して、自分でこれを視覚化しようとしました。私が自分のために作ったそのような説明が正しいかどうかはわかりません。

更新後：

Gijsの回答の後、私は写真を更新して、概念的には次のようにしました。

distributions gaussian-process

— カミレ
ソース

3

直感的な説明については、これを確認してくださいjgoertler.com/visual-exploration-gaussian-processes

— bicepjai

11

概念は、通常の配布よりも少し抽象的です。問題は、我々は上分布の概念を用いていることである、典型的には線として示され、次いで表面に展開上に分布するのでに、。ただし、関数の空間は、正方形、線、またはベクトルとして表すことはできません。あなたのようにそれを考えるのは犯罪ではありませんが、距離や近傍などに関係するで機能する理論は（これは空間のトポロジーとして知られています）、関数の空間では同じではありません。そのため、正方形として描画すると、そのスペースについて誤った直感を感じる可能性があります。 $\mathbb{R}$ $\mathbb{R}^2$ $\mathbb{R}^n$ $\mathbb{R}^n$

関数のスペースは、単に関数の大きなコレクション、おそらくは必要なものの袋と考えることができます。ここでの分布は、それらのサブセットを描画する確率を提供します。分布では、次の（関数の）描画がこのサブセットにある確率は、たとえば10％です。2次元の関数でのガウス過程の場合、x-coordinateとintervaly-値、これは小さな垂直線分です。（ランダムな）関数がこの小さな線を通過する確率はどれくらいですか？それは正の確率になります。そのため、ガウス過程は、関数の空間にわたる（確率の）分布を指定します。この例では、関数空間のサブセットは、ラインセグメントを通過するサブセットです。

ここでの混乱を招く命名の別の便利さは、分布は通常、正規分布のベル形などの密度関数によって指定されることです。ここで、分布関数の下の領域は、間隔がどれほど可能性があるかを示します。ただし、これはすべてのディストリビューションで機能するわけではありません。特に、関数（通常のディストリビューションの場合のはない）の場合、これはまったく機能しません。つまり、この分布（ガウス過程で指定された分布）を密度関数として書くことはできません。 $\mathbb{R}$

— ギス
ソース

1

おかげで、明確にするために、これは1つの関数の値の分布ではなく、関数のコレクションの分布ですよね？もう1つ質問があります。これは、ランダム関数が特定の間隔を通過する確率であると言いました。したがって、GPRの例では、ランダム関数ですが、共分散カーネル？

— -camillejr

2

はい、それは関数のコレクションの分布です。区間を通過する例は、ガウス過程がある場合に適用されます。共分散カーネルは、実際にガウス過程を指定します。そのため、共分散カーネルを知っている場合、ランダム関数が特定の区間を通過する確率を計算できます。

— ギス

14

あなたの質問は既に数学SEサイトで尋ねられ、美しく回答されています：

/math/2297424/extending-a-distribution-over-samples-to-a-distribution-over-functions

無限次元空間でのガウス測度、線形汎関数、プッシュフォワード測度などの概念に慣れていないようですので、できるだけシンプルにしようと思います。

$L^2([0,1])$ $I=[0,1]$ $\mathbb{R}$ $\mathbb{R}^n$ $L^2$

しかし、コルモゴロフ拡張定理に基づいた単純な「トリック」もあります。これは基本的に、確率論的プロセスが、あまり測定理論的ではないほとんどの確率コースで導入される方法です。今、私は非常に手で波打っており、厳格ではないので、ガウス過程の場合に限定します。より一般的な定義が必要な場合は、上記の回答を読むか、Wikipediaリンクを参照してください。特定のユースケースに適用されるコルモゴロフ拡張定理は、次のようなことを言っています。

$S_n=\{ t_1, \dots ,t_n\} \subset I$ $\mathbf{x}_n=(x(t_1),\dots,x(t_n))$
$S_n, S_m, \enspace S_n\subset S_m$ $f_{S_n}(x_1,\dots,x_n)$ $f_{S_m}(x_1,\dots,x_{n},x_{n+1},\dots,x_m)$ $f_{S_m}$ $S_m$ $S_n$ $f_{S_n}$

\int_{R^{n - m + 1}} f_{S_{m}} （ {バツ}_{1} 、 \dots 、 {バツ}_{n} 、 {バツ}_{n + 1} 、 \dots 、 {バツ}_{m} ） d {バツ}_{n + 1} \dots d {バツ}_{m} = f_{S_{n}} （ {バツ}_{1} 、 \dots 、 {バツ}_{n} ）

$\int_{\mathbb{R}^{n-m+1}}f_{S_m}(x_1,\dots,x_{n},x_{n+1},\dots,x_m)\text{d}x_{n+1}\dots \text{d}x_m=f_{S_n}(x_1,\dots,x_n)$

$X$ $L^2$ $S_n$ $n$

実際の定理は広く一般的ですが、これがあなたが探していたものだと思います。

— DeltaIV
ソース