線形回帰で使用されるガウス基底関数パラメーターの理解

ガウス基底関数を線形回帰の実装に適用したいと思います。残念ながら、基底関数のいくつかのパラメーターを理解するのに苦労しています。特に$\mu$および$\sigma$です。

私のデータセットは10,000 x 31のマトリックスです。10,000個のサンプルと31個の機能。「各基底関数は入力ベクトルxをスカラー値に変換します」と読みました。したがって、xは1サンプルなので、1 x 31ベクトルであると想定します。ここから私は混乱しています。正確に何である$\mu_j$パラメータは？これが基底関数の位置を支配することを読んだことがあります。これは何かの平均ではありませんか？また、下付き文字j（$\mu$および$\phi$）によって投げ捨てられます。これにより、j番目の行と思われます。しかし、それは意味をなさないようです。ある$\mu_j$ベクトル？さて、$\sigma$それは「空間規模を支配する」。それは正確に何ですか？このパラメーターに対して.1、.5、2.5などの値を試す実装をいくつか見てきました。これらの値はどのように計算されますか？私は研究を行い、そこから学ぶための例を探してきましたが、現時点ではまだ見つけることができていません。どんな助けや指示も大歓迎です！ありがとうございました。

混乱しているので、まずは問題を述べ、質問を一つずつ取り上げてみましょう。あなたは万のサンプルサイズがあり、各サンプルは、特徴ベクトルによって記述されている。あなたがガウス放射基底関数を使用して回帰を実行する場合は、フォームの機能を探しているF （X ）= Σ jを W J * のG J（X 、μ J、σ J）、J = 1 ... M グラムの$x\in\mathbb{R}^{31}$

$$f(x) = \sum_{j}{w_j * g_j(x; \mu_j,\sigma_j}), j=1..m$$ $g_i$あなたの基本機能です。具体的には、あなたが見つける必要が重みW jで指定されたパラメータになるようにμ J及びσ jのあなたがとの間の誤差最小化Yと対応する予測Y = F （Xの$m$$w_j$$\mu_j$$\sigma_j$$y$$\hat{y}$$f(\hat{x})$通常は、最小二乗誤差を最小化します- 。

Mu添え字jパラメーターとは正確には何ですか？

基底関数g jを見つける必要があります。（あなたはまだ数を決定するために必要なメートルを各基底関数があります）μ Jとσ jの（未知の）。下付き文字jの範囲は1からmです。$m$$g_j$$m$$\mu_j$$\sigma_j$$j$$1$$m$

あるベクトル？$\mu_j$

はい、ポイントです。言い換えれば、それは特徴空間のどこかにあり、m個の基底関数のそれぞれについてμを決定する必要があります。$\mathbb{R}^{31}$$\mu$$m$

これが基底関数の位置を支配することを読んだことがあります。これは何かの平均ではありませんか？

基底関数を中心とするμ $j^{th}$$\mu_j$。これらの場所の場所を決める必要があります。いいえ、それは必ずしも何かの平均ではありません（しかし、それを決定する方法については下を参照してください）

さて、「空間スケールを支配する」シグマについて。それは正確に何ですか？

$\sigma$基底関数自体に目を向けると、方がわかりやすくなります。

やR 2などの低次元のガウス動径基底関数を考えると役立ちます。でR 1ガウスラジアル基底関数は単に周知釣鐘曲線です。もちろん、ベルは狭くても広くてもかまいません。幅はσによって決まります。σが大きいほど、ベルの形状は狭くなります。つまり、σはベル形状の幅をスケーリングします。したがって、σ = 1の場合、スケーリングはありません。大きな$\mathbb{R}^{1}$$\mathbb{R}^{2}$$\mathbb{R}^{1}$$\sigma$$\sigma$$\sigma$$\sigma$$\sigma$がかなりのスケーリングがあります。

これの目的を尋ねることができます。ベルがスペースの一部（線）をカバーしていると考える場合、狭いベルは線のごく一部しかカバーしません*。ベルの中心に近いポイントxのg j（x ）値は大きくなります。中心から遠く離れたポイントは、g j（x ）の値が小さくなります。スケーリングには、ポイントを中心から遠ざける効果があります。ベルが狭くなると、ポイントは中心から遠くに位置するため、g j（x ）の値が小さくなります。$\mathbb{R}^{1}$$x$$g_j(x)$$g_j(x)$$g_j(x)$

各基底関数は入力ベクトルxをスカラー値に変換します

はい、あなたはいくつかの点で基底関数を評価している。$\mathbf{x}\in\mathbb{R}^{31}$

$$\exp\left({-\frac{\|\mathbf{x}-\mu_j\|_2^2}{2*\sigma_j^2}}\right)$$

結果としてスカラーを取得します。スカラー結果は、点の距離に依存中心からμ Jによって与え‖ X - μ J ‖及びスカラーσのJ。$\mathbf{x}$$\mu_j$$\|\mathbf{x}-\mu_j\|$$\sigma_j$

このパラメーターに対して.1、.5、2.5などの値を試す実装をいくつか見てきました。これらの値はどのように計算されますか？

これはもちろん、ガウス動径基底関数を使用することの興味深く困難な側面の1つです。Webを検索すると、これらのパラメーターの決定方法に関する多くの提案が見つかります。クラスタリングに基づく1つの可能性を非常に簡単な用語で説明します。あなたはこれと他のいくつかの提案をオンラインで見つけることができます。

10000個のサンプルをクラスタリングすることから始めます（最初にPCAを使用して次元を縮小し、次にk-Meansクラスタリングを行うことができます）。を見つけるクラスターの数とすることができます（通常、相互検証を使用して最適なmを決定します）。次に、クラスターごとに動径基底関数g jを作成します。各ラジアル基底関数について聞かせてμ jは、クラスタの中心（例えば平均、重心など）こと。してみましょうσ jが（例えば半径が...）今、先に行くと、あなたの回帰を実行するクラスタの幅を反映した（この簡単な説明は、それが各ステップでの作業の多くを必要とするだけの概要-です！）$m$$m$$g_j$$\mu_j$$\sigma_j$

*もちろん、ベルカーブはから∞の範囲で定義されるため、ライン上のどこにでも値があります。ただし、中心から遠く離れた値は無視できます$\infty$$\infty$

簡単な説明をしてみましょう。このような表記では、は行番号になりますが、機能番号にもなります。我々が書く場合、Y = β 0 + Σ J = 1 ：31 β J φ J（X ）、次にJの意味があります数、yは列ベクトルであり、β jはスカラーとなるφ J（X ）の列ベクトルです。私たちが書く場合はyとJ = β φ jの（X ）、その後$j$$y=\beta_0+\sum_{j=1:31}{\beta_j\phi_j(x)}$$j$$y$$\beta_j$$\phi_j(x)$$y_j=\beta\phi_j(x)$は行番号、 y jはスカラー、 βは列ベクトル、 ϕ j（x ）は行ベクトルです。iが行を示し、 jが列を示す表記法がより一般的であるため、最初のバリアントを使用します。$j$$y_j$$\beta$$\phi_j(x)$$i$$j$

、線形回帰にガウス基底関数を導入（スカラー）は今の機能の数値に依存しないと、xはI（ベクトル）が、間の距離にX Iと他のすべての点の中心がμ Iを。このように、Y 私がいるかどうかに依存しないJ番目の特徴値I番目の観測が高いか小さいが、かどうかに依存J番目の特徴量が近いか遠いものの平均からであるJ -feature μ I 、J。だから、μ $y_i$$x_i$$x_i$$\mu_i$$y_i$$j$$i$$j$$j$$\mu_{ij}$$\mu_j$$\sigma^2$$y$$y$$\sigma^2$

The Gaussian basis functions in the multivariate settings have multivariate centers. Assuming that your $x\in\mathbb{R}^{31}$, then $\mu_j\in\mathbb{R}^{31}$ as well. The Gaussian has to be multivariate, i.e. $e^{(x-\mu_j)'\Sigma_j^{-1}(x-\mu_j)}$ where $\Sigma_j\in\mathbb{R}^{31\times 31}$ is a covariance matrix. The index $j$ is not a component of a vector, it is just the $j$th vector. Similarly, $\Sigma_j$ is the $j$th matrix.