RBFカーネルマトリックスは悪条件になる傾向がありますか？

RBFカーネル関数を使用して、1つのカーネルベースの機械学習アルゴリズム（KLPP）を実装します。結果のカーネル行列は $K$

K （ 私 、 j ） = \exp （ \frac{- （ {バツ}_{私} - {バツ}_{j} ）^{2}}{σ_{メートル}^{2}} ）

$K(i,j)= \exp\left({\frac{-(x_{i}-x_{j})^2}{ \sigma_{m}^2}}\right)$ 極めてL2ノルムの悪いconditioned.The条件数が来ることが示されている

10^{17} - 10^{64}

$10^{17}-10^{64}$

条件を整える方法はありますか？パラメータを調整する必要があると思いますが、正確にはわかりません。 $\sigma$

ありがとう！

— ZeyuHu
ソース

あなたが作る場合も、

小さく、あなたは条件数を向上させます。

σ_{m}

$\sigma_m$

— user189035 2013年

回答:

カーネル幅の削減通常、条件数を削減します。 $\sigma_m$

ただし、基底関数が重複している場合、カーネル行列は、基底関数または点分布の場合、単数またはほぼ単数になる可能性があります。この理由は、実際には非常に単純です。

カーネル行列は、その行列式がゼロの場合に特異です。 $K$ $\det(K)$
補間で2つの点とを交換することは、試行点が一定であると仮定して、 2つの行を交換することと同じです。 $x_i$ $x_j$ $K$
行列の2つの行を入れ替えると、行列式の符号が切り替わります。

ここで、2つの点と、それらをゆっくりと回転させて位置を切り替えることを想像してください。これを行っている間、の行列式は符号を切り替え、その間のある時点でゼロになります。この時点で、は定義により特異です。 $x_i$ $x_j$ $K$ $K$

— ペドロ
ソース

K行列は対称ではありません-2点を交換すると、行と列が交換されますか？

— denis

@Denisこれは、ノードとトライアルポイントが同じで、両方を移動した場合にのみ当てはまります。これが、第2弾で「トライアルポイントが一定であると仮定して」と書いた理由です。

— ペドロ

ガウスのカーネルマトリックス（OPの質問）はとにかく正の半定値ですか？

— denis 2013年

@Denis：これも、RBF補間問題をどのように定義するかという問題です。あなたがしている最も一般的なケースを検討

ポイントにRBFsを中心に

、

、あなたはで補間を最小限にしたい

ポイント

、

。ポスターの例では、前提とし

と

。私たちは、最初に設定した場合

と

N

$N$

x_{i}

$x_i$

i = 1 \dots N

$i=1\dots N$

M

$M$

ξ_{j}

$\xi_j$

j = 1 \dots M

$j=1\dots M$

M = N

$M=N$

ξ_{j} = x_{i}

$\xi_j=x_i$

M \leftarrow N

$M\leftarrow N$

、次に

移動するだけで、特異な

簡単に生成できます。

ξ_{j} \leftarrow x_{i}

$\xi_j \leftarrow x_i$

x_{i}

$x_i$

K

$K$

— ペドロ

いくつかの提案：

選択してください平均距離| ランダム最も近い。（安価な近似値均一の単位立方体に分布する点、0.5 /である。）我々はたいのために大きくなるように周辺、背景ノイズの場合は小さい。いくつかのランダムなそれをプロットします。 $\sigma \sim$ $x$ $x_i$ $N$ $\mathbb{R}^d, d\ 2 .. 5$ $N^{1/d}$
$\phi( |x - x_i| )$ $x_i$ $x$ $x$
Shiftキー離れ0から、、かそこらで。つまり、正則化します。 $K$ $K \to K + \lambda I$ $\lambda \sim 10^{-6}$
解いて重みを調べます。いくつかがまだ（条件数に関係なく）巨大である場合、それはガウスRBFが根本的に弱いことをボイド（以下）で確認する傾向があります。 $(K + \lambda I) w = f$

（RBFの1つの代替は、逆距離加重、IDWである。これは、自動スケーリング、最も近い距離1 2 3に対して同一の利点を有する 100 200 300と同様にまた、私は、明示的なユーザー選択見つける、検討する近傍の数グリッド検索よりも明確です。） $\dots$ $\dots$ $Nnear$ $\sigma, \lambda$

ジョンP.ボイド、ガウス動径基底関数シリーズを合計するための高速ガウス変換の役に立たない、と述べています

ガウスRBF内挿は、内挿が指数関数的に大きな係数を持つ項の小さな差であるという意味で、ほとんどの系列に対して悪条件です。

お役に立てれば; あなたの経験を共有してください。

— デニス
ソース