numpyでガウスカーネルを効果的に計算する方法[終了]

私はm列とn行の派手な配列を持っています。列は次元で、行はデータポイントです。

次に、データポイントの組み合わせごとにカーネル値を計算する必要があります。

線形カーネルのための私は単純に行うことができます$K(\mathbf{x}_i,\mathbf{x}_j) = \langle \mathbf{x}_i,\mathbf{x}_j \rangle$dot(X,X.T)

私は効果的にガウスカーネルのすべての値を計算することができますどのように与えられたsを持つ s 2？$K(\mathbf{x}_i,\mathbf{x}_j) = \exp{-\frac{\|\mathbf{x}_i-\mathbf{x}_j\|_2^2}{s^2}}$

主な問題はペアワイズ距離を効率的に取得することだと思います。それができたら、残りは要素ごとに賢明です。

これを行うには、おそらくscipyを使用する必要があります。関数scipy.spatial.distance.pdistはあなたが必要とscipy.spatial.distance.squareformすることをし、そしておそらくあなたの人生を楽にするでしょう。

したがって、カーネルマトリックスが必要な場合は、

from scipy.spatial.distance import pdist, squareform
  # this is an NxD matrix, where N is number of items and D its dimensionalites
X = loaddata() 
pairwise_dists = squareform(pdist(X, 'euclidean'))
K = scip.exp(-pairwise_dists ** 2 / s ** 2)

ドキュメントはここにあります。 

bayerjの答えの小さな補遺として、scipyのpdist関数は、次のように呼び出すことにより、二乗ユークリッドノルムを直接計算できpdist(X, 'sqeuclidean')ます。完全なコードは、次のように、より効率的に記述できます。

from scipy.spatial.distance import pdist, squareform
  # this is an NxD matrix, where N is number of items and D its dimensionalites
X = loaddata() 
pairwise_sq_dists = squareform(pdist(X, 'sqeuclidean'))
K = scip.exp(-pairwise_sq_dists / s**2)

手で正方形の形を書くこともできます：

import numpy as np
def vectorized_RBF_kernel(X, sigma):
    # % This is equivalent to computing the kernel on every pair of examples
    X2 = np.sum(np.multiply(X, X), 1) # sum colums of the matrix
    K0 = X2 + X2.T - 2 * X * X.T
    K = np.power(np.exp(-1.0 / sigma**2), K0)
    return K

PSですが、これは30％遅く動作します

def my_kernel(X,Y):
    K = np.zeros((X.shape[0],Y.shape[0]))
    for i,x in enumerate(X):
        for j,y in enumerate(Y):
            K[i,j] = np.exp(-1*np.linalg.norm(x-y)**2)
    return K

clf=SVR(kernel=my_kernel)

に等しい

clf=SVR(kernel="rbf",gamma=1)

上記のコードから効果的にRBFを計算できます。ガンマ値は1であることに注意してください。これは定数なので、要求したsも同じ定数です。

私はこれが役立つと思います：

def GaussianKernel(v1, v2, sigma):
    return exp(-norm(v1-v2, 2)**2/(2.*sigma**2))