ランダムキッチンシンクはどのように機能しますか？

昨年のNIPS 2017では、アリラヒミとベンレヒトが論文「大規模カーネルマシンのランダム機能」で時間賞を受賞し、ランダムキッチンシンクアルゴリズムとして体系化されました。彼らの論文を公表する一環として、彼らは彼らのモデルが5行のmatlabで実装できることを示しました。

% Approximates Gaussian Process regression
%     with Gaussian kernel of variance gamma^2
% lambda: regularization parameter
% dataset: X is dxN, y is 1xN
% test: xtest is dx1
% D: dimensionality of random feature

% training
w = randn(D,d);
b = 2 * pi * rand(D, 1);
Z = cos(gamma * w * X + b * ones(1,N));

alpha = (lambda * eye(D) +Z * Z') \ (Z * y);

% testing
ztest = alpha' * cos(gamma * w * xtest + b);

上記のアルゴリズムがどのように何かを学習するかは私には不明です。ランダムキッチンシンクはどのように機能しますか？どのようにガウスプロセスに近似し、ベクターマシンをサポートしますか？

編集

Rahimiの講演を再確認すると、ランダムキッチンシンクという用語は、受賞した論文ではなく、「大規模カーネルマシンのランダム機能」で始まる論文の3部作の終わりに導入されています。他の論文は次のとおりです。

ラヒミ、アリ、ベンジャミンレヒト。「ランダムベースを持つ関数の均一近似。」コミュニケーション、制御、コンピューティング、2008年第46回アラートン会議。IEEE、2008。

ラヒミ、アリ、ベンジャミンレヒト。「ランダムキッチンシンクの加重合計：学習における最小化をランダム化に置き換えます。」神経情報処理システムの進歩。2009。

上で紹介したコードスニペットは、前回の論文のアルゴリズム1の特殊化だと思います。

ランダムキッチンシンク（またはランダムフーリエ機能）およびその他の関連メソッドは、推論を実行しようとはしませんが、カーネルベースの推論メソッドのボトルネックを削減しようとします。

$n \times n$$O(n^3)$

ランダムフーリエ機能（Rehimi＆Recht 2007）は、カーネルフーリエ成分のランダムなサブセットのみをサンプリングすることにより、シフト不変カーネルの低ランク近似を作成することを検討しました。フーリエ空間はシフト不変であるため、この特性は保存されていましたが、これらのフーリエ成分の結合により、明示的な有限次元再現カーネルヒルベルト空間が形成されました。かつて無限次元のRKHSは、縮退近似カーネルによって近似されます。

コードスニペットに関する注意： 5行にいくつかの詳細が記載されています。最も重要なことは、ガウス関数もフーリエ空間でのガウス関数であり、分散のみが反転することです。そのため、彼らはrandnからサンプリングし、分散を掛けています。次に、ztestを見つけるためのサブ手順にすぎないアルファを生成します。基本的に、通常のカーネル予測は次のようになります。

$z_{test} = K(x_{test}, x)(K(x, x) + \lambda I)^{-1} y.$

$z_{test} = \Phi(x_{test})^T\Phi(x)(\Phi(x)^T\Phi(x) + \lambda I)^{-1} y.$

$\Phi(\cdot)$

サイドコメント：あなたはそれを使うべきですか？答えは明確な「はい」ではありません。それはあなたがモデリングしているものに完全に依存します。フーリエ空間の使用は、非定常で非シフトの不変カーネルには必ずしも適切ではありません。連中は、この設定で機能するとは決して主張しませんでしたが、その地域で始めたばかりの場合は、微妙な違いがはっきりしないことがあります。