Gaussian Process Regressionのハイパーパラメーター調整

私が実装したガウスプロセス回帰アルゴリズムのハイパーパラメーターを調整しようとしています。式によって与えられる対数限界尤度を最大化したいだけですここで、は、要素ここで、、、はハイパーです。

\log (y | X, θ) = - \frac{1}{2} y^{T} K_{y}^{- 1} y - \frac{1}{2} \log (det (K)) - \frac{n}{2} \log (2 π)

$\log(\mathbf{y}|X,\mathbf{\theta})=-\frac{1}{2} \mathbf{y}^TK_y^{-1}\mathbf{y}-\frac{1}{2}\log(\det(K))-\frac{n}{2}\log(2\pi)$

K

$K$

K_{i j} = k (x_{i}, x_{j}) = b^{- 1} \exp (- \frac{1}{2} (x_{i} - x_{j})^{T} M (x_{i} - x_{j})) + a^{- 1} δ_{i j}

$K_{ij}=k(x_i,x_j)=b^{-1}\exp(-\frac{1}{2}(x_i-x_j)^TM(x_i-x_j))+a^{-1}\delta_{ij}$

M = l I

$M=lI$

a, b

$a,b$

l

$l$

パラメータの対数周辺尤度の偏微分は、次のによって与えられます

\frac{\log (y | X, θ)}{d θ} = \frac{1}{2} t r a c e (K^{- 1} \frac{d K}{d θ}) + \frac{1}{2} (y \frac{d K}{d θ} K^{- 1} \frac{d K}{d θ} y)

$\frac{\log(\mathbf{y}|X,\mathbf{\theta})}{d\theta}=\frac{1}{2}\mathrm{trace}(K^{-1}\frac{dK}{d\theta})+\frac{1}{2}(\mathbf{y}\frac{dK}{d\theta}K^{-1}\frac{dK}{d\theta}\mathbf{y})$

のエントリは $K$ パラメーターに依存するため、微分と逆も同様 $K$ です。つまり、勾配ベースのオプティマイザーを使用する場合、特定のポイント（パラメーター値）で勾配を評価するには、共分散行列の再計算が必要になります。私のアプリケーションでは、ゼロから共分散行列を計算し、勾配上昇のすべての反復でその逆数を計算するのは非常にコストがかかるため、これは実行可能ではありません。私の質問は、これらの3つのパラメーターのかなり良い組み合わせを見つけるための私の選択肢は何ですか？また、最初に最適化するパラメーターがわからないので、この問題についてのアドバイスもいただければ幸いです。

— ブファスキプラー
ソース

HMCを使用して、適度なサイズのデータセットのGPハイパーパラメーターをサンプリングすることに成功しました。

— Sycoraxは、モニカ

こんにちは@Sycorax、この問題を解決するためにこの手法をどのように使用したかを教えていただけますか？OPが尋ねたのと同じ問題があり、MCMCを使用してそれを解決することを考えていましたが、それを行う方法がまだわかりません。

— Willian Fuks 2017年

スタンでGPをコード化したところです。GPハイパーパラメーターはモデルのパラメーターとして宣言され、それに応じて推論されました。これにより、HMCの反復ごとに1セットの予測が生成されました。Gelmanは、これがすべてBDA3で

— Sycoraxは、モニカを2017

勾配上昇のすべての反復で新しい共分散行列の計算が必要であるというのは正しいことです。したがって、マトリックス計算が設定に適さない場合は、勾配ベースの周辺尤度最適化を使用できないと思います。

私の提案は、グリッド検索、ランダム検索、ベイズ最適化ベースの検索など、ハイパーパラメーター調整に勾配のない方法を使用することです。これらの方法は、SVMなどの他の機械学習アルゴリズムの最適化ハイパーパラメーターに広く使用されています。

初めてのグリッド検索をお勧めします。基本的には、可能性のあるハイパーパラメーターのテーブル（グリッド）を形成し、すべてを試し、最高の検証パフォーマンス（または最高の限界尤度）を探します。

グリッド検索は次善のハイパーパラメーターのセットを生成し、グリッドを自分で指定する必要があります（ヒント：対数スケールでグリッドを作成）。ただし、必要な計算ははるかに少なくなります。（そしてグラデーションは必要ありません！）

グリッド検索に慣れていない場合は、Wikipedia：Hyperparameter Optimization-Grid Searchを参照してください。

— サンウンユン
ソース