SVDを安定させるためにどれだけの正則化を追加しますか？

インテルMKLのSVD（dgesvdSciPyを介して）を使用していて、マトリックスの条件が悪い/フルランクではない場合float32と精度を変更すると、結果が大幅に異なることに気付きましたfloat64。結果がfloat32-> float64変更の影響を受けないようにするために追加する必要がある正則化の最小量に関するガイドはありますか？

際、特に、、Iはその参照L ∞ノルムV T Xの Iとの間の精度を変更した場合約1による移動とを。AのL 2ノルムは10 5であり、合計784のうち約200のゼロ固有値があります。$A=UDV^{T}$$L_\infty$$V^{T}X$float32float64$L_2$$A$$10^5$

上のSVDをやっでλ = 10 - 3は違いワニスを作りました。$\lambda I + A$$\lambda=10^{-3}$

質問には素晴らしい答えがありますが、ここにプロット付きの小さな特異値の経験則があります。

$N$$\epsilon$

$\qquad$— 数値レシピp。795

追加：次の数行でこの経験則を計算します。

#!/usr/bin/env python2

from __future__ import division
import numpy as np
from scipy.sparse.linalg import svds  # sparse, dense or LinOp

#...............................................................................
def howsmall( A, singmax=None ):
    """ singular values < N float_eps sing_max  may be iffy, questionable
        "How small is small ?"
        [Numerical Recipes p. 795](http://apps.nrbook.com/empanel/index.html?pg=795)
    """
        # print "%d singular values are small, iffy" % (sing < howsmall(A)).sum()
        # small |eigenvalues| too ?
    if singmax is None:
        singmax = svds( A, 1, return_singular_vectors=False )[0]  # v0=random

    return max( A.shape ) * np.finfo( A.dtype ).eps * singmax

---

ヒルベルト行列は、丸め誤差のテストケースとして広く使用されているようです。

ここで、ヒルベルト行列の仮数部の下位ビットはゼロ化され、 A.astype(np.float__).astype(np.float64)でnp.linalg.svd実行されfloat64ます。（svdすべての結果float32はほぼ同じです。）

単に切り捨てるだけでfloat32も、高次元データのノイズ除去に役立つ場合があります。

実際のテストケースは歓迎されます。

$A=A^{T}$$M=U \Sigma V^T$

$$H=\begin{bmatrix}0 & M\\ M^{T} & 0 \end{bmatrix}=\begin{bmatrix}U & 0\\ 0 & V \end{bmatrix}\begin{bmatrix}0 & \Sigma\\ \Sigma & 0 \end{bmatrix}\begin{bmatrix}U & 0\\ 0 & V \end{bmatrix}^{T}$$

$\epsilon>0$

$$A_{\epsilon}=\begin{bmatrix}1 & \epsilon\\ \epsilon & 1 \end{bmatrix}=V\Lambda_{\epsilon}V^{T},\qquad B_{\epsilon}=\begin{bmatrix}1+\epsilon & 0\\ 0 & 1-\epsilon \end{bmatrix}=U\Lambda_{\epsilon}U^{T}$$ $\Lambda_{\epsilon}=\mathrm{diag}(1+\epsilon,1-\epsilon)$ $$V=\frac{1}{\sqrt{2}}\begin{bmatrix}1 & 1\\ 1 & -1 \end{bmatrix},\qquad U=\begin{bmatrix}1 & 0\\ 0 & 1 \end{bmatrix}.$$ $A_{\epsilon} \approx B_{\epsilon}$$V$$U$$\epsilon>0$$U,V$$U\approx V$

$M_{0}=U_{0}\Sigma_{0}V_{0}^{T}$float64$M_{\epsilon}=U_{\epsilon}\Sigma_{\epsilon}V_{\epsilon}^{T}$float32$\Sigma_{0},\Sigma_{\epsilon}$$\epsilon\approx10^{-7}$$U_{0},U_{\epsilon}$$V_{0},V_{\epsilon}$