なぜ正定ですか？

スプライン回帰では、基底展開がランク不足の設計行列を作成することは珍しくありませんが、推定手順のペナルティ化が問題を解決することはよく知られています。ペナルティがが正定であることを示す方法を私は知りません。（私はPD行列が可逆であることを知っています。）$B_{n\times p}$$B^TB+\lambda\Omega$

ステージを設定するには、を探しためのf（x）が基準拡張によって与えられるF（X_I）= \ sum_j \ alpha_j h_j（X_I ）。Bで基底ベクトルを収集すると、この最適化が次のように減少することをかなり簡単に示すことができます$\min_{\alpha\in\mathbb{R}^p} \sum_i|| y_i-f(x_i)||^2+\lambda\int_a^b [f''(t)]^2dt$$f(x)$$f(x_i)=\sum_j\alpha_j h_j(x_i)$$B$

ここで、$\Omega_{ij}=\int_a^b h_j^{\prime\prime}(t) h_i^{\prime\prime}(t)dt$です。

ここに私の推論があります。p> nであるため、$B$はランクが不足していることがわかります。これは、B ^ TBもランクが低いことを意味します。また、少なくとも1つの固有値が0で、正の半定値であることを示すこともできます。$p>n$$B^TB$

しかし、\ Omegaについて推論する方法がわからない、$\Omega$または$B^TB+\lambda\Omega$が\ lambda> 0の PDであることを示すことができないので、今は行き詰まっています$\lambda>0$。私は$\Omega$がグラム行列であることを知っていますが、$\Omega$がPSD であることを示す場合にのみ、私たちを取得します。

ことを示す PDがあることを示すにのぼるです PDです。（コメントで指摘してくれたMatthew Gunnに感謝します。）$B^TB+\lambda\Omega$$\Omega$

これは、場合、はランクが不足しているため、PSDであるためです。これは、2次形式をとして書き換えることができるためです。任意の実数の非負です。つまりとなりこれは、がPDの場合、、数量は、非負の数と正の数の合計であり、正でなければなりません。したがって、がPDである限り、はPDです。$B^TB$$p>n$$a^TB^TBa\ge0\forall a\in\{\mathbb{R}^n\setminus0\}$$||Ba||_2^2\ge0$$a^T(B^TB+\Omega)a=a^TB^TBa+a^T\Omega a >0$$\Omega$$a^T\Omega a>0$$a^TB^TBa+a^T\Omega a$$B^TB+\Omega$$\Omega$

したがって、について推論する必要があります。グラム行列の定義に適合します。これは、関数の標準の内積によって与えられるためです（質問で規定されています）。基底関数は線形に独立しているため（基底を形成するため）、はPDです。$\Omega$$\Omega$

$\Omega$は、列が独立している場合のPDです。書くことができますベクトルならば直線的にしている依存、我々は持っているのためのいくつかのため線形依存性の定義によると、は、行列式の性質によります。$\Omega=A^TA.$$A$$\Omega a=A^TAa=A^T0=0$$a\neq 0$$Aa=0$$|\Omega|=|A^TA|=|A|^2=0$

これがすべての当てはまることを示すのは簡単です。正の数は乗算で閉じられるため、すべて同じ引数が適用されます。$\lambda>0$