どのようなものがあり

最近、スパース表現に関する多くの論文を目にしており、それらのほとんどはノルムを使用し、いくつかの最小化を行っています。私の質問は、ノルムと混合ノルムとは何ですか？そして、それらは正則化にどのように関連していますか？ℓ のp ℓのP 、$\ell_p$$\ell_p$$\ell_{p, q}$

ありがとう

$\ell_p$ノルムは、ベクトルを取り、非負の数を返す関数です。これらは、として定義されます。p= ​​2の場合、これはユークリッドノルムと呼ばれます。ユークリッド距離を\ | \ vec x-\ vec y \ | _2として定義できます。とき、P = \ inftyの、これだけの手段\ | \ VEC X \ | _ \ inftyの= \ sup_i X_I（または\ MAX_I X_I）。厳密に言えば、\ | \ vec x \ | _pがノルムであるためには、pは少なくとも1でなければなりません。もし0 <p <1 、その後、\ | \ VEC X \ | _p

$$\|\vec x\|_p = \left(\sum_{i=1}^d |x_i|^p\right)^{1/p}$$ $p=2$$\|\vec x - \vec y\|_2$$p = \infty$$\|\vec x\|_\infty = \sup_i x_i$$\max_i x_i$$p$$\|\vec x\|_p$$0 < p < 1$$\|\vec x\|_p$ ノルムは三角形の不等式を満たす必要があるため、実際にはノルムではありません。

（ベクトルやシーケンスの代わりに関数を除いて、同様に定義されるノルムもあります-ベクトルは有限領域を持つ関数なので、これは実際には同じことです。）$L_p$

私は、を除いて、である機械学習アプリケーションでのノルムの使用法を知りません。通常、または。または、場合を緩和したい場所でになることもあります。はで厳密に凸ではありませんが、は凸です。これにより、特定の場合にソリューションを「より簡単に」見つけることができます。$p > 2$$p = \infty$$p = 2$$p = 1$$1 < p < 2$$p = 1$$\|\vec x\|_1$$\vec x$$\|\vec x\|_p$$1 < p < \infty$

正則化のコンテキストで、目的の関数にを追加すると、がスパースである、つまり、ほとんどがゼロで構成されると期待していることになります。それは少し技術的ですが、基本的に、密なソリューションがある場合、同じ基準のスパースなソリューションが存在する可能性があります。ソリューションの密度が高いことが予想される場合は、を目的に追加でき ます。これは、その導関数での作業がはるかに簡単になるためです。どちらも、解が重すぎないようにする目的に役立ちます。$\|\vec x\|_1$$\vec x$$\|\vec x\|_2^2$

複数のソースを統合しようとすると、混合基準が入ります。基本的には、解ベクトルをいくつかの部分で構成する必要があります。ここで、はソースのインデックスです。ノルムだけである全てのノルムベクトルに収集-norms。つまり、$\vec{x}^j$$j$$\ell_{p,q}$$q$$p$

$$\|\vec x\|_{p,q} = \left( \sum_{j = 1}^m \left( \sum_{i=1}^d |x_i^j|^p\right)^{q/p}\right)^{1/q}$$

これの目的は、たとえばを使用して、ソリューションのセットを「過剰分散」することではありません。個々の部分はまばらですが、すべての解のノルムを取ることで、解ベクトル全体を無理に操作するリスクはありません。したがって、代わりに外側でノルムを使用します。$\|\vec x\|_{1,2}$$1$$2$

お役に立てば幸いです。

詳細については、このペーパーを参照してください。