ノルム

13

ためノルムが（少なくとも部分的に）ユニークで非凸と凸との間の境界にあります。ノルムが「最もまばらな」凸規範（右？）です。 $L_1$ $p=1$ $L_1$

私はそれを理解し、ユークリッドノルムが幾何学にルーツを持ち、寸法が同じ単位を持っている場合には、明確な解釈を持っています。しかし、他の実数よりも優先的に使用される理由がわかりません：？？完全な連続範囲をハイパーパラメーターとして使用しないのはなぜですか？ $p=2$ $p>1$ $p=1.5$ $p=\pi$

私は何が欠けていますか？

regression regularization sparse

— トレントン
ソース

1

具体的には、どのアプリケーションで「優先的に使用」されますか？規範は、数学、統計、物理学のいたるところにあります。一部のサブフィールドでは、作業がより有意義または簡単であるため、一部の規範が他の規範よりも普及しています。このため、この質問への回答は多数あり、さまざまです（実際、非常に多様であるため、個人的には回答できません）。したがって、私はこれを「コミュニティWiki」（CW）の投稿にしました。しかし、特定のアプリケーションまたは狭い分野を念頭に置いている場合は、質問をより正確にすることで、CWステータスを削除できるはずです。

— whuber

12

より数学的な説明は、pノルムに収束するすべての級数で構成される空間、ヒルベルトだけであり、他の値はないということです。これは、この空間が完全であり、その空間の標準が内積によって誘導される可能性があることを意味します（よく知られているドット積を考えてください）。 $l^p$ $p=2$ $R^n$

— JohnK
ソース

4

いくつかの理由があります。

それは非常に特別な方法で内積に関係しています：それはそれ自身の二重規範です（すなわち、それは「自己二重」です）。
あなたは内部のすべてのベクトルを検討している場合、この手段ユニットのボールを、任意のベクトルとの最大の内積あるのノルムそのもの。以下fancily、それを満たす性質その。他のノルムは、このように動作しません。 $\ell_2$ $z$ $\ell_2$ $z$ $\lVert x\rVert_2^2 = x \cdot x$ $\ell_p$
それは持っている非常に便利ななめらかグラデーションを：あなたは本当にそれを打つことができません！
$\nabla_{x} ‖ f (x) ‖_{2}^{2} = 2 \nabla f (x) \cdot f (x)$ $\nabla_x\ \lVert f(x)\rVert_2^2 = 2 \ \nabla f(x) \cdot f(x)$

— user541686
ソース

2

さらに多くの理由がある可能性がありますが、次の理由からAFAIK p = 2が推奨されます。

類似性/非類似性の尺度： p = 2の場合、ユークリッドノルムは2つのベクトル間の類似性または非類似性の尺度を提供し、さらにデータに関するより良い洞察を得るために使用できます。これに関するより詳細な答えはここにあります。
正則化： L2ノルムは、機械学習の正則化に使用され、2つの理由から好まれます。1）容易に微分可能である2）L2正則化では、重みは重みに比例して減少する傾向があります。したがって、L2正則化は、小さい重みに比べて大きい重みにペナルティを科します。

— enterML
ソース

1

線形モデルでの二乗誤差は、次の理由でしばしば好まれます。

ノイズとみなされるいくつかのランダムな現象（無相関性）に関して適切に動作する直交性との関係
ではなく凸で微分可能 $L_1$
導関数が線形システムに変わるときに、扱いやすい最適化アルゴリズムを生成します

$L_1$ $\ell_1$ $\ell_p$ $0<p<1$

$\ell_0$ $\ell_0$ $0$ $\ell_p$ $1$ $\ell_p \to \ell_0$ $p\to 0$

$\ell_1 / \ell_2$ $\ell_1 / \ell_2$

— ローラン・デュバル
ソース