なぜデフォルトの行列ノルムはフロベニウスノルムではなくスペクトルノルムですか？

ベクトルノルムでは、L2ノルムまたは「ユークリッド距離」が広く使用されている直感的な定義です。しかし、なぜマトリックスの「最も使用される」または「デフォルト」のノルム定義はスペクトルノルムであり、フロベニウスノルムではありません（ベクトルのL2ノルムに似ています）。

それは反復アルゴリズム/行列パワーと関係がありますか（スペクトル半径が1より小さい場合、アルゴリズムは収束します）？

「most used」、「default」などの単語については、常に議論の余地があります。上記の「デフォルト」という言葉は、Matlabfunctionのデフォルトの戻り値型から来ていますnorm。ではR、マトリックスのデフォルトノルムL1ノルムです。どちらも私にとって「不自然」です（マトリックスの場合、それはより「自然」に思えます $\sqrt{\sum_{i,j}a^{2}_{i,j}}$ はベクターのように）。（@usεr11852と@whuberのコメントに感謝し、混乱をおかけして申し訳ありません。）
マトリックスノルムの使用法を拡張して、もっと理解するのに役立つでしょうか？

matrix linear-algebra

— ハイタオドゥ
ソース

スペクトルノルムが最も広く使用されているかどうかはわかりません。例えば、フロベニウスノルムはNNMFに使用され、通常Pos.Defではないcorr / covariance行列に解を近似するときに使用されます。Posになるように正規化されます。Def。一般に、Forbeniusノルムはそれ自体が「要素ごとの」ノルムであり、スペクトルノルムは固有値に基づいているため、もう少し「普遍的」ですが、これは意見の問題です。たとえば、ジェントルの「マトリックス代数」には、「フロベニウスノルム-「通常の」ノルム」という名前の章があります。したがって、明らかに、スペクトルノルムはすべてのデフォルトノルムではありません。

— usεr11852が復活モニック言う

L_{2}

$L_2$

L_{2}

$L_2$

| | A | |_{2} = max_{| | x | |_{2} = 1} | | A x | |_{2}

$||A||_2 = \max\limits_{||x||_2 =1} || Ax||_2$ norm

デフォルトはユークリッドであり、最も一般的に使用されるのはスペクトルであることに同意しません。

— アクサカル

私はこの質問に困惑しています。なぜなら、マトリックスの基準がどのように好みや使用方法の問題であるかを理解できないからです。特定のノルムが問題に関連する場合は、それが使用されます。別のものが関連する場合は、それが使用されます。明確な問題やアプリケーションを念頭に置いていない場合、この質問がどのように答えられるかわかりません。

— whuber

@usεr11852それを指摘してくれてありがとう。質問のテキストにそのような情報をすべて含めることが重要です。特にコメントが多い場合は、コメントを読んでいる人に頼らないでください。ちなみに、私のコピーの「norm {base}」のヘルプページには、スペクトル標準ではなく、標準がデフォルトとしてRリストされています。

L^{1}

$L^1$

— whuber

回答:

一般に、スペクトルノルムが最も広く使用されているかどうかはわかりません。たとえば、フロベニウスノルムは、非負行列因数分解または相関/共分散行列正則化の解を近似するために使用されます。この質問の一部は、フロベニウスのノルムをユークリッド行列のノルムと呼ぶ際に、一部の人々が行う用語の軽de（私自身も含む）に起因すると考えています。実際には、行列ノルム（つまりスペクトルノルム）は、ベクトルノルムを使用するときに行列に誘導されるものであるため、すべきではありません。フロベニウスのノルムは要素単位です：、 $L_2$ $L_2$ $||A||_F = \sqrt{\sum_{i,j}a_{i,j}^2}$ $L_2$ 行列ノルム（）は特異値に基づいているため、より「普遍的」です。（より良い用語の幸運のため？）行列ノルムはユークリッドベクトルノルムによって誘導されるため、ユークリッドタイプのノルムです。ここで、。それゆえ誘起ノルム行列に対して、それがされているため、誘導されたことにより、ベクトルノルム、このケースではベクトルノルム。 $||A||_2 = \sqrt{\lambda_{max}(A^T A)})$ $L_2$ $||A||_2 = \max\limits_{||x||_2 =1} || Ax||_2$ $L_2$

おそらく、 MATLABは、コマンドの使用時にデフォルトでノルムを提供することを目指しています。結果として、ユークリッドベクトルのノルムだけでなく、マトリックスのノルムも提供します。誤って引用された「フロベニウス/ユークリッド行列ノルム」ではなく、スペクトル行列ノルム。最後に、デフォルトの基準はある程度の意見の問題であることに注意してください。たとえば、JE Gentleの「マトリックス代数-統計の理論、計算、およびアプリケーション」には、文字通り「フロベニウス」という章（3.9.2）がありますノルム-「通常の」ノルム $L_2$ norm $L_2$ ";したがって、スペクトルノルムは、考慮されるすべての関係者のデフォルトのノルムではありません！:) @amoebaがコメントしたように、コミュニティごとに異なる用語規則があります。Gentleの本は、統計のLin。Algebraアプリケーションです。さらに詳しく調べるように促します。

— usεr11852によると、Reinstate Monic
ソース

素晴らしい答え!! は私を大いに助けてくれました！

‖ A ‖_{2} = max_{‖ x ‖_{2} = 1} ‖ A x ‖_{2}

$\|A\|_2=\max_{\|x\|_2=1}\|Ax\|_2$

— ハイタオデュ

お手伝いできてうれしいです。提供される他の回答にも注意してください。彼らは非常に洞察力に富んでいます。

— usεr11852が復活モニック言う

答えの一部は数値計算に関連している場合があります。

システムを有限精度で解くと、その問題に対する正確な答えが得られません。有限演算の制約により近似が得られるため、何らかの適切な意味でとなります。それでは、あなたのソリューションは何を表していますか？まあ、それはうまくかもしれ正確のようないくつかの他のシステムへの解決策ですから用：有用性を持つように、チルダ-システムが近い元のシステムにある必要があります アルゴリズムの 場合

A x = b

$Ax=b$

\tilde{x}

$\tilde x$

A \tilde{x} \approx b

$A\tilde x \approx b$

\tilde{A} \tilde{x} = \tilde{b}

$\tilde A \tilde x = \tilde b$

\tilde{x}

$\tilde x$

\tilde{A} \approx A, \tilde{b} \approx b

$\tilde A \approx A, \quad \tilde b \approx b$ 元のシステムを解くと、その特性が満たされるため、後方安定と呼ばれます。現在、不一致、大きさの正確な分析は、最終的にとして表される境界上のエラーにつながります、。一部の分析では、ノルム（最大列の合計）が最も簡単にプッシュでき、他の分析では、ノルム（最大行の合計）が最も簡単にプッシュできます（線形システムの場合のソリューションのコンポーネントの場合）など）、さらに他の場合、スペクトルノルムが最も適切なものです（従来の

\tilde{A} - A

$\tilde A-A$

\tilde{b} - b

$\tilde b-b$

‖ \tilde{A} - A ‖

$\| \tilde A-A \|$

‖ \tilde{b} - b ‖

$\| \tilde b-b\|$

l_{1}

$l_1$

l_{\infty}

$l_\infty$

l_{2}

$l_2$

l_{2}

$l_2$ 別の回答で指摘されているように、ベクトルノルム）。対称psd行列反転の統計計算の作業馬、コレスキー分解（トリビア：最初の音はギリシャ文字「chi」のように[x]であり、「チェイス」のように[tʃ]ではありません）、エラー境界を追跡するのはノルムです...ただし、フロベニウスのノルムは、パーティション分割の反転などの一部の結果でもポップアップします。

l_{2}

$l_2$

— StasK
ソース

+1、特にトリビア用。私はいつも[k]で始まると思っていました。私は今それを調べましたが、どうやらアンドレ=ルイ・コレスキーはポーランド人でした（フランスで生まれました）。ショパンのように、それは「sh」の音ではないでしょうか？しかし、ロシア語ではコレスキーは実際に「Холецкий」と書かれています。

— アメーバは、モニカを復活させる

私はそれを取り戻します。ショパンの父親はフランス語だったことが判明したため、姓のフランス語の発音がわかりました。しかし、コレスキーの両親はポーランド人であり、ポーランド語では[ ]で発音されるべきでした。乾杯。

χ

$\chi$

— アメーバは、モニカを復活させる

うん...私はポーランド人のファーストネームを持つロシア人として、そして最初にそれがラテン文字で綴られるのを見る前に10年かそこらそのロシアの綴りを最初に読んだので、私はそれをどのように発音するか考えているだろうと思いました;）

— StasK

誰がそれを発音するかを気にします、ただいまいましいものを使ってください。

— マークL.ストーン

これに対する答えは、あなたがにしているフィールドによって異なりますが、数学者であれば、それから。有限次元のすべての規範が等価である：任意の二つの規範のためにと、そこに次のような次元（およびa、b）のみに依存する定数が存在します。 $\|\cdot\|_a$ $\|\cdot\|_b$ $C_1,C_2$

C_{1} ‖ x ‖_{b} \leq ‖ x ‖_{a} \leq C_{2} ‖ x ‖_{b} .

$C_1\|x\|_b\leq \|x\|_a\leq C_2\|x\|_b.$

これは、有限次元の規範は非常に退屈であり、それらがスケーリングする方法を除いて本質的にそれらの間に違いがないことを意味します。これは通常、解決しようとしている問題に最も便利な基準を選択できることを意味します。通常、「この演算子またはプロシージャは制限されていますか」または「この数値プロセスは収束しますか？」などの質問に答えます。有界性では、通常、何かが有限であることにだけ気を配ります。収束では、収束の速度を犠牲にすることにより、より便利な標準を使用することを選択できます。

たとえば、数値線形代数では、フロベニウスノルムは、ユークリッドノルムよりも計算がはるかに簡単であり、より広いクラスのヒルベルトシュミット演算子と自然に接続するため、好まれることもあります。また、ユークリッドノルムのように、それはです：、たとえば最大ノルムとは異なり、何でも演算子の乗算について簡単に話すことができます人々は、ノルムとフロベニウスノルムの両方を本当に好む傾向があります。なぜなら、彼らは、行列の固有値と特異値の両方に自然な関係があり、また、乗法的でないからです。 $\|AB\|_F\leq \|A\|_F\|B\|_F$ $p=2$

以下のための実用的な目的で、規範との違いは、私たちは次元の世界に住んでいるので、より顕著になり、通常、一定量がどのように大きな問題と、それがどのように測定しています。これらの定数それがどれだけ、多かれ少なかれ一定の規範重要になってくるので、上記、正確にタイトではありませんが比較される。 $C_1,C_2$ $\|x\|_a$ $\|x\|_b$

— アレックス・R
ソース

残念なことに、コンピュータサイエンスの博士号を持つ人も含めて、「同等」という用語は、通常のように誤解される可能性があり、誤解されています。私は2ノルムを使用して特定の非自明な計算を実装する必要がありましたが、この男は1ノルムを使用してソリューションを作成しました。まあ、（最大）係数でオフにすることは私にとって適切ではありませんでした。そのアプリケーションでは、1倍だけオフにする余裕がありました。

\sqrt{n}

$\sqrt{n}$

— Mark L. Stone

@ MarkL.Stone：そうです。したがって、理論的（実際：トポロジカル）と実用的の区別です。

— アレックスR.

@ MarkL.Stone：+1明らかに彼は自分のコードを単体テストしていませんでした。:)（素敵な逸話！テクニカルコンピューティングでの通信ミスについて話すとき、私は間違いなくそれを使用します！）

— usεr11852によると、Reinstate Monic

@usεr11852ハハ、いや、それよりも悪い。彼は、1-ノルムに基づく計算を正しく実装するようにコードを「ユニットテスト」しました。誤った基準を使用したため、システムレベルの試験に失敗しました。

— マークL.ストーン

@ MarkL.Stone：ああ...それは残念だ！そうは言っても、特定のハードウェア構成などを使用していたかどうかはわかりませんが、最初から標準計算をコーディングすることから始めましょう。そのような問題を完全に回避するために使用すべき数学ライブラリがあります。

— usεr11852が復活モニック言う