圧縮センシングとスパースコーディング

明らかに、「圧縮センシング」と呼ばれる同じフィールドを参照するために使用される異なる用語があります（このWikiページを参照）：圧縮センシング、圧縮サンプリング、またはスパースサンプリング。「スパースセンシング」についてはどうでしょうか。

それにもかかわらず、インターネット検索の結果、「スパースコーディング」と呼ばれるものは、上で引用した他の用語の「圧縮センシング」フィールドを指していないようです。

圧縮センシングとスパースコーディングの違いは本当にありますか？

辞書学習についてはどうですか？

いくつかの参考文献に説明があります。

• Scholarpediaに記載されている神経学的解釈
• スタンフォード大学の教師なし機能学習および深層学習チュートリアル

辞書学習のコンテキストで用語の定義を見ると、たとえばK-SVD：Algorithm for Designing Overcomplete Dictionaries for Sparse Representationのように、用語が定義されます。

スパースコーディングは、表現係数を計算するプロセスです $\mathbf x$ 与えられた信号に基づいて $\mathbf y$ そして辞書 $\mathbf D$。

したがって、スパースコーディングは、特定のディクショナリで特定の信号のスパース表現を見つける操作です。圧縮センシングに関しては、これが用語の最も適切な解釈であるように私には思われます。このように、スパースコーディングは圧縮センシングと密接に関連していますが、圧縮センシングは、理論が示すように、このケースでは高い確率で正しい解である、決定されていない線形方程式のセットに対する最もスパースな解を見つけることを特に扱います。スパースコーディングは、十分に決定されていない方程式のセットを必ずしも処理しないという意味で、より一般的です。

あなたが正しく指摘したように圧縮センシング、圧縮サンプリングを、まばらなサンプリングがすべて同じものを意味します。一部の著者は、これをスパースセンシングと呼んでいます。圧縮センシングの背後にある考え方は、ごくわずかな線形測定からスパース信号を回復できるということです。シンボルで、もし$\mathbf x$ です $N\times 1$ 疎$^\ddagger$ ベクトル、および $\mathbf A$ は $M\times N$ 行列 $M\ll N$、そして私たちは測定します $\mathbf y=\mathbf{Ax}$、そして圧縮センシング理論は私たちに伝えます$^\dagger$ 正確に回復できること $\mathbf x$ から $\mathbf y$。これは、少数の測定から元の信号を復元できると記載されているため、注目に値します。

一方、辞書学習は、大量のデータベクトルを簡潔に表現するというまったく異なる問題を扱います。データベクトルのセットが与えられた場合$\{\mathbf x_1, \mathbf x_2,\ldots, \mathbf x_K\}$、別のベクトルのセットを見つけたい $\{\mathbf v_1, \mathbf v_2,\ldots, \mathbf v_L\}$ （「アトム」と呼ばれます）そのような各データベクトル $\mathbf x_i$ これらの線形結合として表すことができます $\mathbf v_j$の。アトムのセットは辞書と呼ばれます。ここでの目標は、データベクトルの数よりもはるかに小さい辞書を学習することです$^*$ すなわち $L < K$。

辞書内の原子のセットとベクトルを考える $\mathbf y$、の目標スパースコーディングは表現するためにあります$\mathbf y$ 可能な限り少ない原子の線形結合として。

最後に、スパース辞書学習は、辞書学習とスパースコーディングの組み合わせです。ここでの目標は2倍である：データベクトルの集合の節約的な表現を発見し、各データベクトルは、可能な限りの原子の数などの線形結合として書くことができることを保証します。

圧縮センシングv / sスパースコーディング
これらの手法はどちらもスパース表現の検索を扱いますが、微妙な違いがあります。

圧縮センシングは、明確に決定されていない線形方程式系、つまり元の信号よりも少ないデータ点を解くという問題に対処します。未知のスパース信号から$\mathbf x$ およびセンシングマトリックス $\mathbf A$、データベクトルを観察します $\mathbf y = \mathbf{Ax}$。 $\mathbf A$列より行が少ない。圧縮センシング理論は、次の種類の質問の質問を扱います。

1. 十分に決定されていない線形方程式のセットが解けるのはどのような条件下で、どのようにしてノイズロバストで計算的に扱いやすい方法でそれを解くのでしょうか？

2. センシングマトリックスの設計方法 $\mathbf A$ 様々な用途に？

対照的に、スパースコーディングは設計の問題を扱いません $\mathbf A$。さらに、十分に決定されていない方程式系を解くことには興味がありません---$\mathbf A$ 列よりも多くの行を含めることができます。$^\%$

参照：

圧縮センシング[講義ノート]

辞書学習

スパースコーディングのためのオンライン辞書学習

脚注：

$^\ddagger$ スパースとは、ベクトルに非ゼロ要素がほとんどないことを意味します。

$^\dagger$ $\mathbf A$ そして $M$ いくつかの技術的条件を満たす必要があります。

$^*$フーリエ変換などの標準的な変換方法とは異なり、辞書学習はデータ適応型です。フーリエ変換を行う場合、基底ベクトルは$\mathbf v_j$は事前に固定されています（複雑な指数関数）。辞書学習では、データから学習します。

$^\%$ これは、完全すぎる辞書と呼ばれます。