圧縮センシングのアナログ

圧縮センシング、目標は、入力信号が圧縮（「スケッチ」）から効率的に回収することができるように、疎表現を有することが知られている巨大な入力信号の線形圧縮方式を見つけることです。より正式には、標準セットアップでは、信号ベクトルがあり、そのであり、圧縮表現はに等しく、AはR行n列の実数です。R \ ll nが必要な行列。圧縮センシングの魔法は、任意のkの高速（線形時間に近い）正確な回復を可能にするようにAを明示的に構築できることです。$x \in \mathbb{R}^n$A X A R N R « N A $\|x\|_0 < k$$Ax$$A$$R$$n$$R \ll n$$A$$k$-sparse $x$と$R$のような小さなとして$O(k n^{o(1)})$。最もよく知られているパラメーターはないかもしれませんが、これは一般的な考え方です。

私の質問は、他の設定でも同様の現象がありますか？つまり、入力信号は、必ずしもスパース性とは限らない複雑さの尺度に従って、「低複雑度ファミリ」から来る可能性があるということです。次に、必ずしも線形マップではない、効率的で正しい圧縮および解凍アルゴリズムが必要です。そのような結果は別の文脈で知られていますか？圧縮センシングのより「一般的な」理論についてはどう思いますか？

（もちろん、圧縮センシングのアプリケーションでは、線形性とスパース性が重要な問題です。ここで尋ねる質問は、より「哲学的」です。）

あなたの質問は、「正確な」回復問題に対処しています（正確に与えられたAxを k-sparse xから回復したいです）。私は「堅牢」バージョン、に焦点を当てますけれども、以下では、xは任意のベクトルと回復アルゴリズムの目標である見つけることであるK -sparse近似値x」のへのx（この区別は実際には、以下の議論のいくつかのために重要）。正式に問題を追跡したい（P_1と呼びます）：$x$$Ax$$x$$k$$x'$$x$$P_1$

任意のxに対してx 'を復元できるように設計する（ここで \ | x-x' \ | _L \ le$A$$x$$x'$$\|x-x'\|_L \le$

$\min_{x"} C \|x-x"\|_R$、ここではすべてのスパースベクトルの範囲です。$x"$$k$

ここで、 および は左右のノルムを示し、 は「近似係数」です。はさまざまな選択肢があります および 。具体的には、両方ともまたは等しいと考えることができます。しかし、さらに面倒になります。$\| \cdot \|_L$$\| \cdot \|_R$$C$$\| \cdot \|_L$$\| \cdot \|_R$$\ell_2$$\ell_1$

アナログと一般化のいくつかについて説明します。

任意ベース。まず、上記の定義を満たす任意のスキームを使用して、復元された信号が標準的なものだけでなく、任意の基底（たとえば、フーリエのウェーブレット）でスパースであるより一般的な問題を解決できることを観察します。してみましょう基底行列とします。正式に、ベクトルある基底に-sparse場合はある -sparseを。これで、一般化された問題（と呼ぶ）を検討できます。$x'$$B$$u$$k$$B$$u=Bv$$v$$k$$P_B$

が与えられ、を復元できるように設計しここで$A_B$$A_B x$$x'$$\|x-x'\|_L \le$

$\min_{x"} C \|x-x"\|_R$、ここで は疎なすべてのベクトルにわたる 。$x"$$k$$B$

基底を変更する、つまり測定行列を使用することで、この問題を以前の問題減らすことができます。我々は解決策がある場合はでノルムを（すなわち、左右の規範に等しい）、我々はまた、解決策を得るでノルムを。が他のノルムを使用する場合、基底を変更することにより修正されたそれらのノルムのを解きます。$P_1$$A_B = A B^{-1}$$P_1$$\ell_2$$\ell_2$$P_B$$\ell_2$$P_1$$P_B$

上記の1つの注意点は、上記のアプローチでは、を定義するために行列を知る必要があるということ。おそらく驚くべきことに、ランダム化を許可すると（は固定ではなく、ランダムに選択される）、から独立した固定分布からを選択することができます。これは、いわゆる普遍性のプロパティです。$B$$A_B$$A_B$$A_B$$B$

辞書。次の一般化は、が基底であるという要件を削除することで取得できます。代わりに、に列よりも多くの行を持たせることができます。このような行列は、（過剰な）辞書と呼ばれます。人気のある例の1つは、フーリエ行列の上にある単位行列です。別の例は、行が{1 ... n}のすべての区間の特性ベクトルである行列です。この場合、集合{ }にはすべての「 -histograms」、つまり、最大個の部分を持つ{1 ... n}上の区分的定数関数が含まれます。$B$$B$$Bu: \mbox{u is k-sparse}$$k$$k$

私の知る限り、このようなarbitrary意的な辞書には一般的な理論はありませんが、このトピックについてはかなりの作業があります。たとえば、 Candes-Eldar-Needell'10または Donoho -Elad-Temlyakov、IEEE Transactions on Information Theory、2004年を参照してください。

ヒストグラムのスケッチは、ストリーミングおよびデータベースの文献、たとえばGilbert-Guha-Indyk-Kotidis-Muthukrishnan-Strauss、STOC 2002または Thaper-Guha-Indyk-Koudas、SIGMOD 2002で広範囲に調査されました 。

モデル。（Arnabも言及）。別の一般化は、スパースパターンに制限を導入することです。ましょの部分集合である {1個の... N}の-subsets。私たちは、と言うされた支援場合-sparseの要素に含まれる。これで問題を引き起こすことができます（と呼びます）：$M$$k$$u$u M P $M$$u$$M$$P_M$

任意のを復元できるように設計ここで、X 、X " ‖ X - X " ‖ L$A$$x$$x'$$\|x-x'\|_L \le$

X $\min_{x"} C \|x-x"\|_R$、ここではすべての個のスパースベクトルの範囲です。$x"$$M$

たとえば、の要素はの形式で、各は長さの{1 ... n}の「サブブロック」に対応します。つまり、はいくつかのに対して{jb + 1 ...（j + 1）b}という形式。これは、いわゆる「ブロックスパース性」モデルです。 I 1 ∪ ... ∪ 私はkを私に私を bのI I$M$$I_1 \cup \ldots \cup I_k$$I_i$$b$$I_i$$j$

モデルの利点は、一般的な -sparsityアプローチと比較して、測定回数を節約できることです。これは、個のスパース信号のスペースがすべてのスパース信号のスペースよりも小さいため、行列が保持する情報が少ないためです。詳細については、 Baraniuk-Cevher-Duarte-Hegde、IEEE Transactions on Information Theory、2010または Eldar-Mishali、IEEE Transactions on Information Theory、2009を参照してください。M k $k$$M$$k$$A$

お役に立てれば。

圧縮されたセンシングは、行列補完と呼ばれる非可換設定に一般化されています。正確な設定では、スパース性の代わりに低ランクを持つことが知られている未知の行列が与えられます。目標は、最悪の場合に必要なではなく、マトリックスの係数のみをサンプリングすることにより、このマトリックスの特異値と特異ベクトルを再構築することです。 M R « M 、N R 〜O（R M + R N ）O （M N $m \times n$$M$$r \ll m,n$$r$$\tilde{O}(rm+rn)$$O(mn)$

特異ベクトルが、マトリックス要素をサンプリングする基礎と十分に「非干渉性」（大まかに、あまりうまく整合していない）場合、標準の圧縮センシングと同様に、凸プログラムを解くことで高い確率で成功することができます。この場合、シャッテン1ノルム、つまり特異値の合計を最小化する必要があります。

この問題には、たとえば、オンライン書店の顧客に他の顧客が生成したわずかな評価のみを知ることから、書籍の推奨事項を提供するなど、多くのアプリケーションがあります。このコンテキストでは、行と列はそれぞれ本と顧客によってラベル付けされています。いくつかの目に見えるマトリックス要素は、以前に購入した本の顧客評価です。マトリックスは、通常、少数の主な要因のみが好みに影響を与えると考えているため、低ランクであると予想されます。完了することで、ベンダーはどの書籍が欲しいかについて正確な予測をすることができます。M $M$$M$$M$

良い出発点は、Candésand RechtによるConvex Optimizationによる正確なマトリックス補完の論文です。また、マトリックス空間の任意のベースでサンプリングできる、非常にクールな一般化もあります。David Grossによるこの論文、Recovering low-rank matrix from少数の係数から任意の基底で、この一般化を使用して行列の完成の証明を大幅に単純化し、いくつかの基底では、インコヒーレンスの仮定も削除できます。その論文には、サンプリングの複雑さに関するこれまでの最高の限界も含まれています。任意の基準でサンプリングするのは奇妙に聞こえるかもしれませんが、実際には量子力学の設定では非常に自然です。たとえば、この論文の圧縮センシングによる量子状態トモグラフィーを参照してください。

多様体ベースの圧縮センシングがあり、スパース状態は、データが信号の自然空間の低次元部分多様体上にあるという条件に置き換えられます。スパース性は、特定の多様体（実際には割線多様体）にあると表現できることに注意してください。

たとえば、このペーパーとその導入部のリファレンスを参照してください。（この論文がこの分野を代表するものかどうかは確かにわかりません-Niyogi-Smale-Weinbergerのような多様体ベースの分類器の関連トピックに精通しています。）

私が質問を提起した一般性のレベルで、トレビザン、バダン、ザッカーマンによる論文「圧縮可能なソースの圧縮」（2004）も、1つの可能な答えとして適格であると思います。多くの場合、入力文字列のソースの複雑度が低い場合（たとえば、ログスペースマシンでサンプリング可能）、多項式時間で圧縮および解凍して、ソースのエントロピーから加算定数を長くできることが示されています。

しかし、圧縮センシングをより大きな圧縮の理論に入れることができるかどうかは本当にわかりません。

圧縮センシングの1つの類似点は、非常に小さなサンプルサイズから高次元の重みベクトル（たとえば、分類/回帰）を推定しようとする機械学習です。そのような設定で一次方程式の未決定システムに対処するために、通常、学習中の重みベクトルにスパース性を適用します（l0またはl1ペナルティを使用）。接続を確認するには、機械学習による次の分類/回帰の問題を考慮してください。

D次元のN個の例（D >> N）をそれぞれNxD行列Xとして表します。N個の応答（例ごとに1つ）をNx1ベクトルYとして表します。目標は、次の方程式を介してDx1ベクトルtheta ：Y = X *θ

次に、この問題と圧縮センシング（CS）の類似性を示します。D次元ベクトル（CSの未知の「信号」に類似）であるthetaを推定/測定する必要があります。これを推定するには、行列X（CSの設計行列に類似）とN 1-D測定値Y（CSの圧縮信号に類似、D >> Nである）を使用します。

参照：http : //www.damtp.cam.ac.uk/user/na/people/Anders/Inf_CS43.pdf