高品質ノイズ除去に使用される凸最適化問題の解決

8

この質問に対する最高投票数の回答は、鋭い遷移を維持しながら信号のノイズを除去するには、

目的関数を最小化します。

$| x - y |^{2} + b | f (y) |$ $|x-y|^2 + b|f(y)|$
ここで、 $x$ はノイズの多い信号、 $y$ はノイズ除去された信号、 $b$ は正則化パラメーター、 $|f(y)|$ いくつかのL1標準ペナルティです。ノイズ除去は、この最適化問題の解 $y$ を見つけることによって行われ、 $b$ はノイズレベルに依存します。

しかしながら、特に信号が例えば1000万サンプルの長さである場合、それが非常に高次元の空間における問題であるので、実際にそれをどのようにして達成することができるかを示すものはありません。実際には、この種の問題はどのようにして大きな信号に対して計算で解決されますか？

— ジョン・ロバートソン
ソース

ランタイムに関心がありますか？それ以外の場合、関数を最小化する方法に関する反復は非常に広範囲です（Levenberg-Marquardt、Nelder-Meadなどが思い浮かびます）。このために特別に作成されたいくつかの変更バージョンもあります。

— タン

実は、以下の方に質問があります。遅いだけでなく、Levenberg-MarquardtやNelder-Meadのような問題は何ですか？これらは一般化されたオプティマイザなので、

数値で近似することもできます。

f

$f$

— タン

はい、ランタイムに関心がありますが、これらのメソッドを指摘してくれてありがとう。

— ジョンロバートソン

6

Boydには、大規模なℓ1正規化最小二乗問題のMatlabソルバーがあります。そこにある問題の定式化は少し異なりますが、この方法は問題に適用できます。

古典的なメジャー化-最小化アプローチもうまく機能します。これは、ソフトしきい値を繰り返し実行することに対応します（TVの場合、クリッピング）。

解決策はリンクから見ることができます。ただし、最適化に関する文献を多用することにより、これらの機能を最小限に抑える方法は数多くあります。

PS：他のコメントで述べたように、FISTAはうまく機能します。もう1つの「非常に高速な」アルゴリズムファミリは、主双対アルゴリズムです。例として興味深いChambolleの論文を見ることができますが、線形逆問題定式化の主双対法に関する研究論文は多数あります。

— デニス
ソース

「primal-dual」は正確に何を指しますか？

— Spacey

モハマド、私は逆問題のための主双対アルゴリズムを実装しませんでした。しかし、私が回答で言及したリンクからの例、Chambolleの論文を見ることができます。このペーパーから、primal-dualアルゴリズムが正確に何を意味するかを理解できます。これらの方法は、逆問題に対するもう1つの（そして高速に収束する）ソリューションを提供します。

— Deniz

f

$f$

ℓ_{1}

$\ell_1$

4

TVペナルティに関する最適化問題を解決するために、ASD-POCSなどの従来の反復法よりも収束率が高い、制約付き全変動画像ノイズ除去およびブレ除去問題の高速勾配ベースのアルゴリズム（FISTA）と呼ばれる最近提案されたアルゴリズムを使用します。

— チャオファン
ソース

1

リンクした参照のみが記事の購入を必要とするため、アルゴリズムについてさらに情報を追加することは可能ですか？

— Jason R

iew3.technion.ac.il/~becka/papers/71654.pdf

— chaohuang

@JasonR、基本的にはProxオペレーターのNesterov Accelerationです。本当にいい仕事です。

— Royi

3

$f(y)=\|y\|_1$

‖ x - y ‖^{2} + b ‖ y ‖_{1} = \sum_{i} (x_{i} - y_{i})^{2} + b \sum_{i} | y_{i} |,

$\|x-y\|^2 + b\|y\|_1 = \sum_i(x_i - y_i)^2 + b\sum_i |y_i|,$

最小化するには、合計の各エントリを最小化する必要があります。

\hat{y_{i}} = a r g m i n {(x_{i} - y_{i})^{2} + b | y_{i} |}

$\hat{y_i} = argmin \{(x_i-y_i)^2 + b|y_i|\}$

劣微分を使用すると、最小化子がしきい値ソフトしきい値演算子であることを示すことができます。これが、信号のノイズ除去のためにDonohoとJohnstoneによって提案された方法です。詳細については、論文「ウェーブレット収縮による理想的な空間適応」を参照してください。 $b$

したがって、この場合、信号を推定するためのより高度なソルバーは必要ないと思います。

— アレハンドロ
ソース

総変動ペナルティではなく、ノルムペナルティます。それはタイプミスですか？

L^{1}

$L^1$

| y_{i} |

$\vert y_i\vert$

| y_{i + 1} - y_{i} |

$\vert y_{i+1}-y_i\vert$

— ジョンロバートソン、

「そして| f（y）|はL1ノルムのペナルティである」という質問で、信号ノイズ除去の古典的なケースであるノルムをプラグインしただけです。しかし、私は質問を誤解しているかもしれません。

ℓ_{1}

$\ell_1$

— アレハンドロ

ええ、それはもっと明確だったかもしれません。その引用では、は信号全体の関数であり、必ずしも信号の各コンポーネントで実行される関数ではありません。つまり、は異なる信号サンプルを組み合わせることができます。例：は完全に正当です。

f

$f$

f

$f$

f (x_{0}, x_{1}, . . .) = (x_{1} - x_{0}, x_{2} - x_{1}, . . .)

$f(x_0,x_1,...)=(x_1-x_0,x_2-x_1,...)$

— ジョンロバートソン

そうですか。がノルムである特定のケースの場合、私の回答を追加します。

f (y)

$f(y)$

ℓ_{1}

$\ell_1$

— アレハンドロ

2

追加：if、用語はすべて独立しています。@ Alejandroが指摘するように、各用語を単独で最小化できます。を最小化する方が興味深いですここで、ではなくは、多くのを0 にプッシュすることを目的としています。この場合の注意事項は次のとおりです。（私は、変数は呼び出しない、。） $f(x) = \ell_1(x) = \sum |x_i|$
$\qquad\qquad$ $\| Ax - b \|_2^2 + \lambda \|x\|_1$
$\|x\|_1$ $\|x\|_2$ $x_i$
$x$ $y$

（1年後）ノルムの場合のこれの別名は Elastic net regularizationです。 Hastie et al。、 Elements of Statistical Learning p。661 ff。これを分類のために議論します。

f (x) = ℓ_{1}

$f(x) = \ell_1$

多くの近似解を取得する高速で簡単な方法は、 $x_i = 0$

最小化単純最小二乗法 $\|Ax - b\|$
縮小（別名：ソフトしきい値）：小さい設定し。 $x_i = 0$

これは、重み付けが0または1 の反復的に重み付けされた最小二乗法の形式です。以前の回答で引用された論文の方法でより良い結果が得られると思います。これは簡単です。

（合計最小化するとき、とをiter 1 2 3の対数対数スケールでプロットすることをお勧めします。もう1つ、そしてあなたは気付かないでしょう- 特にそれらが異なるようにスケーリングするとき）。 $f() + \lambda g()$ $f()$ $\lambda g()$

— デニス
ソース