最初に3つ目の質問に回答し、後で他の2つに対処します。
- 「なげなわ（および関連）...事後分布ではない」と言うとき、彼は何を意味していると思いますか？
スライドのこの図は、彼の意味を示しています。なげなわ正規化器を事前分布として表すと、事前分布はラプラシアン分布または二重指数分布の形式になります。この分布には、平均に特徴的な滑らかでないピークがあり、これを0に設定すると、スパースな正則化効果が得られます。なげなわ正則化された結果を直接取得するには、事後分布のモードを使用する必要があります。
図では、青い破線はラプラシアン事前分布を表しています。事後分布は黒一色で、左側のモードは尤度が弱い左側にあり、右側のモードは尤度が強い非ゼロです。
ただし、事後分布はまばらではありません。これからサンプリングすると、0に近い値が得られることはまれであり、実際は連続分布であるため、正確に0になることはありません。
投げ縄アプローチでスパース性を実現するには、通常、事後モードにいくつかのカットオフしきい値を設定する必要があります。理想的なケースは、事後モードが0に等しい場合ですが、絶対値を取得した後、事後モードが0.2未満の場合、これを緩和して変数を削除できます。
Lassoでこのスパース化を実行すると、特定の一連の除去された保持されたリグレッサが得られます。これは、どのリグレッサが含まれるか、または除外されるかについての「単一の決定」です。
変数の選択に対する完全なベイジアンアプローチであるスパイクとスラブは、モデル全体でどの変数を含めるか除外するかについての不確実性を保持します。
したがって、最初の質問に対処するには：
- それらは、基本的にブルートフォースアプローチを使用して、含めることができるリグレッサの各サブセットをテストするという意味で優れていますか？
どちらの方法も、含めることができるリグレッサのすべてのサブセットをテストするので、これは誤解です。
- 欠点はそうすることで計算時間ですか？
これも誤解です。なぜなら、計算時間は、リグレッサの可能な各サブセットをブルートフォーステストすることによって支配されないからです。
スコットの要点を明確にするために、いくつかのデータが与えられた場合、ペナルティ付き尤度スパース化アプローチを使用すると、含まれるリグレッサと除外されるリグレッサのセットが1つだけ得られます。ただし、スパイクとスラブのスパース化アプローチを使用する場合、各リグレッサの完全な事後分布があり、それぞれが含まれるか除外される可能性がそれぞれ異なります。一部のリグレッサは含まれる可能性が70％で、他は25％の可能性があります。単一のデータセットが与えられても、どのリグレッサが重要であるかどうかについて不確実性がまだあるので、これは多くのアプリケーションで好まれます。
直感的に、以前のスパイクとスラブは、ラッソーのようなペナルティ付き尤度アプローチと比較して、含まれる/除外されるリグレッサの可能なスペースをよりよく表します。