正規化された推定による信頼区間のカバレッジ


21

何らかの正規化された推定を使用して、高次元のデータから多数のパラメーターを推定しようとしているとします。レギュラライザーは推定値にある程度のバイアスを導入しますが、分散の減少はそれを補う以上のものでなければならないため、依然として良いトレードオフになる可能性があります。

問題は、信頼区間を推定するときに発生します(たとえば、ラプラス近似またはブートストラップを使用)。具体的には、推定値の偏りにより、信頼区間のカバレッジが悪くなり、推定量の頻度特性を判断することが難しくなります。

この問題について議論している論文をいくつか見つけました(例:「エッジワース展開に基づくリッジ回帰の漸近信頼区間」)が、数学はほとんど私の頭の上にあります。リンクされた論文では、方程式92-93がリッジ回帰によって正則化された推定値の補正係数を提供しているように見えますが、さまざまな正則化器で機能する適切な手順があるかどうか疑問に思っていました。

一次補正でさえ非常に役立ちます。


4
+1のタイムリーで重要な質問-現時点では誰もがこれに肯定的に答えることができるかどうかはわかりませんが(それを適切に行う方法がわからないので、知っていれば、統計論文が並んでいます)。関連する質問:stats.stackexchange.com/questions/91462/…ブートストラップは純粋にそのような状況で実行されますが、それは役に立ちません。
モモ

リンクをありがとう。ブートストラップに関して何を意味したのか明確にできますか?
デビッドJ.ハリス

また、私はまだ誰かが非スパースなレギュラーにうまく機能するメソッドを持っていることを期待しています。L1のペナルティは、すべての推定値がゼロに積み上げられているため、事態を特に困難にしていると思います。再度、感謝します。
デビッドJ.ハリス

1
cd

1
論文ルーベンDezeure、ピーターBühlmann、ルーカスマイヤーとニコライMeinshausenは、高次元の設定で推論に私の知る限り最新かつ包括的なアカウントです。
NRH

回答:


4

あなたの質問に正確に対処する最近の論文があります(私が理解しているように、データの回帰を実行したい場合)、幸いなことに、計算しやすい式を提供します(信頼区間と高次元回帰の仮説検定)。

また、そのトピックに関するPeterBühlmannの最近の研究に興味があるかもしれません。しかし、最初の論文はあなたが探しているものを提供し、内容は消化しやすいと信じています(私も統計学者ではありません)。


+1興味深い論文。したがって、これらの問題にどのようにアプローチするかについて少なくとも3つの競合するアイデアがあり、それらから密接に関連していないことがわかります。それから、journals.cambridge.org / action / から不可能性定理もあります。これがどのように展開され、標準として現れるものを見るのは興味深いでしょう。
モモ

ありがとう。これは私が実際に実装できるものではないかもしれませんが、数学はさまざまな正規化された推定に対して機能するようです。
デビッドJ.ハリス

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.