収縮が巧妙な方法で適用される場合、それは常により効率的な推定量に対してよりよく機能しますか？

私は2つの推定量があるとと同じパラメータの一致推定量であるとなるように psdの意味でのしたがって、漸近的にはよりも効率的です。これらの2つの推定量は、異なる損失関数に基づいています。 $\widehat{\beta}_1$ $\widehat{\beta}_2$ $\beta_0$

\sqrt{n} ({\hat{β}}_{1} - β_{0}) \overset{d}{\to} N (0, V_{1}), \sqrt{n} ({\hat{β}}_{2} - β_{0}) \overset{d}{\to} N (0, V_{2})

$\sqrt{n}(\widehat{\beta}_1 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_1), \quad \sqrt{n}(\widehat{\beta}_2 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_2)$

V_{1} \leq V_{2}

$V_1 \leq V_2$

{\hat{β}}_{1}

$\widehat{\beta}_1$

{\hat{β}}_{2}

$\widehat{\beta}_2$

ここで、私の推定量の有限標本特性を改善するために、いくつかの縮小手法を探したいと思います。

私は推定向上収縮技術見出さ仮定する有限のサンプル中にに等しい私MSEの値を与える。これは私がして適用するための適切な収縮技術見つけることができることを意味するものではない MSEに私に与えないだろう以下で？ $\widehat{\beta}_2$ $\widehat{\gamma}_2$ $\widehat{\beta}_1$ $\widehat{\gamma}_2$

言い換えると、縮小が巧妙に適用されている場合、より効率的な推定量に対しては常により効果的に機能しますか？

— アリク
ソース

回答:

確かに少し退屈な反例を提案させてください。言うよりちょうど漸近的に、より効率的ではありませんが、また、クラメール・ラオ下限はバウンドとなります。以下のための巧妙な収縮技術のようになりと。漸近分散 $\hat{\beta}_1$ $\hat{\beta}_2$ $\hat{\beta}_2$

{\hat{β}}_{2}^{*} = w {\hat{β}}_{2} + （ 1 - w ） {\hat{β}}_{1}

$\hat{\beta}_2^\ast = w \hat{\beta}_2 + (1 - w) \hat{\beta}_1$

w \in (0, 1)

$w\in(0,1)$

{\hat{β}}_{2}^{*}

$\hat{\beta}_2^\ast$ ある

最後の等式で補題を使用する

V^{*} = あ v a r （ w {\hat{β}}_{2} + （ 1 - w ） {\hat{β}}_{1} ） = あ v a r （ w （ {\hat{β}}_{2} - {\hat{β}}_{1} ） + {\hat{β}}_{1} ） = V_{1} + w^{2} （ V_{2} - V_{1} ）

$V^\ast = \mathbb{Avar}(w \hat{\beta}_2 + (1 - w) \hat{\beta}_1) = \mathbb{Avar}(w (\hat{\beta}_2 - \hat{\beta}_1) + \hat{\beta}_1 ) = V_1 + w^2 (V_2 - V_1)$ ハウスマンの論文。我々は

ように漸近リスクの改善は、（無バイアス項が存在しない）があります。上のいくつかの漸近を与える収縮法（したがって、うまくいけば、有限のサンプル）の改善を発見し、私たちはそう

。しかし、全く同様の収縮推定量は存在しない

この手順に従います。

V_{2} - V^{*} = V_{2} （ 1 - w^{2} ） - V_{1} （ 1 - w^{2} ） \geq 0

$V_2 - V^\ast = V_2(1-w^2) - V_1(1-w^2) \geq 0$

{\hat{β}}_{2}

$\hat{\beta}_2$

{\hat{β}}_{1}^{*}

$\hat{\beta}_1^\ast$

もちろん、ここでのポイントは、縮小は効率的な推定量に向かって行われるため、効率的な推定量自体には適用されないということです。これは高レベルではかなり明白に思われますが、特定の例ではこれはそれほど明白ではないと思います（MLEと均一分布のモーメント法推定が例になることがありますか？）。

— マティアス・シュミットブライヒャー
ソース

面白い例をありがとう！（1）は、しかし、これは反例を考慮すべきであると私にははっきりしていない：それは両方の漸近的だし、その表示されません

同じまたはより低いリスクを持っているように改善することはできません。（実際には、あなたの

自動的に最高の、同じ危険にさらされて、持っている

。）反例を提供するために、修正推定のリスク

以下の危険性よりもする必要があります

、及びこれがこの方式で可能であることは明らかではありません。

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}^{*}

$\hat\beta_2^*$

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}^{*}

$\hat\beta_2^*$

{\hat{β}}_{1}

$\hat\beta_1$

— user795305 2017年

ありがとうございました。私はしかし、どこにも問題になっていることが指定されていないことを指摘してみましょうその修正のMSE

のそれよりも低くする必要があるだろう

。だから、

このコンテキストで有効な収縮技術です。しかし、これは部分的な答えにすぎないことには同意し、他の人々がこの質問について何を言わなければならないかを楽しみにしています。

{\hat{β}}_{2}

$\hat{\beta}_2$

{\hat{β}}_{1}

$\hat{\beta}_1$

{\hat{β}}_{2}^{⋆}

$\hat{\beta}^\star_2$

— Matthias Schmidtblaicher 2017年

「Suppose I found ...」で始まる段落で、OPはそれを指定しているようです。私は誤解していますか？以下では、星がように改変推定量を示すものと

いくつかの（おそらく収縮）機能のための

。私たちが見つけたと

するように

{\hat{β}}_{j}^{*} = f_{j} ({\hat{β}}_{j})

$\hat\beta_j^* = f_j(\hat\beta_j)$

f_{j}

$f_j$

{\hat{β}}_{2}^{*}

$\hat\beta_2^*$

r i s k ({\hat{β}}_{2}) \geq r i s k ({\hat{β}}_{2}^{*})

$risk(\hat\beta_2) \ge risk(\hat\beta_2^*)$ 。参照の段落で、OPは、我々はいくつか見つけることができるかどうかを確認する

ように

。

f_{1}

$f_1$

r i s k ({\hat{β}}_{1}^{*}) \leq r i s k ({\hat{β}}_{2}^{*})

$risk(\hat\beta_1^*) \le risk(\hat\beta_2^*)$

— user795305 2017年

そうですか。これが問題である場合、

は単にアイデンティティであり、例では答えは肯定です。我々は関数を見つけることができれば、私は」との質問を読み取る

ように

、そこに存在する

したがって、

f_{1}

$f_1$

f (β, x)

$f(\beta, x)$

r i s k (f ({\hat{β}}_{2}, x)) < r i s k ({\hat{β}}_{2})

$risk(f(\hat{\beta}_2,x)) < risk(\hat{\beta}_2)$

g (β, x)

$g(\beta, x)$

「？

r i s k (g ({\hat{β}}_{1}, x)) < r i s k ({\hat{β}}_{1})

$risk(g(\hat{\beta}_1,x)) < risk(\hat{\beta}_1)$

— マティアスSchmidtblaicher

私があなたの質問に本当に答えなかったとしても、これらのクレジットを共有してくれてありがとう...

— Matthias Schmidtblaicher '27 / 06/27

-2

これは興味深い質問で、最初にいくつかのハイライトを指摘したいと思います。

2つの推定量は一貫しています
より効率的であるがより少ない変化を達成するため $\hat{\beta}_1$ $\hat\beta_2$
損失関数は同じではありません
1つの収縮方法が1つに適用されるため、それ自体がより良い推定量になるばらつきを低減します
質問：言い換えると、収縮がうまく適用されている場合、より効率的な推定量に対しては常により効果的に機能しますか？

基本的に、不偏クラスの推定器など、特定のフレームワークで推定器を改善することが可能です。ただし、ご指摘のとおり、1つの損失関数が2次損失を最小化し、もう1つの損失関数がエントロピーを最小化する可能性があるため、異なる損失関数は状況を困難にします。さらに、「常に」という言葉を使用することは非常にトリッキーです。なぜなら、1つの推定量がクラスで最高のものである場合、論理的に言えば、それ以上の推定量を要求することはできないからです。

単純な例（同じフレームワーク内）の場合、2つの推定量、つまりBridge（ノルムペナルティによるペナルティ付き回帰）とLasso（最初のノルムペナルティ付き尤度）、およびパラメーターのスパースセット、つまり、線形モデル、誤差項の正常、は、公知の、二次損失関数（最小二乗誤差）とで共変量の独立。を選択しましょう $l_p$ $\beta$ $y=x\beta+e$ $e\sim N(0,\sigma^2<\infty)$ $\sigma$ $x$ $l_p$ $p=3$ 最初の推定量では2番目の推定量で。次に、を選択することにより、推定量を改善できます。これにより、分散が小さくなり、より良い推定量になります。次に、この例では、推定量を改善する可能性があります。 $p=2$ $p\rightarrow 1$

ですから、あなたが同じ推定器群と同じ損失関数と仮定を仮定しているのであれば、あなたの質問に対する私の答えは「はい」です。

— TPArrow
ソース

p \to 1

$p \to 1$

p = 3

$p=3$

p = 2

$p=2$

ℓ_{p}

$\ell_p$

l_{p}

$l_p$

l_{1}

$l_1$

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat\beta_2$

ℓ_{p}

$\ell_p$

{\hat{α}}_{j}^{p} = \arg min_{α} ‖ α - {\hat{β}}_{j} ‖_{2}^{2} + λ ‖ α ‖_{p}

$\hat\alpha^p_j = \arg\min_\alpha \|\alpha-\hat\beta_j\|_2^2 + \lambda \|\alpha\|_p$

j \in {1, 2}

$j \in \{1,2\}$

p = 2, 3

$p=2,3$

@Benに感謝します。収縮の定義にコンセンサスがないと思います。あなたはそれを後処理のように扱いますが、私はインライン処理として扱います。質問は収縮の種類を考慮していないので、どちらも正しいと思います。PS：収縮からあなたが意味することは難しいしきい値のようなものだと思います。

— TPArrow 2017年

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat\beta_2$

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat\beta_2$