二乗バイアスと分散の加重和を最小化する推定量は、どのようにして決定理論に適合しますか？

わかりました-私の元のメッセージは応答を引き出すことができませんでした。では、別の質問をさせてください。まず、意思決定理論の観点から、私の推定の理解について説明します。私は正式なトレーニングを受けていませんし、私の考えに何らかの欠陥があるとしても、私は驚かないでしょう。

損失関数ます。予想される損失は、（頻繁な）リスクです。$L(\theta,\hat\theta(x))$

$$R(\theta,\hat\theta(x))=\int L(\theta,\hat\theta(x))\mathcal{L}(\theta,\hat\theta(x))dx,$$

ここで、は尤度です。ベイズのリスクは予想される頻出主義のリスクです：$\mathcal{L}(\theta,\hat\theta(x))$

$$r(\theta,\hat\theta(x))=\int\int R(\theta,\hat\theta(x))\pi (\theta)dxd\theta,$$

ここで、は以前のものです。$\pi (\theta)$

一般的に、を最小化するが見つかり、これはすべてうまくいきます。さらに、Fubiniの定理が適用され、を最小化する任意のが他のすべてから独立するように、統合の順序を逆にすることができます。このようにして、尤度の原則に違反することなく、ベイジアンであることなどについて気分を良くすることができます。$\hat\theta(x)$$r$$\hat\theta(x)$$r$

たとえば、おなじみの二乗誤差損失、頻度リスクは平均二乗誤差または合計です二乗バイアスと分散およびベイズのリスクは、事前に与えられた二乗バイアスと分散の予想合計です。つまり、事後予測損失です。$L(\theta,\hat\theta(x))=(\theta- \hat\theta(x))^2,$

これは今のところ私には理にかなっているようです（かなり間違っている可能性もあります）。しかし、いずれにせよ、他のいくつかの目的については、物事は私にはあまり意味がありません。たとえば、均等に重み付けされた二乗バイアスと分散の合計を最小化する代わりに、等しく重み付けされていない合計を最小化したいとします。つまり、以下を最小化するです。$\hat\theta(x)$

$$(\mathbb{E}[\hat\theta(x)]-\theta)^2+k\mathbb{E}[(\hat\theta(x)-\mathbb{E}[\hat\theta(x)])^2],$$

ここで、は正の実定数（1以外）です。$k$

私は通常、このような合計を「目的関数」と呼びますが、その用語を誤って使用している可能性もあります。私の質問は、解決策を見つける方法についてではありません- この目的関数を最小化するを見つけることは数値的に実行可能です-むしろ、私の質問は2つあります：$\hat\theta(x)$

1. そのような目的関数は、決定理論のパラダイムに適合しますか？そうでない場合、それが適合する別のフレームワークはありますか？はいの場合、どのようにですか？の関数であろう関連する損失関数のように思える、、およびので期待の- -である（これ私は思う）適切ではない。$\theta$$\hat\theta(x)$$\mathbb{E}[\hat\theta(x)]$

2. このような目的関数は、任意の推定が他のすべての推定に依存するため（仮説であっても、尤度原理に違反します。それにもかかわらず、バイアスの減少とエラー分散の増加のトレードオフが望ましい場合があります。そのような目標が与えられた場合、可能性の原則に準拠するように問題を概念化する方法はありますか？$\hat\theta(x_{j})$$\hat\theta(x_{i\neq j})$

私は、意思決定理論/推定/最適化に関するいくつかの基本的な概念を理解できなかったと想定しています。答えをお寄せいただき、ありがとうございます。この分野や数学のトレーニングは一般的に受けていないため、何も知らないと想定してください。さらに、（初心者の読者のために）提案された参考文献を歓迎します。

これはかなり興味深い斬新な質問です。形式的なレベルでは、頻出リスク関数 （たとえば） 以降ような期待値が損失関数に現れるのを禁止する理由はありません。それらが分布全体に依存することは奇妙に見える機能ですが、分布全体は関数として設定され 、結果として生じる損失は、

$$(\mathbb{E}_\theta[\hat\theta(X)]-\theta)^2+k\mathbb{E}_\theta[(\hat\theta(X)-\mathbb{E}[\hat\theta(X)])^2],$$ $$L(\theta,\hat{\theta})=(\mathbb{E}_\theta[\hat\theta(X)]-\theta)^2+k(\hat\theta-\mathbb{E}_\theta[\hat\theta(X)])^2$$ $\mathbb{E}_\theta[\hat\theta(X)]$$\hat{\theta}(X)$$\theta$$\theta$、およびの分布。$\hat{\theta}$$\hat{\theta}(X)$

損失関数が原則として自然状態の関数、およびアクション関数であり、たとえばパラメーター空間で発生するという異論を完全に予測できます。したがって、分布の仮定はまったく含まれていません。これはゲーム理論の観点からは正しいことです。しかし、これは統計的決定理論であり、決定は確率変数観測値に依存するため、損失関数がの分布に依存する一般化がによってインデックス化される理由はわかりません$L(\theta,\delta)$$\theta$$\delta$$\Theta$$\delta$$x$$X$$X$$\theta$、考慮できませんでした。それが尤度の原則に違反する可能性があることは、決定理論にとって直接の問題ではなく、ベイズ推定量の正式な導出を妨げるものではありません。