十分な統計の期待です

指数ファミリは、2つの成分を使用して定義されます。-基本密度 $q_0(x)$ -多数の十分な統計 $S_i(x)$

ファミリーはすべての確率密度であり、次のように記述できます。

$$q(x| (\lambda)_i ) \propto q_0(x) \exp \left( \sum_i \lambda_i S_i(x) \right)$$

パラメータ間の関係が $(\lambda_i)$ 十分な統計の期待値：

$$E_q( S_i(x) | (\lambda_i) ) = \frac{\int S_i (x) q_0(x) \exp \left( \sum_i \lambda_i S_i(x) \right) dx}{ \int q_0(x) \exp \left( \sum_i \lambda_i S_i(x) \right) dx}$$ 全単射です。

私の質問は、この全単射がさらに「すべての可能な値」に到達するかどうかです $E_q( S_i(x) | (\lambda_i) )$。私の元の質問では、この「すべての可能な値」のアンサンブルを非常に貧弱な定義にしたので、私の質問への答えは、少し自明ではありませんでした。

「すべての可能な値」を定義するには、ベクトル値関数のイメージを考慮する必要があります。

$$x \rightarrow \mathbf{S}(x)$$

の値 $\mathbb{R}^d$ の期待値で到達できる $\mathbf{S}$ 確率密度下 $p(x)$ 画像の凸包の内側にある場合のみ $\mathbf{S}$。

問題はそれです：の期待値はいつですか $\mathbf{S}$ 指数関数ファミリーの内部には、画像の凸包全体にまたがるこのプロパティがあります。 $\mathbf{S}$ ？

次に2つの例を示します。

n次元のガウスファミリー：十分な統計はすべて一次モーメントと二次モーメントです。確かに、すべての1次モーメントと2次モーメントはガウス分布で到達できます。

指数関数ファミリー：

$$q(x|\lambda) = exp( - |x| + \lambda x^2 )$$

二次モーメントのすべての値に達していません：の上限を超える値 $\lambda=0$ 到達していません。

この2番目の例では、問題が発生した場合、テールで問題が発生すると思いますが、おそらくその直感は間違っています。

OPへの短い答え

必ずしもそうとは限りませんが、 $\lambda_i$パラメータ空間の範囲外では、平均パラメータ空間全体をカバーできます。1つの状況は、指数モデルが過剰パラメーター化されており、変化させることによって空間全体を「満たす」ことができない場合です。$\lambda$の; もう1つの状況は、指数関数的ファミリーが曲がっていて、そのような試みに失敗した場合です。また、私の答えを参照してくださいHERE

私はこの答えを平均パラメータ空間の説明にしたくはありません（たぶん[ブラウン]ですが、完全とは言えません）が、継続的な議論によれば、今は避けられないようです。平均パラメーター空間に特化した論文があるかどうかは本当にわかりませんが、平均パラメーター空間は確率測度のファミリーの自然な表現を提供するため、凸解析に便利です。ほとんどの統計アプリケーションでは、微分可能性は実際には強すぎます。

$\bullet$微分可能性wrtパラメータは通常、他の仮定が取るに足りないか複雑すぎて形式化できない場合にのみ、ある種の一貫性を保証するものと見なされます。たとえば、ブートストラップメソッド。

$\bullet$継続性のwrtパラメーターはかなり穏やかな仮定であり、収集されたデータが離散的であるように見えても、それを仮定したい場合があります。連続性はある種の局所的な推論を可能にしますが、いくつかの最適化手法は力を失いました。例：最速勾配法。

$\bullet$Convexity wrtパラメータは3つの中で最も弱い仮定ですが、それでも常に仮定する必要はありません。たとえば、凹型損失関数。

「凸族」に有用な表現を与えるために、平均パラメーター空間が導入されています。陽性の研究[Karlin]の後半で、平均パラメーター空間とpmsファミリーの間の双対性が非常に役立つことがわかりました。平均パラメーター空間を研究する理由を説明する凸分析からのフレンチエル双対性のような他の動機があります。しかし、ヒルベルト空間の後の凸空間をモデル化するために、ある種の部分勾配が通常導入されていることがわかります。

次に、平均パラメーター空間が重要である理由を説明します。凸面円錐の二重円錐を定義する$C\subset\mathbb{R}^{n+1}$ $C^+:=\{v\in\mathbb{R}^{n+1}:<v,u>\geq 0,\forall u\in C\}$特別なケースとして、Karlin-Shapley表現定理[Karlin＆Shapley]は、ファミリーに関連付けられたモーメント空間のデュアルコーンの極端な光線/点は、パラメーター空間の境界に正確にあると説明しました。

十分な統計があれば、十分な家族がどのような価値を達成できるか $S(X)$でまた完全で、パラメータ空間と同じ寸法を有し 、その後、私は限りパラメータ空間は、期待を縮退境界を持っていないと信じて、指数家族の構造が直線的であることを意味しています$ES(X)$十分な統計のすべての値を横断できます。ジオメトリの観点から、デュアルコーンが縮退した場合にのみ、空間全体を横切ってすべての「可能な値」に到達できます$ES(X)$ おそらく持っている。

完全でないか、パラメータが多すぎるか、曲がっていない場合、私にはわかりません。

2番目の例では、モーメント空間の二重円錐は実際には厳密な円錐ですが、最初の例では縮退した円錐（全体 $\mathbb{R}\times\mathbb{R}$、コーンの直径が $\infty$）。しかし、私はあなたがあなたが主張した結果にどのように到達するかはまだはっきりしていません。

参照

[Brown] Brown、Lawrence D.「統計的指数理論の応用における統計的指数関数族の基礎」。講義ノート-モノグラフシリーズ9（1986）：i-279。

[カーリン]カーリン、サミュエル。総陽性。巻。1.スタンフォード大学出版局、1968。

[Karlin＆Shapley]カーリン、サミュエル、ロイドS.シャプリー。モーメントスペースのジオメトリ。No. 12.アメリカ数学学会、1953年。