分布のファミリーの定義？

分布のファミリーには、他の分野とは異なる統計の定義がありますか？

一般に、曲線のファミリーは一連の曲線であり、それぞれが1つ以上のパラメーターが変化する関数またはパラメーター化によって与えられます。このようなファミリは、たとえば電子部品の特性評価に使用されます。

統計の場合、1つのソースに基づくファミリは、形状パラメータを変化させた結果です。ガンマ分布には形状とスケールのパラメーターがあり、一般化されたガンマ分布のみに位置パラメーターがあることに、どうして理解できるでしょうか？それは、ファミリーをロケーションパラメーターを変化させた結果になりますか？@whuberによれば、ファミリーの意味は暗黙のうちにあります。ファミリーの「パラメーター化」とは、ℝサブセットからその通常のトポロジーを持つ分布の空間への連続したマップです。 $^n$

簡単な言葉で言えば、統計分布の家族とは何ですか？

同じ家族の分布の統計的性質の関係についての質問は、別の質問についてすでにかなりの論争を引き起こしているので、意味を探求する価値があるようです。

これは必ずしも単純な質問ではないということは、指数の族というフレーズで使用することで生まれます。これは曲線の族とは関係ありませんが、パラメーターの再パラメーター化による分布のPDFの形式の変更に関連しています、独立したランダム変数の関数の置換も。

— カール
ソース

「ディストリビューションのファミリー」という言い方で、あなたは何か他の「ディストリビューションのファミリー」を意味しますか？指数ファミリは分布のファミリ（特定のプロパティを含む）であり、各分布のpdfを曲線として解釈し、曲線のファミリに対応しているため、最後の段落が混乱しているようです。

— ジュホコッカラ

@JuhoKokkala「家族」の意味は文脈依存であるため、混乱しているようです。たとえば、未知の平均と既知の分散の正規分布は、指数族です。正規分布は、無限のサポートを有する

(- \infty, + \infty)

$(-\infty,+\infty)$ 、および指数分布は、半無限サポートしている

[0, + \infty)

$[0,+\infty)$ ので、正常の範囲をカバーする指数分布の曲線のない家族が存在しません配布、彼らは同じ形状を有していることはありません...

— カール・

@JuhoKokkala ...そして指数PDFには位置パラメータさえありませんが、正規分布は位置パラメータなしではできません。必要な置換、および通常のpdfが指数関数ファミリーに含まれるコンテキストについては、上記のリンクを参照してください。

— カール

stats.stackexchange.com/questions/129990/…が関連する場合があります。「未知の平均値と既知の分散の正規分布は指数関数族に属します」は、私の知る限り、用語の乱用です（多少一般的ですが）。正確には、指数族は特定の性質を持つ分布の族です。未知の平均と既知の分散を持つ正規分布のファミリーは、指数ファミリーです。指数分布のファミリーは別の指数ファミリーなどです。

— JuhoKokkala

@JuhoKokkala：その「家族」は、特別な場合に「家族のセット」を意味するために非常に一般的に（ab）使用されますが、おそらく別の答えを引き出す価値があります。（私は他の例を考えることはできません-何らかの理由で、それは誰の発生しやすい「と話しているようだしない場所スケールの家族を」。）

— Scortchi -復活モニカ

回答:

統計的および数学的概念はまったく同じであり、「家族」はさまざまな状況に適応した技術的なバリエーションを含む一般的な数学用語であると理解しています。

パラメトリックファミリは、すべての分布の空間内の曲線（または表面またはその他の有限次元の一般化）です。

この投稿の残りの部分では、その意味を説明します。余談ですが、これについては、数学的にも統計的にも論争の的になるとは思いません（以下で説明する小さな問題は別として）。この意見を支持して、私は多くの参考文献（主にウィキペディアの記事）を提供しました。

この「ファミリ」という用語は、関数のクラスをセットまたは「マップ」に学習するときに使用される傾向があります。ドメインを考えると、家族上のマップのパラメータいくつかのセットで（「パラメータ」）は関数であります $\mathcal C_Y$ $Y$ $X$ $\mathcal F$ $X$ $\Theta$

F : X \times Θ \to Y

$\mathcal F : X\times \Theta\to Y$

（1）それぞれについて、、関数で与えられるである及び（2）自体は、特定の"ナイス"特性を有します。 $\theta\in\Theta$ $\mathcal{F}_\theta:X\to Y$ $\mathcal{F}_\theta(x)=\mathcal{F}(x,\theta)$ $\mathcal{C}_Y$ $\mathcal F$

「スムーズ」または制御された方法でからに関数を変更するという考え方です。プロパティ（1）手段各その指定するような機能、性質の詳細（2）中の「小さな」変化センス捕捉する一方誘導に十分に「小さい」変化。 $X$ $Y$ $\theta$ $\theta$ $\mathcal{F}_\theta$

質問で言及されたものに近い標準的な数学的例はホモトピーです。この場合、はトポロジ空間からトポロジ空間への連続マップのカテゴリです。その通常のトポロジーを有する単位間隔である、と我々は必要あること連続トポロジカル製品からマップに。「マップ連続的な変形」と考えることができます。 $\mathcal{C}_Y$ $X$ $Y$ $\Theta=[0,1]\subset\mathbb{R}$ $\mathcal{F}$ $X \times \Theta$ $Y$ に。」の間隔自体は、そのようなマップは、カーブにおけるとホモトピーは、1つの曲線から別へのスムーズな変形です。 $\mathcal{F}_0$ $\mathcal{F}_1$ $X=[0,1]$ $Y$

統計的用途のために、 上のすべてのディストリビューションの集合である（又は、実際には、上の、いくつかのための、私はに焦点を当てる暴露簡単保つために）。我々は、すべての非減少のセットでそれを識別してもよい右連続左極限の機能、それらの範囲の閉鎖は、両方を含むと：これらは累積分布関数、または単に分布関数。したがって、および $\mathcal{C}_Y$ $\mathbb{R}$ $\mathbb{R}^n$ $n$ $n=1$ $\mathbb{R}\to [0,1]$ $0$ $1$ $X=\mathbb R$ 。 $Y=[0,1]$

分布のファミリーは、サブセットです。 $\mathcal{C}_Y$ 家族の別名は統計モデルです。観測を支配すると思われるすべての分布で構成されていますが、それ以外の場合は実際の分布であるかはわかりません。

家族は空にすることができます。
自体は家族です。 $\mathcal{C}_Y$
ファミリは、単一のディストリビューションで構成される場合と、有限数のディストリビューションで構成される場合があります。

これらの抽象的な集合論的特性は、比較的興味や実用性がほとんどありません。この概念が有用になるのは、追加の（関連する）数学的構造を考慮するときだけです。しかし、のどのプロパティが統計的に重要ですか？頻繁に表示されるものは次のとおりです。 $\mathcal{C}_Y$ $\mathcal{C}_Y$

ある凸集合：与えられた二つの分布、我々は形成していてもよい混合分布全てに対して。これはからまでの一種の「ホモトピー」です。 $\mathcal{C}_Y$ ${F}, {G}\in \mathcal{C}_Y$ $(1-t){F}+t{G}\in Y$ $t\in[0,1]$ $F$ $G$
大部分は、Kullback-Leibler発散や密接に関連するFisher Informationメトリックなど、さまざまな疑似メトリックをサポートしています。 $\mathcal{C}_Y$
添加物の構造を有する任意の二つの分布に対応するとそれらの合計であり、。 $\mathcal{C}_Y$ $F$ $G$ ${F}\star {G}$
は、多くの場合「プロパティ」と呼ばれる多くの便利で自然な機能をサポートします。これらには、任意の固定分位数（中央値など）およびキュムラントが含まれます。 $\mathcal{C}_Y$
は関数空間のサブセットです。このように、それは、次のような多くの有用なメトリック、継承のsupノルム（によって与えられた規範を） $\mathcal{C}_Y$ $L^\infty$
$| | F - G | |_{\infty} = sup_{x \in R} | F (x) - G (x) | .$ $||F-G||_\infty = \sup_{x\in\mathbb{R}}|F(x)-G(x)|.$
に対する自然なグループアクションは、に対するアクションを誘発します。最も一般的なアクションは、翻訳とスケーリングための。分布に対するこれらが持つ効果は、送信することであるで与えられる分布 $\mathbb R$ $\mathcal{C}_Y$ $T_\mu:x \to x+\mu$ $S_\sigma:x\to x\sigma$ $\sigma\gt 0$ $F$ 。これらは、ロケーションスケールファミリとその一般化の概念につながります。（詳細なWeb検索ではさまざまな定義が見つかるため、参照は提供していません。少なくとも、ここでは少し議論の余地があるかもしれません。） $F^{\mu,\sigma}(x) = F((x-\mu)/\sigma)$

重要なプロパティは、統計的な問題とデータの分析方法によって異なります。 前述の特性によって提案されたすべてのバリエーションに対処するには、この媒体にはスペースがかかりすぎます。1つの一般的な重要なアプリケーションに焦点を当てましょう。

たとえば、最尤法を考えます。 ほとんどのアプリケーションでは、Calculusを使用して推定値を取得できます。これが機能するためには、家族の中で「デリバティブを取る」ことができなければなりません。

（余談技術：これが達成された通常の方法は、ドメインを選択することであるのためのと指定する連続、局所的に可逆関数からに。（この手段をそのすべてのためのがボールが存在すると、に対して $\Theta\subset \mathbb{R}^d$ $d\ge 0$ $p$ $\Theta$ $\mathcal{C}_Y$ $\theta\in\Theta$ $B(\theta, \epsilon)$ $\epsilon\gt 0$ 一対一です。言い換えれば、を十分に小さく変更すると、常に異なる分布が得られます。） $p\mid_{B(\theta,\epsilon)}: B(\theta,\epsilon)\cap \Theta \to \mathcal{C}_Y$ $\theta$

その結果、ほとんどのMLアプリケーションでは、コンポーネントでが連続的であることが必要です（できれば、ほぼどこでも微分可能です）。（連続性がないと、尤度を最大化することは一般に難治性の問題になります。）これにより、パラメトリックファミリの次の尤度指向の定義が得られます。 $p$ $\Theta$

（一変量）分布のパラメトリックファミリーは、局所的に可逆マップであると、そのための（）各それぞれに対する分布関数と、（b）は、関数で与えられる
$F : R \times Θ \to [0, 1],$ $\mathcal{F}:\mathbb{R}\times\Theta \to [0,1],$ $\Theta\subset \mathbb{R}^n$ $\mathcal{F}_\theta$ $x\in\mathbb R$ $\mathcal{L}_x: \theta\to [0,1]$ $\mathcal{L}_x(\theta) = \mathcal{F}(x,\theta)$ 連続的で、ほとんどどこでも微分可能です。

パラメトリック家族という注意より多くののちょうどコレクションよりも、それはまた、パラメータ値の特定の方法が含ま：分布に対応します。 $\mathcal F$ $\mathcal{F}_\theta$ $\theta$

いくつかの実例を挙げてみましょう。

してみましょうすべての集合とする正規分布。与えられているように、これはパラメトリックファミリではありません。単なるファミリです。パラメトリックにするには、パラメーター化を選択する必要があります。一つの方法は、選択することであるとマッピングするの平均の正規分布に及び分散。 $\mathcal{C}_Y$ $\Theta = \{(\mu,\sigma)\in\mathbb{R}^2\mid \sigma \gt 0\}$ $(\mu,\sigma)$ $\mu$ $\sigma^2$
一連のポアソンの分布を $(\lambda)$ 有するパラメトリックファミリーである。 $\lambda\in\Theta=(0,\infty)\subset\mathbb{R}^1$
制服のセットの分布は、（多くの教科書の演習で目立つ特徴がある）とパラメトリック家族である。この場合、で微分可能であるを除い。 $(\theta, \theta+1)$ $\theta\in\mathbb{R}^1$ $F_\theta(x) = \max(0, \min(1, x-\theta))$ $\theta$ $\theta\in\{x, x-1\}$
ましょうと可能任意の二つの分布。次いで、ためのパラメトリックファミリーである。（証明：の画像分布の集合であり、その偏微分等しい $F$ $G$ $\mathcal{F}(x,\theta)=(1-\theta)F(x)+\theta G(x)$ $\theta\in[0,1]$ $\mathcal F$ $\theta$ これはどこでも定義されています。） $-F(x)+G(x)$
ピアソンファミリーは、四次元のファミリーであり、（とりわけ）正規分布、ベータ分布、および逆ガンマ分布を含みます。これは与えられた分布が多くの異なる分布ファミリーに属するかもしれないという事実を例証します。これは、（十分に大きい）空間内の任意のポイントが、そこで交差する多くのパスに属している可能性があることを観察することに完全に類似しています。これは、以前の構成と一緒に、どの分布もそれが属するファミリーを一意に決定しないことを示しています。 $\Theta\subset\mathbb{R}^4$
すべての有限分散絶対連続分布の族はパラメトリックではありません。証明はトポロジの深い定理を必要とします。私たちは与える場合して任意のトポロジ（統計学的に有用かどうか）と連続しており、ローカル連続逆を持っている、そしてローカル同じ次元を持つ必要があります。ただし、統計的に意味のあるすべてのトポロジでは、は無限次元です。 $\mathcal{C}_Y$ $\mathcal{C}_Y$ $p: \Theta\to\mathcal{C}_Y$ $\mathcal{C}_Y$ $\Theta$ $\mathcal{C}_Y$

— ウーバー
ソース

あなたの答えを消化するのに約1日かかります。ゆっくり噛まなければなりません。その間、ありがとう。

— カール

（+1）OK、私はそれをやりました。そうである

ポーランドのスペースやありませんか？簡単な答えを出して、家族という言葉を不適切に使用しないようにする方法を知ってください。@JuhoKokkalaは、たとえば、Wikipediaが指数関数ファミリーの言語を悪用したことを説明しています。

F : R \times Θ \to [0, 1]

$\mathcal{F}:\mathbb{R}\times\Theta \to [0,1]$

— カール

この答えの2番目の文は、単純さを求める要求に役立たないのですか？

— whuber

私見、しかし、知らされていない、いいえ、それは不完全さのためではなく、家族がそうではないことを言っていません。「すべての分布の空間で」という概念は、統計のみに関連しているようです。

— カール

あなたの答えを受け入れました。問題の質問にそれを適用できるほど十分な情報があります。

— カール

質問で提起された特定のポイントに対処するには、「指数関数的ファミリー」は分布のセットを意味しません。（たとえば、標準的な指数分布は、指数分布のファミリー、指数ファミリー、ガンマ分布のファミリー、指数ファミリーのメンバー、指数ファミリーではなく、ワイブル分布のファミリーのメンバー、および任意の数のメンバーですむしろ、ここでの「指数関数的」とは、分布の家族が所有する財産を指します。したがって、「指数関数族の分布」ではなく「指数関数型の分布」について話す必要があります。前者は@JuhoKokkalaが指摘するように、用語の乱用です。何らかの理由で、ロケーションスケールの家族について話すとき、誰もこの虐待を犯しません。

— スコルチ-モニカの復活
ソース

@whuberのおかげで、この投稿が出された質問に関連するより単純な形式であると期待していることを要約するのに十分な情報があります。「家族 [ Sic、統計家族]の別の名前は[a] 統計モデルです。」

Wikipediaのエントリから：統計モデルは、観測を支配すると思われるすべての分布で構成されていますが、実際にはどの分布であるかはわかりません。統計モデルを他の数学モデルと区別するのは、統計モデルが非決定的であることです。したがって、数学的な方程式を介して指定された統計モデルでは、一部の変数には特定の値はありませんが、代わりに確率分布があります。つまり、いくつかの変数は確率的です。統計モデルは通常、ペアと考えられます。ここで、は可能な観測値のセット、つまりサンプル空間であり、は確率分布のセットです。 $( S , P )$ $S$ $P$ 。 $S$

我々は、統計モデルがあるとと。次元が有限の場合、モデルはパラメトリックモデルと呼ばれます。表記で、我々は、書き込みここで、（正の整数であり、他の組を使用することができ、原理的には実数を示します）。ここで、はモデルの次元と呼ばれます。 $(S, \mathcal{P})$ $\mathcal{P}=\{P_{\theta} : \theta \in \Theta\}$ $\Theta$ $\Theta \subseteq \mathbb{R}^d$ $d$ $\mathbb{R}$ $d$

我々はデータを一変量ガウス分布から生じると仮定すると、一例として、我々は、と仮定されている
この例では、次元は2、end quoteに等しくなります。

P = {P_{μ, σ} (x) \equiv \frac{1}{\sqrt{2 π} σ} \exp (- \frac{(x - μ)^{2}}{2 σ^{2}}) : μ \in R, σ > 0} .

$\mathcal{P}=\left\{P_{\mu,\sigma }(x) \equiv \frac{1}{\sqrt{2 \pi} \sigma} \exp\left( -\frac{(x-\mu)^2}{2\sigma^2}\right) : \mu \in \mathbb{R}, \sigma > 0 \right\}.$

d

$d$

我々は、上記の例では、割り当てることによって次元を下げる場合したがって、、我々は示すことができる家族プロットした曲線のを、またはどのような選択肢が。 $\mu=0$ $\sigma=1,2,3,4,5$ $\sigma$

— カール
ソース