タグ付けされた質問 「exponential-family」

特定の形式を共有する 一連の分布（たとえば、正規分布、、ポアソンなど）。指数関数ファミリーの分布の多くは、便利な統計特性を備えた、統計における標準的な主力分布です。 χ2

2
指数ファミリーの利点：なぜそれを研究して使用する必要があるのですか？
だからここで推論を勉強しています。誰かが指数関数ファミリーの利点を列挙できるようにしたいと思います。指数族とは、f （x | θ ）= h （x ）exp { η （θ ）T （x ）− B （θ ）}として与えられる分布を意味します 。f（x | θ ）= h （x ）exp{ η（θ ）T（x ）− B （θ ）}f(x|θ)=h(x)exp⁡{η(θ)T(x)−B(θ)}\begin{align*} f(x|\theta) = h(x)\exp\left\{\eta(\theta)T(x) - B(\theta)\right\} \end{align*} そのサポートはパラメータθθ\theta依存しません。私が見つけたいくつかの利点は次のとおりです。 （a）多種多様なディストリビューションが組み込まれています。 （b）ネイマン・フィッシャーの定理に従って、自然な十分な統計T（x ）T(x)T(x)提供します。 （c）T（x ）T(x)T(x)モーメント生成関数の素晴らしい式を提供することができます。 （d）応答と予測子の関係を、応答の条件付き分布から（リンク関数を介して）簡単に分離できます。 誰でも他の利点を提供できますか？
2
指数ファミリーにすべての分布が含まれないのはなぜですか？
私は本を​​読んでいます： ビショップ、パターン認識、機械学習（2006） 次の形式の分布として指数族を定義します（式2.194）： p(x|η)=h(x)g(η)exp{ηTu(x)}p(x|η)=h(x)g(η)exp⁡{ηTu(x)}p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\} しかし、h(x)h(x)h(\mathbf x)または\ mathbf u（\ mathbf x）に制限はありませんu(x)u(x)\mathbf u(\mathbf x)。これは、h（\ mathbf x）と\ mathbf u（\ mathbf x）を適切に選択することにより、この形式に任意の分布を配置できることを意味しないのですか（実際、どちらか1つだけを適切に選択する必要があります！）？では、指数関数族にすべての確率分布が含まれていないのはなぜですか？私は何が欠けていますか？h(x)h(x)h(\mathbf x)u(x)u(x)\mathbf u(\mathbf x) 最後に、私が興味を持っているより特定の質問はこれです：ベルヌーイ分布は指数関数族ですか？ウィキペディアはそうだと主張していますが、ここで何かについて明らかに混乱しているので、その理由を知りたいと思います。
3
ポアソンは指数関数的であり、ガンマポアソンは何に対してですか？
ポアソン分布は単位時間あたりのイベントを測定でき、パラメーターはです。指数分布は、パラメーター使用して、次のイベントまでの時間を測定します。イベントまたは時間をモデル化する方が簡単かどうかに応じて、ある分布を別の分布に変換できます。λλ\lambda1λ1λ\frac{1}{\lambda} 現在、ガンマポアソンは、より大きな分散を持つ「ストレッチ」ポアソンです。ワイブル分布は、より大きな分散を持つ「ストレッチされた」指数関数です。しかし、これら2つはポアソンを指数関数に変換できるのと同じように、簡単に相互変換できますか？ それとも、ガンマポアソン分布と組み合わせて使用​​するのに適した他の分布がありますか？ ガンマポアソンは、負の二項分布、またはNBDとも呼ばれます。
1
GLMの対数尤度は、グローバルな最大値への収束を保証していますか？
私の質問は： 一般化線形モデル（GLM）は、グローバルな最大値に収束することが保証されていますか？もしそうなら、なぜですか？ さらに、凸性を保証するためのリンク関数にはどのような制約がありますか？ GLMについての私の理解は、それらが高度に非線形な尤度関数を最大化するということです。したがって、いくつかの極大値があり、収束するパラメーターセットは最適化アルゴリズムの初期条件に依存すると想像します。しかし、いくつかの研究を行った後、複数の局所的最大値があることを示す単一の情報源は見つかりませんでした。さらに、私は最適化手法にあまり精通していませんが、ニュートンラプソン法とIRLSアルゴリズムは極大になりやすいことを知っています。 可能であれば、直感的かつ数学的に説明してください！ 編集：dksahujiは私の元の質問に答えましたが、上記の追加の質問[ 2 ] を追加したいと思います。（「凸性を保証するためのリンク関数にはどのような制約がありますか？」）
2
GLMの正規化変換の導出
\newcommand{\E}{\mathbb{E}}どのようにA （⋅ ）= ∫ D UV 1 / 3（μ ）A(⋅)=∫duV1/3(μ)A(\cdot) = \displaystyle\int\frac{du}{V^{1/3}(\mu)}正規化指数家族のための変換派生した？ より具体的には、3ページのスライド1のテイラー展開スケッチを追おうとしましたが、いくつか質問があります。バツXX指数ファミリー、形質転換からh （X ）h(X)h(X)、およびκ Iκi\kappa _i示す私はトンの時間ithi^{th}キュムラント、スライドは、と主張している： κ 3（H （ˉ X））≈ H '（μ ）3 κ 3（ˉ X）N 2 +3H'（μ）2H"（μ）σ4N +O（N−3）、κ3(h(X¯))≈h′(μ)3κ3(X¯)N2+3h′(μ)2h′′(μ)σ4N+O(N−3), \kappa _3(h(\bar{X})) \approx h'(\mu)^3\frac{\kappa _3(\bar{X})}{N^2} + 3h'(\mu)^2h''(\mu)\frac{\sigma^4}{N} + O(N^{-3}), および上記の評価が0になるようなh（X）を見つけるだけh （X ）h(X)h(X)です。 私の最初の質問は算数についてです。私のテイラー展開には異なる係数があり、それらが多くの項を落としたことを正当化することはできません。 h （x ）以来 ≈ H （μ ）+ …
2
2つのガンマ分布間のKullback–Leibler発散
pdfによる ガンマ分布パラメーター化の選択と 間の -Leibler発散は、[1]で与えられます。Γ(b,c)Γ(b,c)\Gamma(b,c)g(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c) = \frac{1}{\Gamma(c)}\frac{x^{c-1}}{b^c}e^{-x/b}Γ(bq,cq)Γ(bq,cq)\Gamma(b_q,c_q)Γ(bp,cp)Γ(bp,cp)\Gamma(b_p,c_p) KLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−logbq−cq−logΓ(cq)+logΓ(cp)+cplogbp−(cp−1)(Ψ(cq)+logbq)+bqcqbpKLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−log⁡bq−cq−log⁡Γ(cq)+log⁡Γ(cp)+cplog⁡bp−(cp−1)(Ψ(cq)+log⁡bq)+bqcqbp\begin{align} KL_{Ga}(b_q,c_q;b_p,c_p) &= (c_q-1)\Psi(c_q) - \log b_q - c_q - \log\Gamma(c_q) + \log\Gamma(c_p)\\ &\qquad+ c_p\log b_p - (c_p-1)(\Psi(c_q) + \log b_q) + \frac{b_qc_q}{b_p} \end{align} Ψ(x):=Γ′(x)/Γ(x)Ψ(x):=Γ′(x)/Γ(x)\Psi(x):= \Gamma'(x)/\Gamma(x)がディガンマ関数であると推測しています。 これは派生なしで与えられます。これを導き出す参考文献は見つかりません。助けがありますか？適切なリファレンスで十分です。難しいのは、をガンマpdfに統合することです。logxlog⁡x\log x [1] WD Penny、KLダイバージェンスのNormal、Gamma、Dirichlet、およびWishart密度、www.fil.ion.ucl.ac.uk /〜wpenny / publications / densities.psで入手可能
3
分布のファミリーの定義？
分布のファミリーには、他の分野とは異なる統計の定義がありますか？ 一般に、曲線のファミリーは一連の曲線であり、それぞれが1つ以上のパラメーターが変化する関数またはパラメーター化によって与えられます。このようなファミリは、たとえば電子部品の特性評価に使用されます。 統計の場合、1つのソースに基づくファミリは、形状パラメータを変化させた結果です。ガンマ分布には形状とスケールのパラメーターがあり、一般化されたガンマ分布のみに位置パラメーターがあることに、どうして理解できるでしょうか？それは、ファミリーをロケーションパラメーターを変化させた結果になりますか？@whuberによれば、ファミリーの意味は暗黙のうちにあります。ファミリーの「パラメーター化」とは、ℝサブセットからその通常のトポロジーを持つ分布の空間への連続したマップです。nn^n 簡単な言葉で言えば、統計分布の家族とは何ですか？ 同じ家族の分布の統計的性質の関係についての質問は、別の質問についてすでにかなりの論争を引き起こしているので、意味を探求する価値があるようです。 これは必ずしも単純な質問ではないということは、指数の族というフレーズで使用することで生まれます。これは曲線の族とは関係ありませんが、パラメーターの再パラメーター化による分布のPDFの形式の変更に関連しています、独立したランダム変数の関数の置換も。
1
指数の家族分布では、平均と分散が常に存在しますか？
スカラー確率変数がpdfをもつベクトルパラメーター指数ファミリーに属していると仮定します。XXX fX(x|θ)=h(x)exp(∑i=1sηi(θ)Ti(x)−A(θ))fX(x|θ)=h(x)exp⁡(∑i=1sηi(θ)Ti(x)−A(θ)) f_X(x|\boldsymbol \theta) = h(x) \exp\left(\sum_{i=1}^s \eta_i({\boldsymbol \theta}) T_i(x) - A({\boldsymbol \theta}) \right) ここで、はパラメーターベクトルで、\ mathbf {T}（x）= \ left（T_1（x）、T_2 （x）、\ cdots、T_s（x）\ right）^ Tは、結合十分統計量です。θ=(θ1,θ2,⋯,θs)Tθ=(θ1,θ2,⋯,θs)T{\boldsymbol \theta} = \left(\theta_1, \theta_2, \cdots, \theta_s \right )^TT(x)=(T1(x),T2(x),⋯,Ts(x))TT(x)=(T1(x),T2(x),⋯,Ts(x))T\mathbf{T}(x)= \left(T_1(x), T_2(x), \cdots,T_s(x) \right)^T 各T_i（x）の平均と分散Ti(x)Ti(x)T_i(x)が存在することを示すことができます。ただし、Xの平均と分散XXX（つまり、E(X)E(X)E(X)とVar(X)Var(X)Var(X)）は常に存在しますか？そうでない場合、平均と変数が存在しない、この形式の指数ファミリー分布の例はありますか？ ありがとうございました。
1
正規リンク関数は常に一般化線形モデル（GLM）に存在しますか？
GLMでは、pdfを使用して、基になる分布に対してスカラーおよびを 仮定します。 \ mu = \ operatorname {E}（Y）= A '（\ theta）である ことを示すことができます。リンク関数g（\ cdot）が次の条件を満たす場合、g（\ mu）= \ theta = X '\ betaここで、X' \ betaは線形予測子であり、g（\ cdot）はこれに対する正準リンク関数と呼ばれますモデル。θ F Y（Y | θYYYθθ\thetaμ=E（Y）=fY(y|θ,τ)=h(y,τ)exp(θy−A(θ)d(τ))fY(y|θ,τ)=h(y,τ)exp⁡(θy−A(θ)d(τ))f_Y(y | \theta, \tau) = h(y,\tau) \exp{\left(\frac{\theta y - A(\theta)}{d(\tau)} \right)}μ=E(Y)=A′(θ)μ=E⁡(Y)=A′(θ) \mu = \operatorname{E}(Y) = A'(\theta)g(⋅)g(⋅)g(\cdot)X ' β G （⋅ ）g(μ)=θ=X′βg(μ)=θ=X′βg(\mu)=\theta = X'\beta X′βX′βX'\betag(⋅)g(⋅)g(\cdot) …
1
高次モーメントのガウスライク分布
平均と分散が不明なガウス分布の場合、標準指数ファミリー形式での十分な統計はです。分布があり。Nは設計パラメーターのようなものです。この種の十分な統計ベクトルに対応する既知の分布はありますか？この分布からのサンプルが必要なので、分布から正確なサンプルを取得することが重要です。どうもありがとう。T(x)=(x,x2)T(x)=(x,x2)T(x)=(x,x^2)T(x)=(x,x2,...,x2N)T(x)=(x,x2,...,x2N)T(x)=(x,x^2,...,x^{2N})
1
UMVUEを検索
ましょ、X1,X2,...,XnX1,X2,...,XnX_1, X_2, . . . , X_n pdfを持つiid確率変数 fX(x∣θ)=θ(1+x)−(1+θ)I(0,∞)(x)fX(x∣θ)=θ(1+x)−(1+θ)I(0,∞)(x)f_X(x\mid\theta) =\theta(1 +x)^{−(1+\theta)}I_{(0,\infty)}(x) ここで、θ>0θ>0\theta >0です。1のUMVUEを与える1θ1θ\frac{1}{\theta}とその分散の計算 私は、UMVUEを取得するためのそのような2つの方法について学びました。 クラマーラオ下限（CRLB） レーマンシェッフェテレオム 前者の2つを使ってこれを試みます。私はここで何が起こっているのか完全に理解していないことを認めなければなりません、そして私は私が試みた解決策を例の問題に基づいています。私はそれを持っているfX(x∣θ)fX(x∣θ)f_X(x\mid\theta)との完全なワンパラメータ指数分布族であります h （x ）= I（0 、∞ ）h(x)=I(0,∞)h(x)=I_{(0,\infty)}、c （θ ）= θc(θ)=θc(\theta)=\theta、w （θ ）= − （1 + θ ）w(θ)=−(1+θ)w(\theta)=-(1+\theta)、t （x ）= log （1 + x ）t(x)=log(1+x)t(x)=\text{log}(1+x) 以来、w′(θ)=1w′(θ)=1w'(\theta)=1でゼロでΘΘ\Theta、CRLB結果が適用されます。我々は持っています log fX(x∣θ)=log(θ)−(1+θ)⋅log(1+x)log fX(x∣θ)=log(θ)−(1+θ)⋅log(1+x)\text{log }f_X(x\mid\theta)=\text{log}(\theta)-(1+\theta)\cdot\text{log}(1+x) ∂∂θlog fX(x∣θ)=1θ−log(1+x)∂∂θlog fX(x∣θ)=1θ−log(1+x)\frac{\partial}{\partial \theta}\text{log }f_X(x\mid\theta)=\frac{1}{\theta}-\text{log}(1+x) …
1
分散が最小の偏りのない推定量
ましょのランダムサンプルfeomこと分布G E O mはE T R I C （θ ）のために0 &lt; θ &lt; 1。つまり、X1,...,XnX1,...,Xn X_1, ...,X_nGeometric(θ)Geometric(θ)Geometric(\theta)0&lt;θ&lt;10&lt;θ&lt;10<\theta<1 pθ(x)=θ(1−θ)x−1I{1,2,...}(x)pθ(x)=θ(1−θ)x−1I{1,2,...}(x)p_{\theta}(x)=\theta(1-\theta)^{x-1} I_{\{1,2,...\}}(x) g （θ ）= 1の最小分散をもつ不偏推定量を求めますg(θ)=1θg(θ)=1θg(\theta)=\frac{1}{\theta} 私の試み： 幾何分布は指数族からのものであるため、統計は完全であり、θに対して十分です。また、T （X ）= X 1がg （θ ）の推定量である場合、偏りはありません。したがって、Rao-Blackwellの定理とLehmann-Schefféの定理により、 W （X ）= E [ X 1 | ∑ X i ] は、私たちが探している推定量です。∑Xi∑Xi\sum X_i θθ \thetaT(X)=X1T(X)=X1T(X)=X_1g(θ)g(θ)g(\theta)W(X)=E[X1|∑Xi]W(X)=E[X1|∑Xi]W(X) = E[X_1|\sum X_i] 次のものがあります。 …
1
指数ファミリ：観察された統計と期待される十分な統計
私の質問は、ランダムベクトルの観測に基づいてディリクレ分布の最尤推定量を導出するという文脈で、証明なしに次のように述べているMinkaの「ディリクレ分布の推定」を読んでいることから生じます。 指数関数ファミリーの場合と同様に、勾配がゼロの場合、予想される十分な統計は、観測された十分な統計と等しくなります。 このように提示された指数関数の最尤推定を見たことがなく、検索で適切な説明も見つかりませんでした。誰かが観測された統計と予想される十分な統計との関係についての洞察を提供し、おそらくそれらの差を最小化することで最尤推定を理解するのを助けることができますか？
4
分布の指数関数的ファミリーの背後にある理論的根拠は何ですか？
初等確率コースから、ガウス、ポアソンまたは指数などの確率分布はすべて、良い動機を持っています。指数関数分布の公式を長い間見続けた後、私はまだ直感を得られません。 fバツ（X | θ）= H （X ）EXP（ η（θ）⋅T（X）-A（θ））fX(x∣θ)=h(x)exp⁡(η(θ)⋅T(x)−A(θ))f_{X}(x\mid {\boldsymbol {\theta }})=h(x)\exp {\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})\cdot \mathbf {T} (x)-A({\boldsymbol {\theta }}){\Big )} そもそもなぜそれが必要なのか、誰かが私に理解を助けてくれますか？応答変数を指数関数的ファミリーであると通常のモデルで比較する利点は何ですか？ 編集：指数関数ファミリーとは、ここで説明する分布の一般的なクラスを意味しました。
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.