タグ付けされた質問 「maximum-likelihood」

特定のサンプルを観察する確率を最適化するパラメーター値を選択することにより、統計モデルのパラメーターを推定する方法。

3
整数パラメーターの最尤推定値を見つける方法は?
ハードウェアの質問: x1,x2,…,xnx1,x2,…,xnx_1,x_2,\ldots,x_nは、平均および分散持つ独立したガウス変数です。定義不明です。からを推定することに関心があります。μμ\muσ2σ2\sigma^2y=∑Nn=1xny=∑n=1Nxny = \sum_{n=1}^{N} x_nNNNNNNyyy a。与えられた がそのバイアスと分散を決定します。N^1=y/μN^1=y/μ\hat N_1 = y/\mu b。与えられたがそのバイアスと分散を決定します。N^2=y2/σ2N^2=y2/σ2\hat N_2 = y^2/\sigma^2 が整数であることの要件を無視するNNN c。効率的な推定器はありますか(と両方を見てください)?μ=0μ=0\mu = 0μ≠0μ≠0\mu \ne 0 d。から最尤推定値をます。NNNyyy e。から CRLBを求めます。NNNyyy f。推定量の平均二乗誤差は、ときにCRLBに達しますか?N^1,N^2N^1,N^2\hat N_1,\hat N_2N→∞N→∞N\to \infty 誰かが私を次の問題の解決に導くことができればそれは素晴らしいでしょう。 おかげで、 ナダブ

1
このパラメーター推定戦略は何と呼ばれますか?
レッツ平均して正規分布からのランダムサンプルであってもと分散。を推定する問題を考えます。X1,X2,…,XnX1,X2,…,XnX_1, X_2, \ldots, X_nμμ\muσ2σ2\sigma^2P(X>100)P(X>100)P(X > 100) これを実行する1つの方法は、を計算することです。この「プラグイン」推定器は一貫しており、そのバイアスとMSEは簡単に計算できます。n−1∑ni=11(Xi>100)n−1∑i=1n1(Xi>100)n^{-1}\sum_{i=1}^n \mathbb{1}(X_i > 100) 私の生徒の小さなグループが問題に取り組む別の方法を考え出しました:計算 これは、という事実によって動機付けられ この推定量も一貫していますが、そのバイアスとMSEの計算はより困難です。1−Φ(100−x¯s).1−Φ(100−x¯s). 1 - \Phi\left(\frac{100 - \bar{x}}{s} \right). P(X>100)=1−Φ[(100−μ)/σ].P(X>100)=1−Φ[(100−μ)/σ].P(X > 100) = 1 - \Phi[(100 - \mu)/\sigma]. 私の質問はこれです。この種の戦略には名前がありますか?まだプラグインしているのでお願いしますが、これはいわゆるプラグインエスティメータではありません。

1
MLE of
LET PDFファイルとの分布からのランダムサンプルである X1,X2,X3,...,XnX1,X2,X3,...,XnX_{1},X_{2},X_{3},...,X_{n}f(x;α,θ)=e−x/θθαΓ(α)xα−1I(0,∞)(x),α,θ>0f(x;α,θ)=e−x/θθαΓ(α)xα−1I(0,∞)(x),α,θ>0f(x;\alpha,\theta)=\frac{e^{-x/\theta}}{\theta^{\alpha}\Gamma(\alpha)}x^{\alpha-1}I_{(0,\infty)}(x ),\alpha,\theta>0 およびの最尤推定量をます。ましょうαα\alphaθθ\thetaΨ(α)=dΓ(α)dαΨ(α)=dΓ(α)dα\Psi(\alpha)=\frac{d\Gamma(\alpha)}{d\alpha} 私の試み、 L(α,θ)===∏i=1nf(xi)∏i=1ne−xi/θθαΓ(α)xα−1i1Γn(α)⋅θnα(∏i=1nxi)α−1exp(−∑i=1nxiθ)L(α,θ)=∏i=1nf(xi)=∏i=1ne−xi/θθαΓ(α)xiα−1=1Γn(α)⋅θnα(∏i=1nxi)α−1exp⁡(−∑i=1nxiθ)\begin{eqnarray*} \mathcal{L}(\alpha,\theta)&=&\prod_{i=1}^{n}f(x_i)\\ &=&\prod_{i=1}^{n}\frac{e^{-x_i/\theta}}{\theta^{\alpha}\Gamma(\alpha)}x_i^{\alpha-1}\\ &=&\frac{1}{\Gamma^{n}(\alpha)\cdot \theta^{n \alpha}}(\prod_{i=1}^{n}x_i)^{\alpha-1}\exp(-\sum_{i=1}^{n}\frac{x_i}{\theta}) \end{eqnarray*} ℓ(α,θ)δℓ(α,θ)δθ1θ2∑i=1nxiθ^=====−nlog(Γ(α))−nαlog(θ)+(α−1)∑i=1nlog(xi)−1θ∑i=1nxi−nαθ+1θ2∑i=1nxi=0nαθ∑ni=1xinα1αx¯ℓ(α,θ)=−nlog⁡(Γ(α))−nαlog⁡(θ)+(α−1)∑i=1nlog⁡(xi)−1θ∑i=1nxiδℓ(α,θ)δθ=−nαθ+1θ2∑i=1nxi=01θ2∑i=1nxi=nαθθ^=∑i=1nxinα=1αx¯\begin{eqnarray*} \ell(\alpha,\theta)&=&-n\log(\Gamma(\alpha))-n\alpha\log(\theta)+(\alpha-1)\sum_{i=1}^{n}\log(x_i)-\frac{1}{\theta}\sum_{i=1}^{n}x_i\\ \frac{\delta \ell(\alpha,\theta)}{\delta \theta}&=&-\frac{n\alpha}{\theta}+\frac{1}{\theta^2}\sum_{i=1}^{n}x_i=0\\ \frac{1}{\theta^2}\sum_{i=1}^{n}x_i&=&\frac{n\alpha}{\theta}\\ \hat{\theta}&=&\frac{\sum_{i=1}^{n}x_i}{n\alpha}\\ &=&\frac{1}{\alpha}\bar{x}\\ \end{eqnarray*} dℓ(α,θ^)dαlog(α)−Γ′(α)Γ(α)===−n⋅Γ′(α)Γ(α)−nlog(1αx¯)+∑i=1nlog(xi)=0−n⋅Γ′(α)Γ(α)+nlog(α)−nlog(x¯)+∑i=1nlog(xi)=0log(x¯)−∑ni=1log(xi)ndℓ(α,θ^)dα=−n⋅Γ′(α)Γ(α)−nlog⁡(1αx¯)+∑i=1nlog⁡(xi)=0=−n⋅Γ′(α)Γ(α)+nlog⁡(α)−nlog⁡(x¯)+∑i=1nlog⁡(xi)=0log⁡(α)−Γ′(α)Γ(α)=log⁡(x¯)−∑i=1nlog⁡(xi)n\begin{eqnarray*} \frac{d \ell(\alpha,\hat{\theta})}{d\alpha}&=&\frac{-n \cdot \Gamma'(\alpha)}{\Gamma(\alpha)}-n\log(\frac{1}{\alpha}\bar{x})+\sum_{i=1}^{n}\log(x_i)=0\\ &=&\frac{-n \cdot \Gamma'(\alpha)}{\Gamma(\alpha)}+n\log(\alpha)-n\log(\bar{x})+\sum_{i=1}^{n}\log(x_i)=0\\ \log(\alpha)-\frac{\Gamma'(\alpha)}{\Gamma(\alpha)}&=&\log(\bar{x})-\frac{\sum_{i=1}^{n}\log(x_i)}{n} \end{eqnarray*} を見つけることができなくなった。第二に、質問で与えられているように、\ Psi(\ alpha)= \ frac {d \ Gamma(\ alpha)} {d \ alpha}の使い方がわかりません。誰かが私にそれを説明できることを願っています。αα\alphaΨ(α)=dΓ(α)dαΨ(α)=dΓ(α)dα\Psi(\alpha)=\frac{d\Gamma(\alpha)}{d\alpha} 前もって感謝します。

2
なぜ治療コーディングはランダムな傾きと切片の間の相関をもたらすのですか?
実験的処理変数に2つのレベル(条件)がある被験者内および項目内の要因計画を考えます。をm1最大モデルとm2非ランダム相関モデルにします。 m1: y ~ condition + (condition|subject) + (condition|item) m2: y ~ condition + (1|subject) + (0 + condition|subject) + (1|item) + (0 + condition|item) Dale Barr はこの状況について次のように述べています。 編集(2018年4月20日):Jake Westfallが指摘したように、次のステートメントはこの Webサイトの図1および2に示されているデータセットのみを参照しているようです。ただし、基調講演は変わりません。 偏差コーディング表現(条件:-0.5 vs. 0.5)m2では、被験者のランダムな切片が被験者のランダムな傾きと無相関である分布が可能です。最大モデルのみm1が、2つが相関している分布を許可します。 治療コーディング表現(条件:0対1)では、被験者のランダム切片が被験者のランダムな傾きと無相関であるこれらの分布は、無作為相関モデルを使用してフィッティングできません。治療コード表現における勾配と切片。 なぜ治療コーディングは 常に ランダムな傾きと切片の間に相関関係が生じますか?

2
最大尤度は再パラメーター化不変ではありません。それで、どうやってそれを使うのが正当化できるのでしょうか?
max-likelihood推定量について私を混乱させる何かがあります。私がいくつかのデータとパラメータの下の可能性を持っていると仮定しますμμ\mu です L(D|μ)=e−(.7−μ)2L(D|μ)=e−(.7−μ)2 L(D|\mu) = e^{-(.7-\mu)^2} これは、スケーリングまでのガウスの可能性として認識できます。今私の最尤推定量は私にくれますμ=.7μ=.7\mu=.7。 今、私はそれを知らず、代わりにパラメータを操作していたとしましょう ttt そのような μ=sin(t)μ=sin⁡(t)\mu=\sin(t)。また、これはすべて数値であり、次の可能性がどのように愚かに見えるかはすぐにはわかりません。 L(D|t)=e−(.7−sin(t))2L(D|t)=e−(.7−sin⁡(t))2 L(D|t) = e^{-(.7-\sin(t))^2} 今、私は最大の可能性を解決し、追加のソリューションを取得します。これを確認するために、以下にプロットします。 したがって、この観点からすると、max-likelihood は再パラメーター化不変ではないため、愚かなことのように思えます。何が欠けていますか? 可能性は常に測度とともに来るため、ベイズ分析は当然これを処理します。 L(D|μ)P(μ)dμ=L(D|μ(t))P(μ(t))dμdtdtL(D|μ)P(μ)dμ=L(D|μ(t))P(μ(t))dμdtdt L(D|\mu) P(\mu) d\mu = L(D|\mu(t)) P(\mu(t)) \frac{d\mu}{dt} dt 応答とコメントの後に部分を追加(2018年3月16日に追加) 上の2つの最大値が t1,t2t1,t2t_1,t_2 対応する .7=sin(t1)=sin(t2).7=sin⁡(t1)=sin⁡(t2).7=\sin(t_1)=\sin(t_2)。彼らは同じ点を特定しています。以下の議論と回答が意味をなすように、私は上記を守りました。しかし、私が理解しようとしている問題のより良い例を以下に示します。 取る L(D|μ)=e−(a−μ)2L(D|μ)=e−(a−μ)2 L(D|\mu) = e^{-(a-\mu)^2} ここで、パラメータを再設定するとします μ=μ(t)μ=μ(t)\mu=\mu(t) 次に、最大尤度を行います ttt 私は得る ∂L∂t=∂L∂μ∂μ∂t∂L∂t=∂L∂μ∂μ∂t \frac{\partial L}{\partial t} = \frac{\partial L}{\partial …

1
なぜいくつかの式はロジスティック回帰の尤度の前に係数を持っていますが、いくつかは持っていませんか?
私はロジスティック回帰の可能性を導き出しています。私は2つの異なるバージョンを見てきました。 f(y|β)=∏i=1Nniyi!(ni−yi)!πyii(1−πi)ni−yi(1)(1)f(y|β)=∏i=1Nniyi!(ni−yi)!πiyi(1−πi)ni−yi\begin{equation} f(y|\beta)={\displaystyle \prod_{i=1}^{N} \frac{n_i} {y_i!(n_i-y_i)!}} \pi_{i}^{y_i}(1-\pi_i)^{n_i - y_i} \tag 1 \end{equation} またはこれ L(β0,β1)=∏i=1Np(xi)yi(1−p(xi))1−yi(2)(2)L(β0,β1)=∏i=1Np(xi)yi(1−p(xi))1−yi\begin{equation} L(\beta_0,\beta_1)= \displaystyle \prod_{i=1}^{N}p(x_i)^{y_i}(1-p(x_i))^{1-y_i} \tag 2 \end{equation} 式1 に\ frac {n_i} {y_i!(n_i-y_i)!}があるのはなぜniyi!(ni−yi)!niyi!(ni−yi)!\frac{n_i} {y_i!(n_i-y_i)!}ですか? 出典: 最初:https : //czep.net/stat/mlelr.pdf(3ページequ。2) 2番目:http : //www.stat.cmu.edu/~cshalizi/uADA/12/lectures/ch12.pdf(5ページequ。12.6) 注:この質問は、実際には「尤度は比例関係の乗数定数までしか定義されない」とはどういう意味ですか?どのように行われたかを見た後、二項分布への答えをたどることができます。しかし、その投稿の質問がこの質問に対する答えであることを誰も知らなかっただろう。

2
対数尤度は*常に*負の曲率を持つ場合ですか?どうして?
フィッシャー情報は、2つの同等の方法で定義されます:の勾配の分散として ℓ(x)ℓ(x)\ell(x)、および予想される曲率のマイナスとして ℓ(x)ℓ(x)\ell(x)。前者は常に正なので、これは対数尤度関数の曲率がどこでも負であることを意味します。私が見てきたことをすべての分布は負の曲率の対数尤度関数を持っているので、これは、私にはもっともらしく思えるが、これは、なぜ私は表示されませんしなければならない場合も。

2
(任意に)重み付けされた最尤推定量の分布は何ですか?
独立変数のベクトルと従属変数を、尤度で観察するとします。が独立していると仮定します。またあなたが肯定与えられていると仮定した重み、任意であり、加重最尤推定量を計算する(WMLEか?): WMLE、の分布は?XiXiX_iyiyiy_il(θ;Xi,yi)l(θ;Xi,yi)l\left(\theta;X_i,y_i\right)yiyiy_iwiwiw_iθ^=argmaxθ∑1≤i≤nwilogl(θ;Xi,yi).θ^=arg⁡maxθ∑1≤i≤nwilog⁡l(θ;Xi,yi). \hat{\theta} = \arg \max_{\theta} \sum_{1\le i\le n} w_i \log l\left(\theta;X_i,y_i\right). θ^θ^\hat{\theta} 2つに分割せずに質問をさらに複雑にする可能性がある場合は、2つのケースを検討する必要があります。 wiwiw_i完全に独立してXiXiX_iとyiyiy_i。 wiwiw_i従属変数に依存yiyiy_i何らかの方法で(おそらく、決定論的または確率的。)

1
R、nls()またはnlm()の非線形最小二乗法対最尤法?
モデルを推定しています E(Y| バツ)= Pr (Y= 1 | バツ)=α0+(1 −α0−α1)ϕ(バツ』β)、E(Y|X)=Pr(Y=1|X)=α0+(1−α0−α1)ϕ(X′β),E(Y|X) = Pr(Y=1|X) = \alpha_0 + (1 - \alpha_0 - \alpha_1)\phi(X'\beta), どこ α0α0\alpha_0およびはパラメーター、はパラメーターの長のベクトル、はデータの行列、従属変数はバイナリー、はプロビットモデルなので、累積分布標準正規分布の関数。予想を導き出すために、エラーは正常で平均ゼロであるという仮定がなされました。α1α1\alpha_1ββ\betapppバツXXp × np×np \times nYYYϕ ()ϕ()\phi() モデルのソースはここにあり(式6および7を参照)、論文に従って、非線形最小二乗法または最尤法のいずれかを使用してモデルを推定できます。nls()非線形最小二乗のnlm()関数と最大尤度の関数を使用して、Rで両方のアプローチを試しました。実験により、私のアプリケーションの結果は非常によく似ていることが示唆されていますが、nls()高速です。どちらか一方のアプローチを優先する理由はありますか?メソッドの選択についてはどのように考えればよいでしょうか。 これらの2つのアプローチの違いを検討するための提案、または関連する参考文献の提案をいただければ幸いです。

1
一部のパラメーターの代わりにいくつかの第1段階の推定値を代入すると、MLEで何が問題になる可能性がありますか?
最初に対数尤度関数を扱っているとします。ここで、。logL(θ1,…,θm,θm+1,…,θk)log⁡L(θ1,…,θm,θm+1,…,θk)\log L(\theta_1, \ldots, \theta_m, \theta_{m+1}, \ldots, \theta_k)θj∈Rθj∈R\theta_j \in \mathbb{R} 何らかの理由で、いくつかの第1段階の推定値、、他の方法で取得して最大化することにしたと仮定しを超える、、。すべての、、は、真のパラメーター値、、。logLlog⁡L\log Lθ~m+1θ~m+1\tilde{\theta}_{m+1}……\ldotsθ~kθ~k\tilde{\theta}_klogLlog⁡L\log Lθ1θ1\theta_1……\ldotsθmθm\theta_mθ~m+1θ~m+1\tilde{\theta}_{m+1}……\ldotsθ~kθ~k\tilde{\theta}_kθ0,m+1θ0,m+1\theta_{0,m+1}……\ldotsθ0,kθ0,k\theta_{0,k} 私の質問は、この場合、MLEで何が問題になるのでしょうか?MLE推定器、、は、以前と同じ漸近特性を持っていますか?、、の収束率に依存しますか?θ^1θ^1\hat{\theta}_1……\ldotsθ^mθ^m\hat{\theta}_mθ~m+1θ~m+1\tilde{\theta}_{m+1}……\ldotsθ~kθ~k\tilde{\theta}_k

2
事後予測分布とMAP推定
トレーニングデータセット、によってパラメーター化された確率モデル、および以前の考えます。新しいデータポイント場合、次を使用してを計算できます。XXXθθ\thetaP(θ)P(θ)P(\theta)x∗x∗x^*P(x∗)P(x∗)P(x^*) 完全なベイジアンアプローチ:事後予測分布P(x∗|X)=∫P(θ|X)P(x∗|θ)dθP(x∗|X)=∫P(θ|X)P(x∗|θ)dθP(x^* | X) = \int P(\theta|X) P(x^*|\theta) d\theta 最大事後推定によってパラメーター化された尤度:、ここでP(x∗|θMAP)P(x∗|θMAP)P(x^* | \theta_{MAP})θMAP=argmaxθP(θ|X)θMAP=argmaxθP(θ|X)\theta_{MAP} = \text{argmax}_\theta P(\theta|X) 完全なベイジアンアプローチは、MAPアプローチよりも常に「優れている」のですか?より正確には、が適切な近似であることを期待しているという意味で、MAPアプローチはベイジアンアプローチの近似ですか?P(x∗|θMAP)P(x∗|θMAP)P(x^* | \theta_{MAP})P(x∗|X)P(x∗|X)P(x^* | X)

1
三角分布のパラメーター推定
密度のある三角分布のパラメーターの推定に関する質問がここに投稿されました(現在は削除されています)。 f(x ; a 、b 、c )=⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪02 (x − a )(b − a )(c − a )2 (b − x )(b − a )(b − c )0以下のため のx < A 、用 ≤ X ≤ C 、以下のための C < X ≤ B 、以下のための B < X 。f(バツ;a、b、c)={0ために バツ<a、2(バツ−a)(b−a)(c−a)ために a≤バツ≤c、2(b−バツ)(b−a)(b−c)ために c<バツ≤b、0ために b<バツ。f(x;a,b,c)=\begin{cases} …

1
ワイブル分布のMLE推定のアプローチの比較
いくつかのデータに対してワイブル分布をパラメーター化する必要があります。したがって、Rのfitdistrplusパッケージからの最尤推定(MLE)を使用します。ただし、パッケージで何が行われるかを理解したかったので、パッケージを使用するほかに、 fitdist。 要約すると、私のアプローチは次のとおりです。 (i)メソッド「MLE」でfitdist関数を使用します。 (ii)尤度関数の偏導関数を解く (iii)optim関数を使用して負の尤度を最小化 まず、いくつかのデータをシミュレートします。 n <- 1e4 set.seed(1) dat <- rweibull(n, shape=0.8, scale=1.2) アプローチ1: fitdistrplusパッケージを適用します。 library(fitdistrplus) A1 <- fitdist(dat, "weibull", method="mle")$estimate A1 shape scale 0.7914886 1.2032989 アプローチ2: ワイブル密度として 、 偏微分は次のとおりです。 上記の偏微分の根を検索します。 weib1 <- function(c) { 1/c - sum(dat^c*log(dat))/sum(dat^c) + 1/n*sum(log(dat)) } shape <- uniroot(weib1, c(0,10), tol=1e-12)$root scale …

1
mle2 /最尤法を使用して推定された打ち切り二項モデルの予測の95%信頼区間
私は、現在世代の男性のペアが複数ありi、それぞれが父系の祖先と推定されるni世代が(世代別の証拠に基づいて)前にあり、Y染色体の遺伝子型にミスマッチがあるかどうかについて情報を持っています(排他的に父系で)遺伝性の、xi=不一致の場合は1、一致する場合は0)。不一致がない場合、彼らは確かに共通の父方の祖先を持っていますが、存在する場合、1つ以上の婚外事件の結果としてチェーンにキンクがあったに違いありません(私は、何もないか、少なくともそのようなエクストラペアの親子関係のイベントの1つが発生しました(つまり、従属変数が打ち切られます)。私が興味を持っているのは、平均のペア外父系(EPP)率(世代ごとに子供がペア外交尾から得られる確率)だけでなく、最尤推定(プラス95%信頼限界)を取得することですが、また、ペアの親の父親率が時間の関数としてどのように変化したかを推測することも試みます(共通の父親の祖先を分離した世代のnrがこれに関する情報を持っているはずです-不一致がある場合、私はしません)推定祖先の世代と現在の間のどこかにある可能性があるため、EPPがいつ発生したかはわかりませんが、一致する場合は、前の世代のいずれにもEPPがなかったことを確認します)。したがって、従属二項変数と独立共変量生成/時間の両方が検閲されます。投稿されたやや類似した問題に基づくここで、私は次のようにして、母の最尤推定値と時間平均のエクストラペアの父性率にphat加えてRの95%プロファイル尤度信頼区間をどのように作成できるかをすでに理解しました。 # Function to make overall ML estimate of EPP rate p plus 95% profile likelihood confidence intervals, # taking into account that for pairs with mismatches multiple EPP events could have occured # # input is # x=vector of booleans or 0 and 1s specifying if there was a …
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.