タグ付けされた質問 「maximum-likelihood」

2つのモデルAとBがあり、AがBにネストされている場合、いくつかのデータが与えられれば、MLEを使用してAとBのパラメーターを近似し、一般化対数尤度比検定を適用できることを理解しています。特に、テストの分布は自由度である必要があります。ここで、はとが持つパラメーターの数の差です。 N N A Bχ2χ2\chi^2んnnんnnあAABBB ただし、とのパラメーター数が同じで、モデルがネストされていない場合はどうなりますか？つまり、それらは単に異なるモデルです。尤度比検定を適用する方法はありますか、それとも何か他のことができますか？BあAABBB

10 maximum-likelihood  model-selection  likelihood-ratio 

最尤推定量の漸近特性に関する結果の良いリファレンスに興味があります。モデル考えますここで、は次元密度で、サンプルに基づいて、MLEであるからどこのある"真の"値。興味のある不規則な点が2つあります。{fn(⋅∣θ):θ∈Θ,n∈N}{fn(⋅∣θ):θ∈Θ,n∈N}\{f_n(\cdot \mid \theta): \theta \in \Theta, n \in \mathbb N\}fn(x∣θ)fn(x∣θ)f_n(\mathbf x \mid \theta)nnnθ^nθ^n\hat \theta_nX1,…,XnX1,…,XnX_1, \ldots, X_nfn(⋅∣θ0)fn(⋅∣θ0)f_n(\cdot \mid \theta_0)θ0θ0\theta_0θθ\theta データははないため、に関するフィッシャー情報はよりも遅い速度で発生します。X1,…,XnX1,…,XnX_1, \ldots, X_nθθ\thetannn ΘΘ\Thetaは有界セットであり、正の確率では境界上にあります。境界は「より単純な」モデルに対応するため、が境界上にあるかどうかに特に関心があります。θ^nθ^n\hat \theta_nθ0θ0\theta_0 私の特定の質問は まかせに対応する観測フィッシャー情報表し、と仮定の内部にある。はどのような条件下でとして漸近的に正常ですか？特に、規則性の条件は通常のものと似ていますが、関連する変更はある意味でですか？Jn(θ)Jn(θ)J_n(\theta)θθ\thetaθ0θ0\theta_0ΘΘ\Theta[Jn(θ^n)]1/2(θ^n−θ0)[Jn(θ^n)]1/2(θ^n−θ0)\left[J_n(\hat \theta_n)\right]^{1/2}(\hat \theta_n - \theta_0)n→∞n→∞n \to \inftyJn(θ^n)→∞Jn(θ^n)→∞J_n(\hat \theta_n) \to \infty 代わりに、が境界上にあり、が正の確率で発生することを思い出してください-具体的には、混合効果モデルすることができます。どのような条件の下ではありません（ほぼ確実にあるいは確率で）と条件がどうなるか下に最終的に（これはおそらく、混合効果モデルのために失敗しますが、対応する「オラクル」プロパティのLASSOと関連する推定値なので、おそらく一般的な結果を求めるには多すぎます）？θ0θ0\theta_0θ^n=θ0θ^n=θ0\hat \theta_n = \theta_0Yij=μ+βi+ϵijYij=μ+βi+ϵijY_{ij} = \mu + \beta_i + \epsilon_{ij}σ^2β=0σ^β2=0\hat \sigma_{\beta}^2 = 0θ^n→θ0θ^n→θ0\hat \theta_n \to \theta_0θ^n=θ0θ^n=θ0\hat …

10 maximum-likelihood  references 

私はデータセットに取り組んでいます。いくつかのモデル識別手法を使用した後、私はARIMA（0,2,1）モデルを思いつきました。 R detectIOのパッケージの関数を使用して、元のデータセットの48回目の観測で革新的な外れ値（IO）TSAを検出しました。 この外れ値をモデルに組み込んで、予測に使用するにはどうすればよいですか？Rではそれから予測を行うことができない可能性があるため、ARIMAXモデルを使用したくありません。これを行う方法は他にありますか？ これが私の値です。 VALUE <- scan() 4.6 4.5 4.4 4.5 4.4 4.6 4.7 4.6 4.7 4.7 4.7 5.0 5.0 4.9 5.1 5.0 5.4 5.6 5.8 6.1 6.1 6.5 6.8 7.3 7.8 8.3 8.7 9.0 9.4 9.5 9.5 9.6 9.8 10.0 9.9 9.9 9.8 9.8 9.9 9.9 9.6 9.4 …

10 r  time-series  arima  outliers  hypergeometric  fishers-exact  r  time-series  intraclass-correlation  r  logistic  glmm  clogit  mixed-model  spss  repeated-measures  ancova  machine-learning  python  scikit-learn  distributions  data-transformation  stochastic-processes  web  standard-deviation  r  machine-learning  spatial  similarities  spatio-temporal  binomial  sparse  poisson-process  r  regression  nonparametric  r  regression  logistic  simulation  power-analysis  r  svm  random-forest  anova  repeated-measures  manova  regression  statistical-significance  cross-validation  group-differences  model-comparison  r  spatial  model-evaluation  parallel-computing  generalized-least-squares  r  stata  fitting  mixture  hypothesis-testing  categorical-data  hypothesis-testing  anova  statistical-significance  repeated-measures  likert  wilcoxon-mann-whitney  boxplot  statistical-significance  confidence-interval  forecasting  prediction-interval  regression  categorical-data  stata  least-squares  experiment-design  skewness  reliability  cronbachs-alpha  r  regression  splines  maximum-likelihood  modeling  likelihood-ratio  profile-likelihood  nested-models 

次の形式のGLMMがあります。 lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) 私が使用している場合drop1(model, test="Chi")、私は私が使用している場合とは異なる結果を得るAnova(model, type="III")車のパッケージからかsummary(model)。後者の2つは同じ答えを与えます。 大量の偽造データを使用して、これらの2つの方法は通常違いがないことがわかりました。それらは、平衡線形モデル、不平衡線形モデル（異なるグループでnが等しくない場合）、および平衡一般化線形モデルに対して同じ答えを示しますが、平衡一般化線形混合モデルに対しては同じ答えを与えません。したがって、ランダムな要素が含まれている場合にのみ、この不一致が現れます。 これらの2つの方法の間に違いがあるのはなぜですか？ GLMMを使用する場合は必要がありますAnova()かdrop1()使用できますか？ これらの2つの違いは、少なくとも私のデータでは、かなりわずかです。どちらを使用するかは問題ですか？

10 r  anova  glmm  r  mixed-model  bootstrap  sample-size  cross-validation  roc  auc  sampling  stratification  random-allocation  logistic  stata  interpretation  proportion  r  regression  multiple-regression  linear-model  lm  r  cross-validation  cart  rpart  logistic  generalized-linear-model  econometrics  experiment-design  causality  instrumental-variables  random-allocation  predictive-models  data-mining  estimation  contingency-tables  epidemiology  standard-deviation  mean  ancova  psychology  statistical-significance  cross-validation  synthetic-data  poisson-distribution  negative-binomial  bioinformatics  sequence-analysis  distributions  binomial  classification  k-means  distance  unsupervised-learning  euclidean  correlation  chi-squared  spearman-rho  forecasting  excel  exponential-smoothing  binomial  sample-size  r  change-point  wilcoxon-signed-rank  ranks  clustering  matlab  covariance  covariance-matrix  normal-distribution  simulation  random-generation  bivariate  standardization  confounding  z-statistic  forecasting  arima  minitab  poisson-distribution  negative-binomial  poisson-regression  overdispersion  probability  self-study  markov-process  estimation  maximum-likelihood  classification  pca  group-differences  chi-squared  survival  missing-data  contingency-tables  anova  proportion 

ゼロ膨張ポアソン回帰モデルは、サンプルに対してによって 定義され そしてさらに、パラメーターおよび満たすと仮定しますYは、iが = { 0の確率でのp I + （1 - P I）E - λ I kの確率で（1 - P I）E - λ I、λはk個のI / Kを！λ = （λ 1、... 、λ N）P =(y1,…,yn)(y1,…,yn)(y_1,\ldots,y_n)Yi={0kwith probability pi+(1−pi)e−λiwith probability (1−pi)e−λiλki/k!Yi={0with probability pi+(1−pi)e−λikwith probability (1−pi)e−λiλik/k! Y_i = \begin{cases} 0 & \text{with probability} \ p_i+(1-p_i)e^{-\lambda_i}\\ k & \text{with …

10 generalized-linear-model  maximum-likelihood  poisson-distribution  expectation-maximization  latent-variable 

私が観察仮定IID 、及び試験たい vechため適合行列およびベクトル。この問題に関する既知の作業はありますか？H 0：A （Σ - 1） = A A Aバツ私〜N（μ 、Σ ）xi∼N(μ,Σ)x_i \sim \mathcal{N}\left(\mu,\Sigma\right)H0：A H0:A H_0: A\ （Σ− 1） =a(Σ−1)=a\left(\Sigma^{-1}\right) = aあAAaaa （私にとって）明らかな試みは、尤度比テストによるものですが、の制約のを受ける可能性を最大化するには、SDPソルバーが必要であり、かなりかもしれません。H0H0H_0

10 hypothesis-testing  normal-distribution  multivariate-analysis  maximum-likelihood  covariance 

私は、在学中および大学で統計に関する十分なコースを受講しました。CI、p値、統計的有意性の解釈、複数の検定、相関、単純な線形回帰（最小二乗法）（一般的な線形モデル）、および仮説のすべての検定などの概念を十分に理解しています。初期のほとんどは数学的に紹介されていました。そして最近、私は本の直観的な生物統計学の助けを借りて、実際の概念理論に対して前例のない理解を理解しました。 さて、足りないのはモデルのフィッティング（モデルへのパラメータの推定）などの理解が足りないことです。特に、最尤推定、一般化線形モデル、推論統計へのベイジアンアプローチなどの概念は、常に私には異質に思えます。単純な確率モデルやインターネット上の他の（基本的な）トピックに見られるように、十分な例やチュートリアル、あるいは概念的に適切なものはありません。 私はバイオインフォマティシャンで、遺伝子発現（または遺伝子発現の差異）を見つけるための生の読み取りカウントを扱うRNA-Seqデータに取り組んでいます。私のバックグラウンドから、統計モデルに精通していなくても、ポアソン分布の仮定や負の二項式などの理由を理解することができます。しかし、一部の論文では一般化線形モデルを扱い、MLEなどを推定しています。理解するために必要な背景があると思います。 私が求めているのは、あなたの中の一部の専門家が有用だと思うアプローチと、（a）これらの概念をより直感的な方法で理解するのに役立つ本です（厳密な数学だけでなく、数学に裏打ちされた理論）。私はそれらを主に適用するつもりなので、何が何であるかを理解することに満足しているでしょうし、後で、厳密な数学的証明に戻ることができます...誰かに何か推奨はありますか？私が求めたトピックが確かにばらばらになっていて本でカバーされているなら、私は複数の本を買ってもかまわない。 どうもありがとうございました！

10 bayesian  references  maximum-likelihood  generalized-linear-model 

最尤推定のコンテキストでのWald、尤度比、およびラグランジュ乗数検定は、漸近的に同等です。ただし、小さなサンプルの場合、それらはかなり発散する傾向があり、場合によっては、異なる結論が得られます。 ヌルを拒否する可能性に応じて、どのようにランク付けできますか？テストに矛盾する答えがある場合はどうすればよいですか？あなたはあなたが望む答えを与えるものを選ぶことができますか、またはどのように進めるかについての「ルール」または「ガイドライン」がありますか？

10 hypothesis-testing  maximum-likelihood 

患者は入院する。彼らの滞在期間は次の2つの要素に依存します。彼らの怪我の重症度、および彼らが病院に留まるために彼らの保険がいくら支払ってもよいかです。一部の患者は、保険が滞在費の支払いを停止することを決定した場合、時期尚早に退職します。 以下を想定します。 1）滞在の長さは、パラメーターλλ\lambdaポアソン分布されます（現時点ではこれを想定していますが、現実的な想定である場合とそうでない場合があります）。 2）7、14、および21日間の滞在をカバーするさまざまな保険プラン。多くの患者は、7、14、または21日間の滞在後に退院します（保険が切れたため退院する必要があるため）。 このプロセスからデータを取得すると、次のようになります。 ご覧のとおり、7、14、および21日目でスパイクがあります。これらは、保険が終了したときに退院する患者です。 明らかに、データは混合としてモデル化できます。この分布の可能性を書き留めるのに苦労しています。これはゼロ膨張ポアソンのようなものですが、膨張は7、14、21です。 このデータの可能性はどれくらいですか？可能性の背後にある思考プロセスは何ですか？

10 maximum-likelihood  modeling 

私の質問は、ランダムベクトルの観測に基づいてディリクレ分布の最尤推定量を導出するという文脈で、証明なしに次のように述べているMinkaの「ディリクレ分布の推定」を読んでいることから生じます。 指数関数ファミリーの場合と同様に、勾配がゼロの場合、予想される十分な統計は、観測された十分な統計と等しくなります。 このように提示された指数関数の最尤推定を見たことがなく、検索で適切な説明も見つかりませんでした。誰かが観測された統計と予想される十分な統計との関係についての洞察を提供し、おそらくそれらの差を最小化することで最尤推定を理解するのを助けることができますか？

10 self-study  maximum-likelihood  exponential-family  sufficient-statistics 

ロジスティック回帰の最尤推定量（MLE）に関するいくつかの事実を理解したいと思います。 一般に、ロジスティック回帰のMLEが偏っているのは本当ですか？「はい」と言います。たとえば、サンプルの次元はMLEの漸近バイアスに関連していることを知っています。 この現象の基本的な例を知っていますか？ MLEが偏っている場合、MLEの共分散行列が最尤関数のヘッセ行列の逆であることは本当ですか？ 編集：私はこの公式にかなり頻繁に出会い、証明はありません。それは私にはかなり恣意的な選択のようです。

10 logistic  maximum-likelihood  unbiased-estimator  bias 

まで達しました dlnLdμ=∑i=1n2(xi−u)1+(xi−u)2dln⁡Ldμ=∑i=1n2(xi−u)1+(xi−u)2\frac{d\ln L}{d\mu}=\sum_{i=1}^n \frac{2(x_i-u)}{1+(x_i-u)^2} ここで、は場所パラメーターです。そしては尤度関数です。続行する方法がわかりません。助けてください。uuuLLL

10 self-study  maximum-likelihood  cauchy 

数学的には、期待値最大化（EM）の式とアルゴリズムは混合モデルの方が単純であることがよくありますが、EMで解決できるほとんどすべて（すべてではないにしても）はMLEでも解決できるようです（たとえば、 Newton-Raphson法（閉じていない式の場合）。 しかし、文献では、他の方法よりもEMが好まれているようです（たとえば、勾配降下法によるLLの最小化を含む）。それは、これらのモデルが単純であるためですか？それとも他の理由ですか？

10 mixed-model  maximum-likelihood  expectation-maximization 

以下にリンクされている1991年のGeyerの会議論文を読んでいます。その中で彼は、MLEパラメータ推定にMCMCを使用できる方法を回避しているようです 私はBFGSアルゴリズム、GA、およびMLEからパラメーターの推定値を抽出するために必要なグローバルミニマムを見つけるこれらの恐ろしい手の波状ラッキーディップ法のすべての種類をコーディングして以来、これは私を興奮させます。 それが私を興奮させる理由は、MCMCの固定点への収束を保証できる場合（たとえば、十分な基準が詳細なバランスを満たす場合）、MLEを最小化せずにパラメーターを取得できるためです。 したがって、結論は、これにより、上記および論文に課せられたグローバルな最小値、モジュロ制約を取得するための一般的な方法が提供されるということです。高次元のMCMC問題に対して適切にマッピングされているHMCなどのMCMCにはいくつかのアルゴリズムがあり、従来の勾配降下法よりもパフォーマンスが優れていると思います。 質問 このホワイトペーパーは、MCMCを使用してMLEからパラメーター推定値を取得するための理論的な基礎を提供することを理解していますか？ この論文で概説されているように、特定の状況でMCMCアルゴリズムを使用して、遺伝的アルゴリズムやBFGSなどのメソッドの必要性を回避してMLEからパラメーターを抽出できます。 論文 Geyer、CJ（1991）。マルコフ連鎖モンテカルロ最大尤度。計算科学と統計：Proc。23番目のシンプ。インターフェイス、156–163。 概要 マルコフ連鎖モンテカルロ（たとえば、メトロポリスアルゴリズムやギブスサンプラー）は、多くのタイプの統計的推論で役立つ複雑な確率過程のシミュレーションのための一般的なツールです。アルゴリズムの選択や分散推定など、マルコフ連鎖モンテカルロの基本を復習し、いくつかの新しい方法を紹介します。最尤推定のためのマルコフ連鎖モンテカルロの使用について説明し、そのパフォーマンスを最大疑似尤度推定と比較します。 注：セクション1から6は退屈なものであり、ここまでたどり着いたのであれば、おそらくすでに知っているでしょう。セクション7で、彼は興味深いものを手に入れましたが、彼は「モンテカルロ最大尤度」と呼んでいます。 その他のリソース 「Geyer」のcontrol + f http://www.stats.ox.ac.uk/~snijders/siena/Mcpstar.pdf http://ecovision.mit.edu/~sai/12S990/besag.pdf（セクション2.4）

10 maximum-likelihood  mcmc  gradient-descent  minimum 

ベイズ事後考えてみましょθ∣Xθ∣X\theta\mid X。漸近的に、その最大値はMLE推定値で発生θだけ尤度最大化し、argminのθをθ^θ^\hat \thetaargminθfθ(X)argminθfθ(X)\operatorname{argmin}_\theta\, f_\theta(X)。 これらのすべての概念、つまり可能性を最大化するベイズの事前分布は、超原理的であり、まったく恣意的ではありません。ログが見えません。 しかし、MLEは、実際の分布とのKLダイバージェンスを最小限に抑えf~f~\tilde fとfθ(x)fθ(x)f_\theta(x)すなわち、それは最小限に抑え、 KL(f~∥fθ)=∫+∞−∞f~(x)[logf~(x)−logfθ(x)]dxKL(f~∥fθ)=∫−∞+∞f~(x)[log⁡f~(x)−log⁡fθ(x)]dx KL(\tilde f \parallel f_\theta) = \int_{-\infty}^{+\infty} \tilde f(x) \left[ \log \tilde f(x) - \log f_\theta(x) \right] \, dx うわー、これらのログはどこから来たのですか？特にKLの相違はなぜですか？ たとえば、異なる発散を最小化することが、ベイジアン後任者の超原理的で動機付けられた概念に対応せず、上記の可能性を最大化しないのはなぜですか？ このコンテキストでは、KLの相違やログについて特別なことがあるようです。もちろん、私たちは空中に手を投げて、それがまさに数学がそうであると言うことができます。しかし、明らかにするために、より深い直感やつながりがあるのではないかと思います。

9 bayesian  maximum-likelihood  kullback-leibler