タグ付けされた質問 「maximum-likelihood」

最尤推定について勉強していますが、尤度関数は各変数の確率の積であると読みました。なぜそれが製品なのですか？なぜ合計しないのですか？Googleで検索しようとしていましたが、意味のある答えが見つかりません。 https://en.wikipedia.org/wiki/Maximum_likelihood

22 maximum-likelihood 

なぜパラメーターの最尤推定値を取得するのがそれほど一般的であるのに、予想尤度パラメーター推定値についてはほとんど聞いていません（つまり、尤度関数のモードではなく期待値に基づいています）。これは主に歴史的な理由によるものですか、それともより実質的な技術的または理論的な理由によるものですか？ 最尤推定値ではなく予想尤度推定値を使用することには、大きな利点や欠点がありますか？ 予想尤度推定が日常的に使用される領域はありますか？

22 probability  mathematical-statistics  maximum-likelihood  optimization  expected-value 

私は数学の自己学習統計であり、特に言語に苦労しています。 私が使用している本には、次の問題があります。 ランダム変数はとして与えられ分布し。（もちろん、この問題のために1つのパラメータに応じて、任意の分布を取ることができる。）次に、5つの値のサンプル、、、、与えられます。XXXPareto(α,60)Pareto(α,60)\text{Pareto}(\alpha,60)α>0α>0\alpha>0141414212121666323232222 最初の部分は、「最尤の方法を使用して、推定検索αのαを [サンプル]に基づきます。」これは問題ありませんでした。答えはα ≈ 4.6931。α^α^\hat{\alpha}αα\alphaα^≈4.6931α^≈4.6931\hat{\alpha}\approx 4.6931 しかし、その後：「の標準誤差の推定値付けαを。」α^α^\hat{\alpha} これはどういう意味ですか？以来αがちょうど固定実数で、私はそれが標準誤差を持っている可能性がどのような方法では表示されません。標準偏差を決定するアムI パレート（α、60 ）？α^α^\hat{\alpha}Pareto(α^,60)Pareto(α^,60)\text{Pareto}(\hat{\alpha},60) 質問が明確でないと思われる場合は、この情報も役立ちます。

21 maximum-likelihood 

独立した観測のサンプルからのパラメーターの最尤推定値に対して、どの分布が閉形式の解を持っていますか？

21 distributions  mathematical-statistics  maximum-likelihood 

精度は次のように定義されます： p = true positives / (true positives + false positives) それは、それを修正しているtrue positivesとfalse positives、精度が1に近づくアプローチ0？ リコールに関する同じ質問： r = true positives / (true positives + false negatives) 現在、これらの値を計算する必要がある統計テストを実装していますが、分母が0である場合があり、この場合にどの値を返すのか迷っています。 PS：不適切なタグをすみません、、およびを使用したいのですがrecall、新しいタグをまだ作成できません。precisionlimit

20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 

環境 多変量ガウス分布は機械学習で頻繁に使用され、次の結果は多くのMLブックおよび派生物なしのコースで使用されます。 次元行列の 形式のデータが与えられ、データが 平均（）および共分散行列（変量ガウス分布に従うと仮定した場合）最尤推定量は次によって与えられます：XX\mathbf{X} m×pm×p m \times ppppμμ\mup×1p×1p \times 1 ΣΣ\Sigmap×pp×pp \times p μ^=1m∑mi=1x(i)=x¯μ^=1m∑i=1mx(i)=x¯\hat \mu = \frac{1}{m} \sum_{i=1}^m \mathbf{ x^{(i)} } = \mathbf{\bar{x}} Σ^=1m∑mi=1(x(i)−μ^)(x(i)−μ^)TΣ^=1m∑i=1m(x(i)−μ^)(x(i)−μ^)T\hat \Sigma = \frac{1}{m} \sum_{i=1}^m \mathbf{(x^{(i)} - \hat \mu) (x^{(i)} -\hat \mu)}^T 多変量ガウスの知識は多くのMLコースの前提条件であることを理解していますが、多くの自己学習者が統計を跳ね回っていると感じているので、自己完結型の回答に完全に由来することが役立つと思います。 stackexchangeおよびmath.stackexchange Webサイトで回答を探しています。 質問 多変量ガウスの最尤推定量の完全な導出は何ですか 例： これらの線形判別分析の講義ノート（11ページ）、またはこれらのものは結果を利用すると、以前の知識を前提としています。 また、部分的に回答またはクローズされている投稿もいくつかあります。 多変量正規分布の最尤推定器 多変量正規分布の最尤推定を理解するのに助けが必要ですか？

20 normal-distribution  maximum-likelihood  estimators  multivariate-normal 

私にとって頻繁な統計は、可能なすべてのサンプルに適した決定を下そうとすることと同義です。すなわち、frequentist決定規則常に損失関数に依存frequentistリスク最小化するようにしてくださいLと自然の真の状態θ 0：δδ\deltaLLLθ0θ0\theta_0 Rfreq=Eθ0(L(θ0,δ(Y))Rfreq=Eθ0(L(θ0,δ(Y))R_\mathrm{freq}=\mathbb{E}_{\theta_0}(L(\theta_0,\delta(Y)) 最尤推定は、頻繁なリスクにどのように関連していますか？頻繁に使用されるポイント推定手法であるため、何らかの接続が必要です。私が知る限り、最尤推定は頻度主義的リスクの概念よりも古いですが、それでも他の多くの人々がそれが頻度主義的手法であると主張する理由がいくつかあるはずです。 私が見つけた最も近い接続は 「弱い規則性条件を満たすパラメトリックモデルの場合、最尤推定量はほぼミニマックスです」Wassermann 2006、p。201 " 受け入れられた回答は、最尤点推定を頻度論的リスクに強くリンクするか、MLEが頻度論的推論手法であることを示す頻度論的推論の代替の正式な定義を提供します。

19 maximum-likelihood  frequentist 

こんにちは、同じことが示され、修正最尤法の形状とスケールのパラメーターを取得できます

19 r  maximum-likelihood  weibull 

パラメータのベクトルを考えてみましょうで、関心のパラメータ、および A迷惑パラメータ。θ 1 θ 2(θ1,θ2)(θ1,θ2)(\theta_1, \theta_2)θ1θ1\theta_1θ2θ2\theta_2 場合データから構築尤度さのために、プロファイル尤度として定義される;（_2 = L（\ theta_1、\帽子{\シータ}（X \ theta_1）L_P \ theta_1）; x）ここで、\ hat {\ theta} _2（\ theta_1）は\ theta_1の固定値に対する\ theta_2のMLEです。X θ 1 L P（θ 1 ; X ）= L （θ 1、θ 2（θ 1）; X ）、θ 2（θ 1）θ 2 θ 1L(θ1,θ2;x)L(θ1,θ2;x)L(\theta_1, \theta_2 ; x)xxxθ1θ1\theta_1LP(θ1;x)=L(θ1,θ^2(θ1);x)LP(θ1;x)=L(θ1,θ^2(θ1);x)L_P(\theta_1 ; x) = L(\theta_1, \hat{\theta}_2(\theta_1) …

19 maximum-likelihood  likelihood  profile-likelihood 

パラメーターを推定するための統計の「基本的な」考え方は、最尤法です。機械学習の対応するアイデアは何だろうと思っています。 Qn 1.パラメーターを推定するための機械学習の「基本的な」アイデアは、「損失関数」であると言ってもいいでしょうか。 [注：機械学習アルゴリズムは損失関数を最適化することが多いため、上記の質問が印象的です。] Qn 2：統計と機械学習のギャップを埋めようとする文献はありますか？ [注：おそらく、損失関数を最尤法に関連付けることによって。（たとえば、OLSは正規分布エラーなどの最尤と同等です）]

19 machine-learning  maximum-likelihood  loss-functions  pac-learning 

こんにちは私は、マルチレベル/混合モデルの自然な候補のように聞こえる2つの問題を抱えています。より簡単な、導入として試してみたいものは次のとおりです。データはフォームの多くの行のように見えます x y innergroup outergroup ここで、xはy（別の数値変数）を回帰する数値共変量であり、各yは内部グループに属し、各内部グループは外部グループにネストされます（つまり、特定の内部グループのすべてのyは同じ外部グループに属します） 。残念ながら、内部グループには多くのレベル（数千）があり、各レベルにはyの観測値が比較的少ないため、この種のモデルが適切であると考えました。私の質問は この種のマルチレベルの数式を作成するにはどうすればよいですか？ いったんlmerフィットモデル、どのようにして、それから予測するのでしょうか？いくつかの簡単なおもちゃの例に適合しましたが、predict（）関数は見つかりませんでした。ほとんどの人は、この種の手法での予測よりも推論に興味があるようです。数百万の行があるため、計算が問題になる可能性がありますが、必要に応じていつでも削減できます。 しばらくは2番目の操作を行う必要はありませんが、考えてみて、遊んでみてください。以前と同様のデータがありますが、xがなく、yは形式の二項変数です。yは、内部グループ内であっても、多くの過剰分散を示します。nのほとんどは2または3（またはそれ以下）であるため、各y iの成功率の推定値を導出するには、ベータ二項収縮推定量（α + k i）/（α + β + n i）、ここで(n,n−k)(n,n−k)(n,n-k)nnnyiyiy_i(α+ki)/(α+β+ni)(α+ki)/(α+β+ni)(\alpha+k_i)/(\alpha+\beta+n_i)および βは、MLEによって各内部グループに対して個別に推定されます。これはある程度適切ですが、データのスパース性は依然として私を悩ませているので、利用可能なすべてのデータを使用したいと思います。1つの観点からは、この問題は共変量がないためより簡単ですが、他の観点からは、二項の性質によりそれはより困難になります。高い（または低い）レベルのガイダンスはありますか？αα\alphaββ\beta

18 r  mixed-model  maximum-likelihood  generalized-linear-model 

コンテキスト：いくつかの欠損データがある階層回帰。 質問：完全な情報最尤法（FIML）推定を使用して、Rの欠落データに対処するにはどうすればよいですか？推奨するパッケージはありますか？また、一般的な手順は何ですか？オンラインリソースと例も非常に役立ちます。 PS：私は最近Rの使用を開始した社会科学者です。多重代入はオプションですが、MplusのようなプログラムがいかにエレガントにFIMLを使用して欠損データを処理するかが大好きです。残念ながら、現時点では、Mplusは階層回帰のコンテキストでモデルを比較していないようです（その方法を知っている場合はお知らせください！）。Rに似たようなものがあるのだろうか？どうもありがとう！

18 r  maximum-likelihood  missing-data 

背景： 注：テキストの下にデータセットとRコードが含まれています AICを使用して、Rのlme4パッケージを使用して生成された2つの混合効果モデルを比較します。各モデルには、1つの固定効果と1つのランダム効果があります。固定効果はモデル間で異なりますが、ランダム効果はモデル間で同じままです。REML = Tを使用すると、model2のAICスコアが低くなりますが、REML = Fを使用すると、model1のAICスコアが低くなります。 MLの使用のサポート： ズール等。（2009; PAGE 122）「ネストされた固定効果（ただし、同じランダム構造）を持つモデルを比較するには、REMLではなくML推定を使用する必要がある」ことを示唆しています。これは、ランダム効果は両方のモデルで同じですが、固定効果は異なるため、MLを使用する必要があることを示しています。[Zuur et al。2009.エコロジーにおける混合効果モデルと拡張機能とR.スプリンガー。] REMLの使用のサポート： ただし、MLを使用すると、ランダム効果に関連付けられた残差分散は2つのモデル間で異なります（model1 = 136.3; model2 = 112.9）が、REMLを使用するとモデル間で同じです（model1 = model2 = 151.5）。これは、ランダムな残差分散が同じランダム変数を持つモデル間で同じままになるように、代わりにREMLを使用する必要があることを意味します。 質問： 固定効果が変化し、ランダム効果が同じままであるモデルの比較に、MLよりもREMLを使用する方が理にかなっていますか？そうでない場合は、理由を説明したり、詳細を説明している他の文献を教えてください。 # Model2 "wins" if REML=T: REMLmodel1 = lmer(Response ~ Fixed1 + (1|Random1),data,REML = T) REMLmodel2 = lmer(Response ~ Fixed2 + (1|Random1),data,REML = T) AIC(REMLmodel1,REMLmodel2) …

18 maximum-likelihood  random-effects-model  fixed-effects-model  mixed-model  lme4-nlme 

私が読んだいくつかの論文、本、記事に基づいて得た印象は、データのセットに確率分布を当てはめる推奨方法は最尤推定（MLE）を使用することです。ただし、物理学者としてのより直感的な方法は、最小二乗法を使用して、モデルのpdfをデータの経験的pdfに適合させることです。なぜ確率分布の近似においてMLEが最小二乗よりも優れているのですか？誰かがこの質問に答える科学論文/本を教えてもらえますか？ 私の考えは、MLEがノイズモデルを想定しておらず、経験的pdfの「ノイズ」が異分散であり、正常ではないためです。

18 distributions  maximum-likelihood  least-squares  heteroscedasticity  fitting 

質問：準最尤推定（QMLE、擬似最尤推定、PMLEとも呼ばれます）の背後にある考え方と直感は何ですか？実際の誤差分布が想定誤差分布と一致しない場合、推定器が機能する理由は何ですか？ QMLE のWikipediaサイトは素晴らしい（簡潔で、直感的、要点）ですが、もっと直感的で詳細な、おそらくはイラストを使用することもできます。他の参考文献は大歓迎です。（私はQMLE上に材料を探してかなりの数の計量経済学の教科書の上に行くのを覚えて、そして私の驚きに、QMLEは、1つまたはそれらの2で覆われていた、例えばWooldridge 「クロスセクションとパネルデータの計量経済分析」第13章（2010）セクション11、ページ502-517。）

17 maximum-likelihood  references  intuition  quasi-likelihood