タグ付けされた質問 「maximum-likelihood」

Rのoptimを使用して対数尤度関数を最大化することにより推定されたパラメーターのプロファイリングを使用して、95％の信頼区間をどのように推定できますか？ hessianを反転させることで、共分散行列を漸近的に推定できることはわかっていますが、この方法が有効であるために必要な前提条件がデータに適合していないことが心配です。他の方法を使用して信頼区間を推定したいと思います。 StryhnとChristensen、およびVenables and RipleyのMASSの本、§8.4、pp。220-221で説明されているように、プロファイル尤度法は適切ですか？ もしそうなら、Rでこれを行うのに役立つパッケージはありますか？そうでない場合、そのようなメソッドの疑似コードはどのようになりますか？

9 r  confidence-interval  maximum-likelihood  optimization  profile-likelihood 

我々は、線形モデルがあるとしすべての標準回帰（ガウス-マルコフ）前提条件を満たしています。我々は、に興味があるθ = 1 / β 1。y私= β0+ β1バツ私+ ϵ私yi=β0+β1xi+ϵiy_i = \beta_0 + \beta_1 x_i + \epsilon_iθ = 1 / β1θ=1/β1\theta = 1/\beta_1 質問1：どのような仮定を配信するために必要であるθを明確に定義されるべき？β 1 ≠ 0重要であろう---他のもの？θ^θ^\hat{\theta}β1≠ 0β1≠0\beta_1 \neq 0 質問2：エラーが正規分布に従うという仮定を追加します。場合我々は、それを知っているβ 1は、 MLEであり、Gは、（⋅ ）単調関数であり、次に、G （β 1 ）のためのMLEであるG （β 1）。単調性は近傍にのみ必要であるβ 1？言い換えれば、あるθ = 1 / β MLE？連続マッピング定理は、少なくともこのパラメーターが一貫していることを示しています。β^1β^1\hat{\beta}_1g（⋅ ）g(⋅)g(\cdot)g（β^1）g(β^1)g\left(\hat{\beta}_1\right)g（β1）g(β1)g(\beta_1)β1β1\beta_1θ^= 1 / β^θ^=1/β^\hat{\theta} = 1/\hat{\beta} …

9 regression  distributions  maximum-likelihood  bootstrap 

正のパラメーターについて推論する必要があります。肯定性を吸収するために、私はを再パラメーター化しました。MLEルーチンを使用して、ポイント推定と seを計算しました。MLEの不変性プロパティは、点推定を直接提供しますが、 seを計算する方法がわかりません。提案や参照については、事前に感謝します。pppp = exp（q）p=exp⁡(q)p=\exp(q)qqqpppppp

9 maximum-likelihood  standard-error  delta-method 

私は現在、ロジスティック回帰について研究しています。しかし、切片（）と係数（）の計算に行き詰まっています。インターネットで探していましたが、Microsoft ExcelまたはRの組み込み関数を使用したチュートリアルしか取得していません。MaximumLikelihoodで解決できると聞いたのですが、使い方がわからないので統計的背景がない。係数を手動で計算するための簡単な説明とシミュレーションを誰かに教えてもらえますか？β0β0\beta_0β1β1\beta_1

9 regression  machine-learning  logistic  maximum-likelihood 

ロジスティック回帰の損失関数（通常は対数尤度）をMSEに置き換えます。つまり、対数オッズ比がパラメーターの線形関数であっても、推定確率と結果（0/1としてコード化）の差の2乗の合計を最小化します。 ログp1 − p= β0+ β1バツ1+ 。。。+ βんバツんログ⁡p1−p=β0+β1バツ1+。。。+βんバツん\log \frac p{1-p} = \beta_0 + \beta_1x_1 + ... +\beta_nx_n 代わりにを最小化し。∑ （y私− p私）2Σ（y私−p私）2\sum(y_i - p_i)^2∑ [ y私ログp私+ （1 − y私）ログ（1 − p私）]Σ[y私ログ⁡p私+（1−y私）ログ⁡（1−p私）]\sum [y_i \log p_i + (1-y_i) \log (1-p_i)] もちろん、いくつかの仮定の下で対数尤度が理にかなっている理由は理解しています。しかし、通常は仮定が行われない機械学習で、MSEが完全に不合理である直感的な理由は何ですか？（またはMSEが意味をなす可能性のある状況はありますか？）

9 logistic  maximum-likelihood  unbiased-estimator  mse 

多変量ホークスプロセス（HP）の最尤推定量の実装に苦労しています。具体的には、単変量HPの対数尤度関数の分析式はオンラインで簡単に見つけることができますが（たとえば、Ozaki、1979）、多変量HPの対数尤度関数のバージョンは（一貫性がないか、同等か）異なるようです。そこに。また、以下の推定量を自分で導き出そうとしたところ、さらに別の結果が得られました（ただし、このテーマは非常に新しいです）。誰かがこれを片付けてくれませんか？ありがとう！ これは私が導き出したものです（私はLaub et al。、2015で使用されている表記に従います）。カウントプロセスのコレクションを考えは、各カウントプロセス（および a自然数）。強度がように指数関数的に減衰する消失関数を使用して多変量HPを定義します。このm変量HPの対数尤度は、個々の対数尤度の合計に等しくなります。つまり、N = （N 1、。。、NのM）T iは、J iは= 1 、。。、M J λ * I（T ）= λ I + M Σ J = 1 Σ T J 、K < T α I 、J、E - β I 、J（T -mmmN=(N1,..,Nm)N=(N1,..,Nm)N=(N_{1},..,N_{m})ti,jti,jt_{i,j}i=1,..,mi=1,..,mi=1,..,mjjj LNL（T）のLNL（T）= M Σ J = 1つのLNLの J（T）LNLの J（T）=- T ∫ 0 …

9 maximum-likelihood  stochastic-processes  likelihood 

応答yとデータ行列Xについて考えます。フォームのモデルを作成しているとしましょう- y〜g（X、）θθ\theta （g（）はXおよび任意の関数である可能性があります）θθ\theta 最尤法（ML）を使用してを推定するために、条件付きML（条件付き密度f（y | X）の形式がわかっていると仮定）または結合ML（結合の形式がわかっていると仮定）密度f（y、X）または同等に、f（X | y）* f（y））θθ\theta 密度についての仮定以外に、上記の2つの方法のいずれかを続行する際に考慮事項があるかどうか疑問に思っていました。また、ほとんどの場合、1つのメソッドが他のメソッドを圧倒するインスタンス（特定のタイプのデータ）はありますか？

9 estimation  maximum-likelihood  optimization 

可能性を最大化することは、クロスエントロピーを最小化することと同等であるという声明があります。この声明の証拠はありますか？

9 machine-learning  mathematical-statistics  maximum-likelihood  cross-entropy 

ケビンマーフィーの「機械学習：確率論的視点」の3.2章では、著者は「数値ゲーム」と呼ばれる例でベイズの概念学習を示していからサンプルを観察した後、サンプルを生成したルールを最もよく表す仮説を選びます。たとえば、「偶数」または「素数」。{ 1 、。。。、100 } 時間NNN{ 1 、。。。、100 }{1、。。。、100}\{1,...,100\}hhh 最大事後推定と最尤推定は次のように定義されます。 h^M A P= arg最高h p （D | h ）p （h ）= arg最高h[ ログp （D | h ）+ ログp （h ）] 、h^MあP=arg⁡最高h p（D|h）p（h）=arg⁡最高h[ログ⁡p（D|h）+ログ⁡p（h）]、\hat h_\mathrm{MAP}={\arg\max}_h\ p(\mathcal{D}|h)p(h)={\arg\max}_h[\log p(\mathcal{D}|h)+\log p(h)], h^M L E= arg最高h p （D | h ）= arg最高hログp （D | h ）、h^MLE=arg⁡最高h p（D|h）=arg⁡最高hログ⁡p（D|h）、\hat …

8 self-study  bayesian  maximum-likelihood  convergence 

この質問は、どこかでここで回答されたと確信できるほど根本的なようですが、私はそれを見つけていません。 回帰の従属変数が正規分布している場合、最大尤度と通常の最小二乗が同じパラメーター推定を生成することを理解しています。 従属変数が正規分布していない場合、OLSパラメーター推定はMLEと同等ではなくなりますが、それらは依然として最良（最小分散）線形不偏推定（青）です。 それでは、OLSが提供するもの（BLUEであること）を超えてMLEを望ましいものにする特性は何ですか？ 言い換えると、OLS推定が最尤推定であると言えない場合、何を失うのですか？ この質問をやる気にさせるために、明らかに非正規の従属変数が存在する場合に、なぜOLS以外の回帰モデルを選択するのか疑問に思っています。

8 regression  maximum-likelihood  least-squares  blue 

帰無仮説 Wald検定について、スカラーパラメーターに対して正当化をました。場合ためのMLEであるサイズの独立サンプルから推定、帰無仮説の下で私たちがとしての分布。ここで、はで評価された単一の観測の予想情報です。テスト統計を使用する必要があるように私には思えます θ θ N、θ N √H0:θ=θ0H0:θ=θ0H_0: \theta = \theta_0θθ\thetaθ^nθ^n\hat{\theta}_nθθ\thetannnのn→∞I（θ0）θ0n−−√(θ^n−θ0)→N(0,1i(θ0))n(θ^n−θ0)→N(0,1i(θ0))\sqrt{n}\left(\hat{\theta}_n - \theta_0\right) \rightarrow N\left(0, \dfrac{1}{i(\theta_0)}\right)n→∞n→∞n\rightarrow \inftyi(θ0)i(θ0)i(\theta_0)θ0θ0\theta_0 n−−√(θ^n−θ0)1i(θ0)−−−−−√n(θ^n−θ0)1i(θ0) \dfrac{\sqrt{n}\left(\hat{\theta}_n - \theta_0\right)}{\sqrt{\dfrac{1}{i(\theta_0)}}} 大きな、これはおよそになります。ただし、Wald統計を次のように記述する方が一般的です。n個N(0,1)N(0,1)N(0,1)nnn n−−√(θ^n−θ0)1i(θ^)−−−−−⎷,n(θ^n−θ0)1i(θ^), \dfrac{\sqrt{n}\left(\hat{\theta}_n - \theta_0\right)}{\sqrt{\dfrac{1}{i\left(\hat{\theta}\right)}}}, つまり、期待される情報をではなくでます。私の質問は、仮説検定を実行するためにnullでの検定統計量の分布が必要であることを考えると、nullでの標準誤差を推定して推定すること、つまり by？ θ0秒。e。（ θ）√θ^θ^\hat{\theta}θ0θ0\theta_0s.e.(θ^)s.e.(θ^)s.e.\left(\hat{\theta}\right)1i(θ0)−−−−−√1i(θ0)\sqrt{\dfrac{1}{i\left(\theta_0 \right)}}

8 hypothesis-testing  maximum-likelihood 

サンプルの各メソッドの最初の反復を計算することにより、Newton-Raphsonテクニックとテクニックの違いを理解しようとしFisher scoringていBernoulliます。（私はこのケースでは、私は明示的に、すぐに計算できることを知っている、私は繰り返しそれを行うには、単に理解し、どのように各メソッドの収束を見たいです）。πmleπmle\pi_{mle} 私は、コインを描くとし回、実際のパラメータπ 、T = 0.3である私には不明、と私は4頭を得たので、ˉ X = 0.4。n=10n=10n=10πt=0.3πt=0.3\pi_t=0.3X¯=0.4X¯=0.4\bar{X}=0.4 スコア関数は次のとおりです。 u(π)=nX¯π−n(1−X¯)1−πu(π)=nX¯π−n(1−X¯)1−πu(\pi) = \frac{n\bar{X}}{\pi} - \frac{n(1-\bar{X})}{1-\pi} 観測された漁師情報は次のとおりです。 J(π)=−nX¯π2−n(1−X¯)(1−π)2J(π)=−nX¯π2−n(1−X¯)(1−π)2J(\pi) = -\frac{n\bar{X}}{\pi^2} - \frac{n(1-\bar{X})}{(1-\pi)^2} 予想される漁師情報は次のとおりです。 I(π)=nπtπ2+n(1−πt)(1−π)2I(π)=nπtπ2+n(1−πt)(1−π)2I(\pi) = \frac{n\pi_t}{\pi^2} + \frac{n(1-\pi_t)}{(1-\pi)^2} そして、私たちが期待フィッシャー情報を簡素化できることに注意してください我々がそれを評価する場合にのみ、π=πtπ=πt\pi = \pi_tが、それがどこにあるか、我々が知りません... 今、私の最初の推測があるとしπ0=0.6π0=0.6\pi_0 = 0.6 Newton-Raphson単にこのように行きます： π1=π0−u(π0)/J(π0)π1=π0−u(π0)/J(π0) \pi_1 = \pi_0 - u(\pi_0)/J(\pi_0) ？ そして、どうFisher-scoringですか？ π1=π0+u(π0)/I(π0)π1=π0+u(π0)/I(π0) \pi_1 = \pi_0 + u(\pi_0)/I(\pi_0) πtπt\pi_tπtπt\pi_tπmleπmle\pi_{mle} これら2つの方法を可能な限り具体的に示してくれませんか。ありがとう！

8 maximum-likelihood  fisher-information  fisher-scoring 

Iは、テーブルが与えられてきた及びの数ようなものである、指示をすべてのの量。Y = （3062 、587 、284 、103 、33 、4 、2 ）X I 、Y IX = （0 、1 、2 、3 、4 、5 、6 ）x=(0,1,2,3,4,5,6)x=(0,1,2,3,4,5,6)y= （3062 、587 、284 、103 、33 、4 、2 ）y=(3062,587,284,103,33,4,2)y=(3062,587,284,103,33,4,2)バツ私xix_iy私yiy_i これにポアソン分布を当てはめるように求められます。 これにポアソン分布をフィットさせるとはどういう意味ですか？ ここ、p.8：http : //www.stats.ox.ac.uk/~marchini/teaching/L5/L5.notes.pdf ポアソンのフィッティングには、各についてを計算する必要があると言われています。しかし、ここでやるの行きますか？の計算についてフィッティングはありますか？x y P （X = x ）P（X= x ）P(X=x)P(X=x)バツxxyyyP（X= x ）P(X=x)P(X=x)

8 self-study  distributions  maximum-likelihood  fitting 

構造方程式モデルでは、ML推定器がよく使用されます。変数が多変量正規ではない場合、MLを使用できますか？ 多くの場合、使用できるインジケーターは多変量正規ではありません。その場合の対処方法がわかりません。

8 maximum-likelihood  sem  normality-assumption  multivariate-normal 

単純な線形回帰モデルの場合、OLSと最尤法（正規分布を想定）の両方で同じ出力（パラメーター値）が得られることがわかりました。このことから、OLSは正規分布についても暗黙の仮定を行っていると言えますか？両方が同じ値を生成する理由に興味はありませんが、どちらがデータについてそれほど厳密ではない仮定をするのですか？

8 regression  normal-distribution  maximum-likelihood  least-squares