タグ付けされた質問 「maximum-likelihood」

特定のサンプルを観察する確率を最適化するパラメーター値を選択することにより、統計モデルのパラメーターを推定する方法。

1
歪んだ正規分布のパラメーター推定
スキュー法線の公式パラメーター推定値は何ですか?可能であれば、MLEまたはMomによる派生もすばらしいでしょう。ありがとう 編集。 プロットが少し左に傾いていることで視覚的に確認できる一連のデータがあります。平均と分散を推定してから、適合度検定を実行したいのです(これがパラメーター推定が必要な理由です)。私はスキュー(アルファ)を​​推測する必要があると思っているのは正しいですか? 私は自分の理解のためにMLEの派生を望んでいます-私はMLEに慣れているので、MoMよりもMLEを好みます。 2つ以上の一般的なスキュー正常があるかどうか確信がありませんでした。可能であれば、スキュー指数指数パラメータの推定も役立ちます。



2
最尤パラメーターは事後分布から逸脱しています
推定したいいくつかのモデルパラメーター与えられた場合、データ確率に対する尤度関数があります。パラメータの平坦な事前分布を仮定すると、尤度は事後確率に比例します。MCMCメソッドを使用して、この確率をサンプリングします。L(d|θ)L(d|θ)\mathcal{L}(d | \theta)dddθ∈RNθ∈RN\theta \in \mathbf{R}^N 結果の収束チェーンを見ると、最尤パラメーターが事後分布と一致していないことがわかります。例えば、パラメータの1つに取り残さ事後確率分布があるかもしれないの値が、最尤点である、MCMCサンプラーが通過するほぼ最大値です。θ0∼N(μ=0,σ2=1)θ0∼N(μ=0,σ2=1)\theta_0 \sim N(\mu=0, \sigma^2=1)θ0θ0\theta_0θML0≈4θ0ML≈4\theta_0^{ML} \approx 4θ0θ0\theta_0 これは実例であり、実際の結果ではありません。実際の分布ははるかに複雑ですが、一部のMLパラメーターは、それぞれの事後分布に同様にありそうもないp値を持っています。一部のパラメーターが制限されていることに注意してください(例:); 境界内では、事前分布は常に均一です。0≤θ1≤10≤θ1≤10 \leq \theta_1 \leq 1 私の質問は: そのような逸脱自体が問題なのでしょうか?明らかに、MLパラメーターが周辺化された事後分布のそれぞれの最大値と正確に一致することは期待していませんが、直感的には、それらが尾の奥にあるはずがないように感じます。この偏差は結果を自動的に無効にしますか? これが必ずしも問題であるかどうかに関係なく、データ分析のある段階で特定の病理の兆候である可能性がありますか?たとえば、このような偏差が不適切に収束したチェーン、不適切なモデル、またはパラメータの過度に厳しい境界によって引き起こされる可能性があるかどうかについて、一般的な説明をすることはできますか?

2
AR(
AR()モデルを考えます(単純化のためにゼロ平均を想定しています)。ppp xt=φ1xt−1+…+φpxt−p+εtxt=φ1xt−1+…+φpxt−p+εt x_t = \varphi_1 x_{t-1} + \dotsc + \varphi_p x_{t-p} + \varepsilon_t OLS推定量(に相当する条件のための最尤推定)で述べたように、バイアスされることが知られている最近のスレッド。φ:=(φ1,…,φp)φ:=(φ1,…,φp)\mathbf{\varphi} := (\varphi_1,\dotsc,\varphi_p) (奇妙なことに、私はハミルトンの「時系列分析」や他のいくつかの時系列の教科書で言及されたバイアスを見つけることができませんでした。しかし、それは様々な講義ノートや学術記事、例えばこれで見つけることができます。) AR(p)の正確な最尤推定量がバイアスされているかどうかを確認できませんでした。したがって、最初の質問です。ppp 質問1:です正確な最大ARの尤推定量()モデルの自己回帰パラメータφ 1、... 、φ P偏った?(AR(p)プロセスは定常的であると仮定します。それ以外の場合、定常領域で制限されているため、推定量は一貫していません。たとえば、Hamilton "Time Series Analysis"、p。123を参照してください。)pppφ1,…,φpφ1,…,φp\varphi_1,\dotsc,\varphi_pppp また、 質問2:合理的に単純な不偏推定量はありますか?

1
負の二項分布の最尤推定量
問題は次のとおりです。 n値のランダムサンプルは、パラメーターk = 3の負の二項分布から収集されます。 パラメーターπの最尤推定量を求めます。 この推定量の標準誤差の漸近式を見つけます。 パラメータkが十分に大きい場合に、負の二項分布がほぼ正規になる理由を説明します。この通常の近似のパラメーターは何ですか? 私の作業は次のとおりです 。1.これが必要なことだと思いますが、ここで正確かどうか、または提供された情報からこれをさらに進めることができるかどうかわかりません。 p(x)=(x−1k−1)πk(1−π)x−kL(π)=Πnip(xn|π)ℓ(π)=Σniln(p(xn|π))ℓ‘(π)=Σnikπ−(x−k)(1−π)p(x)=(x−1k−1)πk(1−π)x−kL(π)=Πinp(xn|π)ℓ(π)=Σinln⁡(p(xn|π))ℓ‘(π)=Σinkπ−(x−k)(1−π)p(x) = {x-1 \choose k-1}\pi^k(1-\pi)^{x-k}\\ L(\pi) = \Pi_i^n p(x_n|\pi)\\ \ell(\pi) = \Sigma_i^n\ln(p(x_n|\pi))\\ \ell`(\pi) = \Sigma_i^n\dfrac{k}{\pi}-\dfrac{(x-k)}{(1-\pi)} 以下が求められていることだと思います。最後の部分では、π^π^\hat{\pi}を\ dfrac {k} {x} \ ell``(\ hat {\ pi})=-\ dfrac {k} {\ hat {\で置き換える必要があるように感じますkxkx\dfrac{k}{x} ℓ‘‘(π^)=−kπ^2+x(1−π^)2se(π^)=−1ℓ‘‘(π^)−−−−−−−√se(π^)=π^2k−(1−π^)2x−−−−−−−−−−−−√ℓ‘‘(π^)=−kπ^2+x(1−π^)2se(π^)=−1ℓ‘‘(π^)se(π^)=π^2k−(1−π^)2x\ell``(\hat{\pi}) = -\dfrac{k}{\hat{\pi}^2} + \dfrac{x}{(1-\hat{\pi})^2}\\ se(\hat{\pi}) = \sqrt{-\dfrac{1}{\ell``(\hat{\pi})}}\\ se(\hat{\pi}) = \sqrt{\dfrac{\hat{\pi}^2}{k} - …

4
混合型分布の最尤関数
一般的に、関数を最大化します L(θ;x1,…,xn)=∏i=1nf(xi∣θ)L(θ;x1,…,xn)=∏i=1nf(xi∣θ) L(\theta; x_1, \ldots, x_n) = \prod_{i=1}^n f(x_i \mid \theta) ここで、fffは、基礎となる分布が連続的な場合の確率密度関数であり、分布が離散的である場合は、確率質量関数(積の代わりに合計を使用)です。 基になる分布が連続分布と離散分布の混合であり、それぞれの重みが依存している場合、尤度関数をどのように指定しますか?θθ\theta

3
平均がデータの平均であることがわかっているのに、なぜMLEを使用して平均を推定するのですか?
私は平均を推定するために教科書の問題に出くわしました。教科書の問題は次のとおりです。 ことを前提としNNNデータポイントは、x1バツ1x_1、x2バツ2x_2、。。。、xNバツNx_N、平均が不明であるが分散が既知の1次元ガウス確率密度関数によって生成されました。平均のML推定値を導出します。 私の質問は、平均がデータの平均であることをすでに知っているのに、なぜMLEを使用して平均を推定する必要があるのか​​ということです。ソリューションはまた、MLE推定値がデータの平均であると述べています。平均がデータの平均にほかならないことを見つけるために、すべての骨の折れる最大化MLEステップを実行する必要がありますかつまり、(x 1 + x 2 + ⋯ + x N)/ N(x1+x2+⋯+xN)/N(バツ1+バツ2+⋯+バツN)/N(x_1+x_2+\cdots+x_N)/N?)

2
MLEの不変のプロパティ:のMLEが何であるかを
MLEの不変性:場合のMLEである任意の機能のために、次に、のMLEある。 θ^θ^\hat{\theta}θθ\thetaf(θ )f(θ)f(\theta)f(θ )f(θ)f(\theta)f(θ^)f(θ^)f(\hat{\theta}) また、は1対1の関数でなければなりません。fff この本は、「たとえば、通常の平均の二乗であるを推定するために、マッピングは1対1ではありません」と述べています。したがって、不変性プロパティは使用できません。θ2θ2{\theta}^2 しかし、その後、それはその性質を証明し、「 MLEであり、正規平均の乗はことがわかりました」と述べています。θ2θ2\theta^2バツ¯2バツ¯2\bar{x}^2 これは自己矛盾しているようです。 2乗していが、何かの2乗は1対1ではありません。ここで何が間違っていますか?ありがとう!バツ¯バツ¯\bar{x} ソース:カゼッラ&バーガー「統計的推論」

1
MLEである
仮定(X,Y)(X,Y)(X,Y) PDFを有します fθ(x,y)=e−(x/θ+θy)1x>0,y>0,θ>0fθ(x,y)=e−(x/θ+θy)1x>0,y>0,θ>0f_{\theta}(x,y)=e^{-(x/\theta+\theta y)}\mathbf1_{x>0,y>0}\quad,\,\theta>0 試料の密度(X,Y)=(Xi,Yi)1≤i≤n(X,Y)=(Xi,Yi)1≤i≤n(\mathbf X,\mathbf Y)=(X_i,Y_i)_{1\le i\le n}この集団から引き出され、したがってあります gθ(x,y)=∏i=1nfθ(xi,yi)=exp[−∑i=1n(xiθ+θyi)]1x1,…,xn,y1,…,yn>0=exp[−nx¯θ−θny¯]1x(1),y(1)>0,θ>0gθ(x,y)=∏i=1nfθ(xi,yi)=exp⁡[−∑i=1n(xiθ+θyi)]1x1,…,xn,y1,…,yn>0=exp⁡[−nx¯θ−θny¯]1x(1),y(1)>0,θ>0\begin{align} g_{\theta}(\mathbf x,\mathbf y)&=\prod_{i=1}^n f_{\theta}(x_i,y_i) \\&=\exp\left[{-\sum_{i=1}^n\left(\frac{x_i}{\theta}+\theta y_i\right)}\right]\mathbf1_{x_1,\ldots,x_n,y_1,\ldots,y_n>0} \\&=\exp\left[-\frac{n\bar x}{\theta}-\theta n\bar y\right]\mathbf1_{x_{(1)},y_{(1)}>0}\quad,\,\theta>0 \end{align} θθ\thetaの最尤推定量は、次のように導出できます。 θ^(X,Y)=X¯¯¯¯Y¯¯¯¯−−−√θ^(X,Y)=X¯Y¯\hat\theta(\mathbf X,\mathbf Y)=\sqrt\frac{\overline X}{\overline Y} このMLEの制限分布が正常かどうかを知りたいです。 のための十分統計ことは明らかであるθθ\thetaサンプルに基づいている(X¯¯¯¯,Y¯¯¯¯)(X¯,Y¯)(\overline X,\overline Y)。 さて、MLEが通常の1パラメータ指数ファミリーのメンバーであれば、疑いもなくMLEは漸近的に正常であると私は言ったでしょう。1次元のパラメーター(たとえば、N(θ,θ2)N(θ,θ2)N(\theta,\theta^2)分布のように)に対して2次元の十分な統計量があるため、そうではないと思います。 事実を使用していることをXXXとYYY実際の独立した指数変数であり、私がすることができます示しての正確な分布というθはそのようになっていますθ^θ^\hat\theta θ^θ=dF−−√, where F∼F2n,2nθ^θ=dF, where F∼F2n,2n\frac{\hat\theta}{\theta}\stackrel{d}{=} \sqrt F\quad,\text{ where }F\sim F_{2n,2n} ここから限界分布を見つけることはできません。 代わりに、私はそのWLLNで主張することができX¯¯¯¯⟶PθX¯⟶Pθ\overline X\stackrel{P}\longrightarrow\thetaとY¯¯¯¯⟶P1/θY¯⟶P1/θ\overline Y\stackrel{P}\longrightarrow 1/\thetaので、そのθθ^⟶Pθθ^⟶Pθ\hat\theta\stackrel{P}\longrightarrow\theta。 これは、と言われますθ分布の収束をしますθ。以来、しかし、これは、驚きと来ないθはの「良い」推定量ですθ。そして、この結果は√のようなものがθ^θ^\hat\thetaθθ\thetaθ^θ^\hat\thetaθθ\thetan−−√(θ^−θ)n(θ^−θ)\sqrt n(\hat\theta-\theta)で漸近的に正常かではありません。CLTを使用しても妥当な議論を思い付くことはできませんでした。 …

1
「野球のピタゴラスの定理」の背後にある実際の統計はありますか?
私はサーベルメトリクス、特にウェインウィンストンのMathleticsに関する本を読んでいます。最初の章では、チームの勝利率を予測するために使用できる数量を紹介しています: と彼は、勝利率を予測するために使用することができる途中シーズンを通じて、以下のことをほのめかしているようだ、より良いよりシーズン前半の勝率。彼は式を一般化し ここで、は得点と得点の比率です。次に彼は、3つのスポーツで勝ったゲームの割合を予測するのに最適な指数を見つけ、を見つけ Points Scored2Points Scored2+Points Against2≈% Games Won,Points Scored2Points Scored2+Points Against2≈% Games Won,\frac{\text{Points Scored}^2 }{\text{Points Scored}^2 + \text{Points Against}^2} \approx \text{% Games Won},RexpRexp+1,RexpRexp+1, \frac{R^{\text{exp}}}{R^{\text{exp}} + 1}, RRRBaseball: exp≈2,Baseball: exp≈2, \text{Baseball: exp} \approx 2 , Football: exp≈2.7,Football: exp≈2.7, \text{Football: exp} \approx 2.7, Basketball: exp≈14.Basketball: exp≈14. \text{Basketball: exp} \approx 14. しかし、獲得したゲームの%を、各ゲーム得点と対点で表すことができます。具体的には、ゲームウォンポイントが獲得ゲームの正確画分である、に対して点よりも大きい: …

1
ユニークなMVUEを見つける
この質問は、ロバート・ホッグの数学統計入門第6バージョン問題7.4.9、388ページからの質問です。 LET PDFファイルでIIDことゼロの他の場所、\シータ&gt; 0。X1,...,XnX1,...,XnX_1,...,X_nf(x;θ)=1/3θ,−θ&lt;x&lt;2θ,f(x;θ)=1/3θ,−θ&lt;x&lt;2θ,f(x;\theta)=1/3\theta,-\theta0 ()MLE検索θ^θ^\hat{\theta}のθθ\theta (b)はθ^θ^\hat{\theta}のための十分な統計θθ\theta?どうして ? (c)(n+1)θ^/n(n+1)θ^/n(n+1)\hat{\theta}/nは\ thetaの一意のMVUE θθ\thetaですか?どうして ? (a)と(b)は解決できると思いますが、(c)で混乱しています。 のために): してみましょうY1&lt;Y2&lt;...YnY1&lt;Y2&lt;...YnY_10、この導関数は負であることがわかります。 したがって、尤度関数L(θ;x)L(θ;x)L(\theta;x)は減少しています。 (−θ&lt;y1(−θ&lt;y1(-\theta< y_1 とyn&lt;2θ)yn&lt;2θ) y_n < 2\theta)、 (θ⇒⇒\Rightarrow (θ&gt;−y1(θ&gt;−y1(\theta>-y_1 と θ&gt;yn/2),⇒θ&gt;max(−y1,yn/2)θ&gt;yn/2),⇒θ&gt;max(−y1,yn/2)\theta>y_n/2), \Rightarrow \theta>max(-y_1,y_n/2) θ θ &gt; M X (- Y 1、Y N / 2 )θ = M X (- Y 1 、Y nはL(θ,x)L(θ,x)L(\theta,x)ときに、減少している、以降samllest値を有する尤度関数を最大を達成する、場合、尤度関数は最大値を達成します。θθ\thetaθ&gt;max(−y1,yn/2)θ&gt;max(−y1,yn/2)\theta>max(-y_1,y_n/2)θ=max(−y1,yn/2)θ=max(−y1,yn/2)\theta=max(-y1,y_n/2) ∴∴\therefore mleθ^=max(−y1,yn/2)θ^=max(−y1,yn/2)\hat{\theta}=max(-y_1,y_n/2) (b)の場合: …

1
IV-プロビットの尤度関数の導出
ここで、Iは、バイナリモデルを持っているので、y∗1y1∗y_1^*潜在非観測変数でありy1∈{0,1}y1∈{0,1}y_1 \in \{0,1\}観察しました。y2y2y_2はy1y1y_1を決定し、z2z2z_2は私の楽器です。つまり、モデルは簡単です。 y∗1y2y1===δ1z1+α1y2+u1δ21z1+δ22z2+v2=zδ+v21[y∗&gt;0]y1∗=δ1z1+α1y2+u1y2=δ21z1+δ22z2+v2=zδ+v2y1=1[y∗&gt;0]\begin{eqnarray} y_1^*&=& \delta_1 z_1 + \alpha_1 y_2 + u_1 \\ y_2 &=& \delta_{21} z_1 + \delta_{22}z_2 + v_2 = \textbf{z}\delta + v_2 \\ y_1 &=& \text{1}[y^*>0] \end{eqnarray} の誤差項が独立していないので、しかし、 (u1v2)∼N(0,[1ηητ2]).(u1v2)∼N(0,[1ηητ2]).\begin{eqnarray} \begin{pmatrix} u_1 \\ v_2 \end{pmatrix} \sim \mathcal{N} \left(\textbf{0} \; , \begin{bmatrix} 1 &\eta \\ \eta &\tau^2 \end{bmatrix} \right). …

1
最小の指数分布のための最尤推定量
私はこの問題を解決する方法にこだわっています。 したがって、ランダム変数の2つのシーケンス、およびがあります。現在、とは、パラメータと持つ独立した指数分布です。ただし、とを観測する代わりに、とを観測し。、Y I、I = 1 、。。。、nはX Y λ μ X Y Z WXiXiX_iYiYiY_ii=1,...,ni=1,...,ni=1,...,nXXXYYYλλ\lambdaμμ\muXXXYYYZZZWWW Z=min(Xi,Yi)Z=min(Xi,Yi)Z=\min(X_i,Y_i)及びW=1W=1W=1であればZi=XiZi=XiZ_i=X_iと0の場合Zi=YiZi=YiZ_i=Y_i。ZとWに基づいてλλ\lambdaと\ muの最尤推定量の閉形式を見つける必要があります。さらに、これらがグローバルな最大値であることを示す必要があります。μμ\muZZZWWW これで、2つの独立した指数の最小値自体が指数であり、レートはレートの合計に等しいため、ZZZがパラメーター\ lambda + \ muで指数関数であることがわかりますλ+μλ+μ\lambda+\mu。したがって、最尤推定量はλ^+μ^=Z¯λ^+μ^=Z¯\hat{\lambda}+\hat{\mu}=\bar{Z}です。 しかし、私はここからどこへ行くべきか悩んでいます。WWWがパラメーターp = P(Z_i = X_i)のベルヌーイ分布であることは知っていますが、p=P(Zi=Xi)p=P(Zi=Xi)p=P(Z_i=X_i)これをパラメーターの1つに関するステートメントに変換する方法がわかりません。たとえば、MLEのW¯W¯\bar{W}はλλ\lambdaや\ muの観点から何を推定するμμ\muでしょうか?私は理解しているかのZi=XiZi=XiZ_i=X_i、その後、μ=0μ=0\mu=0が、私はここで、任意の代数の文を思い付く方法を考え出す苦労しています。 更新1:ZZZとWの共同分布の可能性を導き出すようコメントで言われましたWWW。 したがって、 whereです。正しい?この場合、とは独立していないため、共同分布を導出する他の方法がわかりません。f(Z,W)=f(Z|W=1)⋅p+f(Z|W=0)⋅(1−p)f(Z,W)=f(Z|W=1)⋅p+f(Z|W=0)⋅(1−p)f(Z,W)=f(Z|W=1)\cdot p+f(Z|W=0)\cdot (1-p)p=P(Zi=Xi)p=P(Zi=Xi)p=P(Z_i=X_i)ZZZWWW したがって、これは、上記のの定義により、を与えます。しかし、今何ですか?これではどこにも行けません。可能性を計算する手順を実行すると、次のようになります(混合物の各部分のサンプルサイズとしてとを使用...)f(Zi,Wi)=pλe−λzi+(1−p)μe−μzif(Zi,Wi)=pλe−λzi+(1−p)μe−μzif(Z_i,W_i)=p\lambda e^{-\lambda z_i}+(1-p)\mu e^{-\mu z_i}WWWmmmnnn L(λ,μ)=pmλme−λ∑zi+(1−p)nμne−μ∑ziL(λ,μ)=pmλme−λ∑zi+(1−p)nμne−μ∑ziL(\lambda,\mu)=p^m\lambda^m e^{-\lambda \sum{z_i}}+(1-p)^n\mu^n e^{-\mu \sum{z_i}} logL=mlogp+mlogλ−λ∑zi+nlog(1−p)+nlogμ−μ∑zilog⁡L=mlog⁡p+mlog⁡λ−λ∑zi+nlog⁡(1−p)+nlog⁡μ−μ∑zi\log L=m\log p+m\log\lambda-\lambda \sum{z_i}+n\log(1-p)+n\log\mu-\mu \sum{z_i} 偏微分をとると、これはと MLE推定が条件とするの平均にすぎないことを示してます。あれは、λλ\lambdaμμ\muZZZWWW λ^=∑Zimλ^=∑Zim\hat{\lambda}=\frac{\sum{Z_i}}{m} μ^=∑Zinμ^=∑Zin\hat{\mu}=\frac{\sum{Z_i}}{n} …

2
平均と分散がわかっている場合、2変量正規データの共分散の最尤推定値は何ですか?
平均としてゼロ、分散として1を持つ2変量正規分布からの無作為標本があるとすると、唯一の未知のパラメーターは共分散です。共分散のMLEとは何ですか?私はそれが1のようなものでなければならないことを知っていますしかし、これをどうやって知るのでしょうか?1んΣんj = 1バツjyj1n∑j=1nxjyj\frac{1}{n} \sum_{j=1}^{n}x_j y_j

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.