タグ付けされた質問 「likelihood-ratio」

特定の現象に対する/に対する客観的な証拠を表すための尤度比の使用に関しては、むしろ伝道的です。しかし、最近、ベイズ因子がベイジアン手法のコンテキストで同様の機能を果たすことを学びました（つまり、主観的な事前確率を客観的なベイズ因子と組み合わせて、客観的に更新された主観的な信念状態を生成します）。私は現在、尤度比とベイズ因子の計算上の違いと哲学的な違いを理解しようとしています。 計算レベルでは、尤度比は通常、各モデルのそれぞれのパラメーター化の最大尤度を表す尤度を使用して計算されますが（相互検証によって推定されるか、AICを使用してモデルの複雑さに応じてペナルティが課される）、明らかにベイズ因子は（MLEだけでなく）パラメーター空間全体で統合された各モデルの尤度を表す尤度。この統合は、通常どのように実際に達成されますか パラメーター空間から数千（数百万）のランダムサンプルのそれぞれで尤度を計算しようとするだけですか、それともパラメーター空間全体で尤度を統合するための分析方法がありますか？さらに、ベイズ係数を計算するとき、 また、尤度比とベイズ因子の哲学的違いは何ですか（nb尤度比とベイズ法一般の哲学的違いについては質問していませんが、具体的に客観的証拠の表現としてのベイズ因子です）。尤度比と比較して、ベイズ因子の意味をどのように特徴付けることができますか？

61 likelihood-ratio  bayes-factors 

尤度比検定の検定統計量がカイ二乗分布しているのはなぜですか？ 2(ln Lalt model−ln Lnull model)∼χ2dfalt−dfnull2(ln⁡ Lalt model−ln⁡ Lnull model)∼χdfalt−dfnull22(\ln \text{ L}_{\rm alt\ model} - \ln \text{ L}_{\rm null\ model} ) \sim \chi^{2}_{df_{\rm alt}-df_{\rm null}}

34 distributions  chi-squared  likelihood-ratio 

尤度は、たとえば、いくつかの方法で定義できます。 関数からマップをすなわち、。LLLΘ × XΘ×バツ\Theta\times{\cal X}（θ 、x ）（θ、バツ）(\theta,x)L （θ | X ）L（θ∣バツ）L(\theta \mid x)L ：Θ × X→ RL：Θ×バツ→RL:\Theta\times{\cal X} \rightarrow \mathbb{R} ランダム関数L （⋅ | X）L（⋅∣バツ）L(\cdot \mid X) また、尤度は「観測された」尤度のみであると考えることもできL （⋅ | Xobs）L（⋅∣バツobs）L(\cdot \mid x^{\text{obs}}) 実際には、尤度は\ thetaの情報をθθ\theta乗法定数までしか持ち込まないため、尤度は関数ではなく関数の等価クラスと考えることができます パラメーター化の変更を検討する際に別の問題が発生します：ϕ = θ2ϕ=θ2\phi=\theta^2が新しいパラメーター化である場合、一般にL （ϕ ∣ x ）L（ϕ∣バツ）L(\phi \mid x)で\ phiの尤度を示しϕϕ\phi、これは前の関数L （⋅ | X ）L（⋅∣バツ）L(\cdot \mid x)でθ2θ2\theta^2が、でϕ−−√ϕ\sqrt{\phi}。これは虐待的だが有用な表記法であり、強調しないと初心者に困難をもたらす可能性がある。 …

30 mathematical-statistics  likelihood  likelihood-ratio  parametric 

有名な1938年の論文（「複合仮説をテストするための尤度比の大標本分布」、Annals of Mathematical Statistics、9：60-62）で、サミュエルウィルクスは（対数尤度比）の漸近分布を導きました）ネストされた仮説の場合、より大きな仮説が正しく指定されているという仮定の下で。極限分布はχ 2（カイ二乗）とH - M個の自由度Hが大きい仮説とのパラメータの数であり、Mが2×LLR2×LLR2 \times LLRχ2χ2\chi^2h−mh−mh-mhhhmmmネストされた仮説の自由パラメーターの数です。ただし、仮説が誤って指定されている場合（つまり、大きな仮説がサンプリングされたデータの真の分布ではない場合）、この結果が保持されないことはよく知られています。 誰でもその理由を説明できますか？ウィルクスの証明は、わずかな修正を加えても機能するはずです。最尤推定（MLE）の漸近正規性に依存しますが、これは誤って指定されたモデルでも保持されます。唯一の違いは、制限多変量正規分布の共分散行列です。正しく指定されたモデルでは、共分散行列を逆フィッシャー情報行列で近似できますが、仕様が間違っていれば、共分散行列のサンドイッチ推定（J − 1 K J − 1）。モデルが正しく指定されると、後者はフィッシャー情報行列の逆行列になります（J = KJ−1J−1J^{-1}J−1KJ−1J−1KJ−1J^{-1} K J^{-1}J=KJ=KJ = K）。AFAICT、Wilksの証明は、MLEの多変量正規の可逆漸近共分散行列（Wilks論文の）がある限り、共分散行列の推定値がどこから来るかを気にしません。 c−1c−1c^{-1}

23 hypothesis-testing  model-selection  likelihood-ratio  asymptotics  misspecification 

Mood、Graybill、Boes の著書「Introduction to the Theory of Statistics」から ネイマン・ピアソンの補題を読みました。しかし、私は補題を理解していません。 誰でも私に補題をわかりやすい言葉で説明してもらえますか？それは何を述べていますか？ ネイマン・ピアソンの補題：レッツからのランダムサンプルである、二つの既知の値のいずれかであると、およびlet固定します。X1,…,XnX1,…,XnX_1,\ldots,X_nf(x;θ)f(x;θ)f(x;\theta)θθ\thetaθ0θ0\theta_0θ1θ1\theta_10&lt;α&lt;10&lt;α&lt;10<\alpha<1 ましょう 正の定数とすることのサブセットでれる満たすクリティカル領域C ^ *に対応する テスト\ gamma ^ *は、サイズ\ alphaの\ mathscr H_0：\ theta = \ theta_0対\ mathscr H_1：\ theta = \ theta_1の最も強力なテストです。k∗k∗k^*λ = L （θ 0、X 1、··· 、XのN）C∗C∗C^*XX\mathscr XPθ0[(X1,…,Xn)∈C∗]=α(1)(1)Pθ0[(X1,…,Xn)∈C∗]=α \tag 1 P_{\theta_0}[(X_1,\ldots,X_n)\in C^*] = \alpha λ = L （θ0; バツ1、… 、xn）L …

21 hypothesis-testing  self-study  references  inference  likelihood-ratio 

私は分類木と回帰木を研究していますが、分割された場所の尺度の1つはGINIスコアです。 今では、2つの分布間の同じデータの尤度比のログがゼロである場合に、最適な分割位置を決定することに慣れています。 私の直感では、何らかの接続が必要であり、GINIは情報の数学的理論（シャノン）に優れた基礎を持たなければならないが、私はGINIを自分で理解するのに十分に理解していないと言います。 質問： 分割の尺度としてのGINI不純物スコアの「第一原理」導出とは何ですか？ GINIスコアは、尤度比のログまたは他の情報理論的基礎にどのように関係しますか（シャノンエントロピー、pdf、およびクロスエントロピーはそれらの一部です）？ 参照： 加重Gini基準はどのように定義されていますか？ 分類および回帰木の背後にある数学 http://www.cs.put.poznan.pl/jstefanowski/sed/DM-5-newtrees.pdf （追加） http://www.ibe.med.uni-muenchen.de/organisation/mitarbeiter/020_professuren/boulesteix/pdf/gini.pdf https://www.youtube.com/watch?v=UMtBWQ2m04g http://www.ius-migration.ch/files/content/sites/imi/files/shared/documents/papers/Gini_index_fulltext.pdf /programming/4936788/decision-tree-learning-and-impurity シャノンのエントロピーは次のように説明されます。 H(x)=ΣiP(xi)logbP(xi)H(x)=ΣiP(xi)logb⁡P(xi) H \left(x \right) = \Sigma_{i} P\left(x_{i} \right)\log_{b} P\left(x_{i} \right) これを多変量のケースに拡張すると、次のようになります。 H(X,Y)=ΣxΣyP(x,y)logbP(x,y)H(X,Y)=ΣxΣyP(x,y)logb⁡P(x,y) H \left(X,Y \right)= \Sigma_{x}\Sigma_{y} P\left(x,y \right)\log_{b} P\left(x,y \right) 条件付きエントロピーは次のように定義されます。 H(X|Y)H(X|Y)=Σyp(x,y)logbp(x)p(x,y）or,=H(X,Y）−H(Y）H(バツ|Y）=Σyp（バツ、y）ログb⁡p（バツ）p（バツ、y）または、H（バツ|Y）=H（バツ、Y）−H（Y）\begin{align} H \left(X|Y \right) &= \Sigma_{y} p\left(x,y \right)\log_{b} \frac {p\left(x \right)} {p\left(x,y \right)} …

21 cart  likelihood-ratio  information-theory  kullback-leibler  gini 

主成分分析（PCA）を実行した後、新しいベクトルをPCA空間に投影します（つまり、PCA座標系で座標を見つけます）。 を使用してR言語でPCAを計算しましたprcomp。これで、ベクトルにPCA回転行列を掛けることができるはずです。このマトリックスの主成分を行または列に配置する必要がありますか？

21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

私はRのlme4パッケージを使用して混合効果のモデリングを検討しています。主にlmerコマンドを使用しているので、その構文を使用するコードを通じて質問を投げかけます。一般的な簡単な質問があると思いますが、lmer同一のデータセットに基づく尤度比を使用して構築された2つのモデルを比較しても大丈夫ですか？その答えは「ノー」でなければならないと思いますが、間違っている可能性があります。ランダム効果を同じにする必要があるかどうかに関する矛盾する情報を読みましたが、ランダム効果のどのコンポーネントがそれを意味していますか？そのため、いくつかの例を紹介します。単語刺激を使用して繰り返し測定データからそれらを取得します。おそらく、Baayen（2008）のようなものが解釈に役立ちます。 2つの固定効果予測子があるモデルがあるとします。これらのモデルをAとB、およびいくつかのランダム効果と呼びます。単語とそれらを知覚する主題。次のようなモデルを作成できます。 m &lt;- lmer( y ~ A + B + (1|words) + (1|subjects) ) （私は意図的に除外していることに注意してください、私はdata =常にREML = FALSE明確にするために私がいつも意味すると仮定します） さて、次のモデルのうち、上記の尤度比と比較しても問題ないモデルとそうでないモデルはどれですか？ m1 &lt;- lmer( y ~ A + B + (A+B|words) + (1|subjects) ) m2 &lt;- lmer( y ~ A + B + (1|subjects) ) m3 &lt;- lmer( y ~ A …

20 r  mixed-model  lme4-nlme  likelihood-ratio 

被験者内の双方向設計からの次のデータを考慮してください。 df &lt;- "http://personality-project.org/r/datasets/R.appendix4.data" df &lt;- read.table(df,header=T) head(df) Observation Subject Task Valence Recall 1 1 Jim Free Neg 8 2 2 Jim Free Neu 9 3 3 Jim Free Pos 5 4 4 Jim Cued Neg 7 5 5 Jim Cued Neu 9 6 6 Jim Cued Pos 10 混合線形モデルを使用してこれを分析したいと思います。考えられるすべての固定効果と変量効果を考慮すると、複数の可能なモデルがあります。 …

19 mixed-model  repeated-measures  model-selection  lme4-nlme  likelihood-ratio 

これは、2003年のエドウィンジェインズによる確率理論：科学の論理で与えられた演習です。ここには部分的な解決策があります。私はより一般的な部分的な解決策を考え出しましたが、他の誰かがそれを解決したかどうか疑問に思っていました。答えを投稿する前に少し待って、他の人に試してもらいます。 さて、H iで示される相互排他的で網羅的なnnn仮説があると仮定します。Hi(i=1,…,n)Hi(i=1,…,n)H_i \;\;(i=1,\dots,n)。さらに、 D jで示されるmmmデータセットがあるとしますDj(j=1,…,m)Dj(j=1,…,m)D_j \;\;(j=1,\dots,m)。i番目の仮説の尤度比は次の式で与えられます。 LR(Hi)=P(D1D2…,Dm|Hi)P(D1D2…,Dm|H¯¯¯¯¯i)LR(Hi)=P(D1D2…,Dm|Hi)P(D1D2…,Dm|H¯i)LR(H_{i})=\frac{P(D_{1}D_{2}\dots,D_{m}|H_{i})}{P(D_{1}D_{2}\dots,D_{m}|\overline{H}_{i})} これらは条件付き確率であることに注意してください。i番目の仮説が与えられた場合HiHiH_{i}、mmmデータセットが独立していると仮定します。 P(D1D2…,Dm|Hi)=∏j=1mP(Dj|Hi)(i=1,…,n)Condition 1P(D1D2…,Dm|Hi)=∏j=1mP(Dj|Hi)(i=1,…,n)Condition 1P(D_{1}D_{2}\dots,D_{m}|H_{i})=\prod_{j=1}^{m}P(D_{j}|H_{i}) \;\;\;\; (i=1,\dots,n)\;\;\;\text{Condition 1} ここで、分母もこの状況を考慮に入れれば非常に便利になります。 P(D1D2…,Dm|H¯¯¯¯¯i)=∏j=1mP(Dj|H¯¯¯¯¯i)(i=1,…,n)Condition 2P(D1D2…,Dm|H¯i)=∏j=1mP(Dj|H¯i)(i=1,…,n)Condition 2P(D_{1}D_{2}\dots,D_{m}|\overline{H}_{i})=\prod_{j=1}^{m}P(D_{j}|\overline{H}_{i}) \;\;\;\; (i=1,\dots,n)\;\;\;\text{Condition 2} この場合、尤度比は各データセットのより小さい係数の積に分割されるため、次のようになります。 LR(Hi)=∏j=1mP(Dj|Hi)P(Dj|H¯¯¯¯¯i)LR(Hi)=∏j=1mP(Dj|Hi)P(Dj|H¯i)LR(H_i)=\prod_{j=1}^{m}\frac{P(D_{j}|H_{i})}{P(D_{j}|\overline{H}_{i})} したがって、この場合、各データセットのだろう「のための投票HiHiH_i」または「反対票HiHiH_i」独立して、他のデータセットの。 演習では、n&gt;2n&gt;2n>2（2つ以上の仮説）の場合、この因数分解が発生するような非自明な方法がないことを証明します。つまり、条件1と条件2が成立すると仮定すると、最大で1つの要因 1と異なっているので、1つだけのデータセットは、尤度比に寄与する。P(D1|Hi)P(D1|H¯¯¯¯¯i)P(D2|Hi)P(D2|H¯¯¯¯¯i)…P(Dm|Hi)P(Dm|H¯¯¯¯¯i)P(D1|Hi)P(D1|H¯i)P(D2|Hi)P(D2|H¯i)…P(Dm|Hi)P(Dm|H¯i)\frac{P(D_{1}|H_{i})}{P(D_{1}|\overline{H}_{i})}\frac{P(D_{2}|H_{i})}{P(D_{2}|\overline{H}_{i})}\dots\frac{P(D_{m}|H_{i})}{P(D_{m}|\overline{H}_{i})} 個人的には、この結果は非常に魅力的でした。なぜなら、複数の仮説検定は一連のバイナリ仮説検定に他ならないことを基本的に示しているからです。

19 independence  likelihood-ratio  hypothesis-testing  multiple-comparisons 

私はR のezパッケージの作成者であり、ANOVAの出力に尤度比（LR）の自動計算を含めるための更新に取り組んでいます。アイデアは、ANOVAが達成する効果のテストに類似した各効果のLRを提供することです。例えば、主な効果のためにLRは、主な効果を含むモデルにヌルモデルの比較を示し、相互作用のためのLRは、主効果の両方を含むモデル対の両方の成分主効果含むモデルの比較を表しとを彼らの相互作用など LR計算の私の理解は、基本的な計算と複雑さの修正をカバーするGlover＆Dixon（PDF）と、反復測定変数を含む計算をカバーするBortolussi＆Dixon（付録PDF）の付録から得ています。理解度をテストするために、サンプルのANOVA（偽データを使用して2 * 2 * 3 * 4設計から生成された）からdfとSSを取得し、各効果のLRを計算するこのスプレッドシートを開発しました。 そのような計算にもう少し自信がある人が見て、私がすべてを正しくしたことを確認できたら本当に感謝しています。抽象コードを好む人のために、ezANOVA（）への更新を実装するRコードがあります（特に15〜95行目を参照）。

18 r  anova  likelihood-ratio 

線形混合モデルのランダム効果に関するモデル選択に関するさまざまな説明は、REMLの使用を指示しています。あるレベルでREMLとMLの違いは知っていますが、MLにバイアスがかかっているため、なぜREMLを使用する必要があるのか​​わかりません。たとえば、MLを使用して正規分布モデルの分散パラメーターでLRTを実行するのは間違っていますか（以下のコードを参照）。モデルの選択において、MLであるよりも偏らないことが重要である理由がわかりません。最終的な答えは「モデル選択がMLよりもREMLの方がうまく機能するため」でなければならないと思いますが、それ以上のことを知りたいと思います。LRTとAICの派生物は読みませんでした（それらを完全に理解するのに十分ではありません）が、派生物でREMLが明示的に使用されている場合は、実際に十分であることを知っているだけです（たとえば、 n &lt;- 100 a &lt;- 10 b &lt;- 1 alpha &lt;- 5 beta &lt;- 1 x &lt;- runif(n,0,10) y &lt;- rnorm(n,a+b*x,alpha+beta*x) loglik1 &lt;- function(p,x,y){ a &lt;- p[1] b &lt;- p[2] alpha &lt;- p[3] -sum(dnorm(y,a+b*x,alpha,log=T)) } loglik2 &lt;- function(p,x,y){ a &lt;- p[1] b &lt;- p[2] alpha &lt;- p[3] beta &lt;- …

16 mixed-model  maximum-likelihood  unbiased-estimator  likelihood-ratio  reml 

与えられた推論問題について、ベイジアンアプローチは通常、形式と結果の両方が周波数論的アプローチと異なることを知っています。頻繁に（通常私を含む）彼らの方法は事前を必要としないため、「判断駆動型」よりも「データ駆動型」であるとしばしば指摘します。もちろん、ベイジアンのものは、情報価値のない事前分布を指すことができます。または、実際的であるため、本当に拡散事前分布を使用することもできます。 私の懸念は、特に私の周波数主義的客観性にうんざりしているように感じた後、おそらく「客観的」と言われる方法が、いくつかの異常な事前モデルとデータモデルであるにもかかわらず、ベイジアンフレームワークで定式化できることです。その場合、私は自分のフリークエンシー主義の手法が暗示する、とんでもない前例とモデルを至福のように知らないのでしょうか？ ベイジアンがそのような定式化を指摘した場合、私の最初の反応は「まあ、それはあなたがそれを行うことができるのは素晴らしいことですが、それは私が問題について考える方法ではありません！」しかし、だれが私がそれについてどう考えるか、または私がそれをどのように公式化するかを気にします。私の手順は、統計的/数学的に等価である場合には、いくつかのベイズモデル、そして私は（暗黙的だ無意識のうちにベイズ推定を実行します！）。 以下の実際の質問 この実現は、独善的な誘惑を大幅に弱めました。ただし、ベイジアンのパラダイムがすべての頻繁な手順に対応できるかどうかはわかりません（再度、ベイジアンが適切な事前確率と尤度を選択した場合）。私は逆が間違っていることを知っています。 私が最近条件付き推論に関する質問を投稿したので、私はこれを尋ねます。そして、それは私を次の論文に導きました：ここ（3.9.5、3.9.6を見てください） 彼らは、どの「関連サブセット」が最も関連性があるのか​​という質問を頼み、複数の補助的な統計値が存在する可能性があるというバスの有名な結果を指摘しています。さらに悪いことに、一意の補助統計がある場合でも、他の関連サブセットの存在を排除しない2つの例を示しています。 彼らは、ベイジアンメソッド（またはそれらに相当するメソッド）のみがこの問題を回避でき、問題のない条件推論を可能にすると結論付けています。 それはケースではないかもしれないベイズ統計その Fequentist統計-ここでは、このグループへの私の質問です。しかし、2つのパラダイム間の基本的な選択は、目標よりも哲学にあるようです。高い条件精度または低い無条件エラーが必要ですか。⊃⊃\supset 特異なインスタンスを分析する必要がある場合、高い条件精度が適用されるようです-この方法は次のデータセット（ハイパーコンディショナリティ/特殊化）に適切または正確でないかもしれないという事実にもかかわらず、この特定の推論に対して正しいことを望みます。 長期的なエラーが最小化または制御されている限り、場合によっては条件付きで誤った推論を行う場合は、低無条件エラーが適切です。正直なところ、これを書いた後、私は時間に縛られて、ベイジアン分析を行うことができなかった場合を除き、なぜこれを望むのかわかりません...うーん。 尤度関数からいくつかの（漸近的/近似）条件付けを取得するため、尤度ベースのフェンティクストの推論を好む傾向がありますが、事前に調整する必要はありません-しかし、特にベイジアン推論に慣れてきました私は以前の小さなサンプル推論の正規化用語を参照します。 ごめんなさい。私の主な問題に対する助けをいただければ幸いです。

15 bayesian  inference  likelihood  likelihood-ratio  frequentist 

モデルの適合度を比較するために、Rで尤度比検定を行う方法を探していました。私が最初にそれを自分でコード化され、デフォルトの両方見つかったanova()機能ともlrtest()にlmtestパッケージ。ただし、チェックするとanova()、「test」パラメータが「LRT」に設定されていても、常に他の2つの値とはわずかに異なるp値が生成されます。はanova()、実際にいくつかの微妙に異なるテストを実行する、または私は何かを理解していないのですか？ プラットフォーム：Linux Mint 17で実行されているR 3.2.0 lmtestバージョン0.9-33で サンプルコード： set.seed(1) # Reproducibility n=1000 y = runif(n, min=-1, max=1) a = factor(sample(1:5, size=n, replace=T)) b = runif(n) # Make y dependent on the other two variables y = y + b * 0.1 + ifelse(a==1, 0.25, 0) mydata = data.frame(y,a,b) # Models base …

15 r  anova  likelihood-ratio 

現在、いくつかの作業をレビューしていますが、次のことに気付きました。lmerを使用して、2つの混合モデルが（Rで）近似されます。モデルはネストされておらず、尤度比検定によって比較されます。要するに、ここに私が持っているものの再現可能な例があります： set.seed(105) Resp = rnorm(100) A = factor(rep(1:5,each=20)) B = factor(rep(1:2,times=50)) C = rep(1:4, times=25) m1 = lmer(Resp ~ A + (1|C), REML = TRUE) m2 = lmer(Resp ~ B + (1|C), REML = TRUE) anova(m1,m2) 私が見る限りlmer、対数尤度を計算するために使用され、anovaステートメントは通常の自由度を持つカイ二乗を使用してモデル間の差をテストします。これは私には正しくないようです。それが正しい場合、誰かがこれを正当化する参照を知っていますか？私はシミュレーションに依存する方法（ルイス他による論文、2011）とVuong（1989）によって開発されたアプローチを知っていますが、これがここで生み出されるものだとは思いません。anovaステートメントの使用が正しいとは思わない。

14 r  lme4-nlme  likelihood-ratio  nested-models