タグ付けされた質問 「inference」

私はちょうどこの素晴らしい本を読みました：Johnson and Wichernによる応用多変量統計分析。皮肉なことに、個別の単変量（回帰）モデルの代わりに多変量（回帰）モデルを使用する動機を理解することはできません。（a）多変量回帰と多変量回帰の違いと（b）多変量回帰の結果の解釈を説明するstats.statexchangeの投稿1および2を調べましたが、すべての情報から多変量統計モデルの使用を微調整することはできませんそれらについてオンラインで入手してください。 私の質問は： なぜ多変量回帰が必要なのですか？推論を引き出すために、結果を個別にではなく同時に考慮することの利点は何ですか。 多変量モデルを使用する場合、および複数の単変量モデルを使用する場合（複数の結果の場合）。 UCLAのサイトで、制御の軌跡、自己概念、および動機付けという3つの結果が得られた例を取り上げます。1.と2.に関して、3つの単変量多重回帰と1つの多変量多重回帰を行う場合の分析を比較できますか？互いに正当化する方法は？ 多変量統計モデルを利用する学術論文にはあまり出会っていません。これは、多変量正規性の仮定、モデルのフィッティング/解釈の複雑さ、または他の特定の理由によるものですか？

28 regression  multiple-regression  inference  multivariate-regression 

ベイジアン統計では、事後分布は扱いにくいとよく言われるため、おおよその推論を適用する必要があります。この難治性を引き起こす要因は何ですか？

28 bayesian  approximation  inference 

ペアワイズ統計の事後推論などの多重比較シナリオ、または合計比較を行う多重回帰のようなシナリオがとします。また、信頼区間を使用してこれらの倍数での推論をサポートしたいとします。mmm 1. CIに複数の比較調整を適用しますか？これは、複数の比較がの再定義強要と同じように、あるのいずれかに家族的なエラー率（FWER）または偽発見率（FDR）の意味ない自信（または信頼性1、または不確実性、または予測を、または推測...間隔を選択してください）複数の比較によって同様に変更されますか？ここで否定的な答えをすると、残りの質問が無意味になることがわかります。αα\alpha 2.仮説検定から区間推定への多重比較調整手順の簡単な翻訳はありますか？たとえば、信頼区間内の項の変更に焦点を合わせます：？CIレベルCIレベル\text{CI-level}CIθ= （θ^± t（1 − CIレベル）/ 2σ^θ）CIθ=（θ^±t（1−CIレベル）/ 2σ^θ）\text{CI}_{\theta} = (\hat{\theta} \pm t_{(1-\text{CI-level)/2}}\hat{\sigma}_{\theta}) 3. CIのステップアップまたはステップダウン制御手順にどのように対処しますか？仮説テストアプローチから推論への家族ごとのエラー率調整の一部は、静的なものであり、個々の推論に対してまったく同じ調整が行われます。たとえば、Bonferroniの調整は、拒否基準を以下から変更することにより行われます。 が次の場合に拒否します：P ≤α2p≤α2p\le \frac{\alpha}{2} であれば拒否P ≤ α2mp≤α2mp\le \frac{\frac{\alpha}{2}}{m} しかし、ホルム-ボンフェローニのステップアップ調整は「静的」ではなく、次の方法で行われます。 最初に値を最小から最大に並べ、次にppp 場合、（は値の順序をインデックス付けします）まで拒否しますp ≤ 1 - （1 - α2）1m + 1 − ip≤1−（1−α2）1m+1−私p\le 1 - (1- \frac{\alpha}{2})^{\frac{1}{m+1-i}}私私ippp 帰無仮説を棄却できず、その後のすべての帰無仮説を自動的に棄却できません。 CIで拒否/拒否の失敗は発生しないため（より正式には、以下の参照を参照）、それはステップワイズプロシージャが変換されないことを意味します（つまり、すべてのFDRメソッドを含む）。ここで、CIを仮説検定に変換する方法を尋ねていないことに注意する必要があります（以下に引用する「視覚的仮説検定」の代表者は、その重要な質問に答えます）。 4. 1で括弧で言及した他の間隔についてはどうですか？ 1まあ、この言葉をここで使うことで、甘くて甘いベイジアンスタイルのロッキンに悩まされないことを願っています。:) 参照 Afshartous、D.およびPreston、R.（2010）。依存データの信頼区間：統計的有意性のある非重複の等化。計算統計とデータ分析、54（10）：2296-2305。 カミング、G。（2009）。目による推論：独立した信頼区間の重複を読み取ります。Statistics In Medicine、28（2）：205–220。 …

26 confidence-interval  multiple-comparisons  inference 

Cross Validatedを何度も探した後、私はまだ情報理論の領域外でKLの発散を理解することに近づいているとは感じていません。数学のバックグラウンドを持つ人が情報理論の説明をはるかに理解しやすいと感じるのは、かなり奇妙です。 情報理論の背景から私の理解を概説するために：有限数の結果を持つランダム変数がある場合、平均して最短のメッセージで他の誰かと結果を伝えることができる最適なエンコーディングが存在しますビット単位の画像）。結果を伝えるために必要なメッセージの予想される長さは、最適なエンコーディングが使用されている場合、で与えられます。最適以下のエンコーディングを使用する場合、KLダイバージェンスは、平均してメッセージの長さを示します。−∑αpαlog2(pα)−∑αpαlog2⁡(pα) -\sum _{\alpha}p_{\alpha}\log_{2}(p_{\alpha}) この説明は、KL発散の非対称性を非常に直感的に扱っているため、気に入っています。2つの異なるシステム、つまり異なる方法でロードされた2つのロードされたコインがある場合、それらは異なる最適なエンコーディングを持ちます。2番目のシステムのエンコーディングを1番目のシステムに使用することは、1番目のシステムのエンコーディングを2番目に使用することと「同等に悪い」とは思わず感じます。どうやって自分を納得させるかという思考プロセスを経ることなく、私はは、のエンコーディングを使用するときに、この「余分なメッセージの長さ」を与えます。∑αpα(log2qα−log2pα)∑αpα(log2⁡qα−log2⁡pα)\sum _{\alpha}p_{\alpha}( \log _{2}q_{\alpha}-\log_{2}p_{\alpha})qqqppp ただし、ウィキペディアを含むKL発散のほとんどの定義は、2つの離散確率がある場合、（ビットが離散であるため離散用語ではるかにうまく機能する情報理論の解釈と比較できるように、これを離散用語で保持します）分布の場合、KLは「それらの違い」のメトリックを提供します。これらの2つの概念がどのように関連しているのかについての説明はまだありません。私は彼の推論に関する本で覚えているようです、デイブ・マッケイはデータ圧縮と推論が基本的に同じことである点について指摘しており、私の質問はこれに本当に関連していると思います。 それがそうであるかそうでないかにかかわらず、私が念頭に置いているのは、推論の問題に関する質問です。（物事を個別に保つ）、2つの放射性サンプルがあり、そのうちの1つが既知の放射能を持つ特定の物質であることがわかっている場合（これは疑わしい物理学ですが、宇宙がそのように動作するふりをしましょう）、したがって、「真の」分布を知っています測定すべき放射性クリックの既知の持つポアソニアンである必要があります。両方のサンプルの経験的分布を構築し、それらのKL発散を既知の分布と比較し、低い方がその材料である可能性が高いと言いますか？λλ\lambda 疑わしい物理学から離れて、同じ分布から2つのサンプルが取り出されていることを知っているが、それらがランダムに選択されていないことがわかっている場合、KLの発散を既知のグローバル分布と比較すると、サンプルがどのようにバイアスされているかの感覚が得られますとにかく他と比較して？ 最後に、前の質問に対する答えが「はい」の場合、なぜですか？これらのことを、情報理論への（おそらくは希薄な）つながりを作らずに、統計的な観点だけから理解することは可能ですか？

23 inference  entropy  information-theory  kullback-leibler  compression 

Googleで "fisher" "fiducial" ...私は確かに多くのヒットを得ますが、私が従ったものはすべて私の理解を完全に超えています。 これらすべてのヒットには共通点が1つあるように見えます。それらはすべて、染められた統計学者、理論、実践、歴史、および統計の知識に徹底的に浸されている人々のために書かれています。（したがって、これらの説明のどれも、フィッシャーが「基準」によって意味することを、専門用語の海に頼ったり、いくつかの古典的または他の数学的統計文献に負けずに説明したり、説明することさえしません。） まあ、私は主題で見つけたもののために利益を得ることができる選択された聴衆に属していません、そしてこれはおそらくフィッシャーが「基準」によって意味するものを理解しようとする私の試みのすべてが壁に衝突した理由を説明しています不可解な意味不明な言葉。 プロの統計学者ではない人に、フィッシャーが「基準」とはどういう意味かを説明しようとする試みを知っている人はいますか？ PSフィッシャーは、「基準」が意味するものを特定することになると、少し動いているターゲットであることがわかりますが、この用語は意味の「一定の核」を持たなければならないことを理解しています。する）分野内で一般的に理解されている用語として。

23 bayesian  inference  terminology  fiducial  ronald-fisher 

（統計的言語ではなく、素人の言語を使用したことに対する事前の謝罪。） 特定の物理的な6面ダイスの各面を約+/- 2％以内に確実に合理的に自信を持ってロールするオッズを測定したい場合、サンプルダイスロールはいくつ必要ですか？ すなわち、それぞれの結果を数えてダイスを振る必要がある回数は、それが各サイドを振る可能性が14.6％-18.7％以内であることを98％確信するために必要ですか？（または、ダイが2％以内で公平であると約98％確信するような類似の基準） （これは、シミュレーションゲームは、サイコロを使用してください特定のサイコロのデザインになりたいために、実世界の関心事である許容可能な近接数を転がすの1/6機会にしている。があります主張、多くの一般的なサイコロの設計はで29％1つのローリングに測定されていることがそのようなサイコロをそれぞれ1000回転がします。）

22 probability  inference  pdf  dice 

ベイジアン推論では、未知のパラメーターを統合することにより、将来のデータの予測分布が導出されます。これらのパラメーターの事後分布を統合すると、事後予測分布が得られます。これは、既に観測されたデータを条件とする将来のデータの分布です。パラメーター推定値の不確実性を考慮する予測推論の非ベイジアン手法は何ですか（つまり、最尤推定値や密度関数に戻るものを単にプラグインしない）。 線形回帰後の予測間隔の計算方法は誰もが知っていますが、計算の背後にある原理は何ですか？他の状況でそれらをどのように適用できますか（たとえば、データからレートパラメーターを推定した後に新しい指数変量の正確な予測間隔を計算する）？

22 prediction  inference  prediction-interval 

Mood、Graybill、Boes の著書「Introduction to the Theory of Statistics」から ネイマン・ピアソンの補題を読みました。しかし、私は補題を理解していません。 誰でも私に補題をわかりやすい言葉で説明してもらえますか？それは何を述べていますか？ ネイマン・ピアソンの補題：レッツからのランダムサンプルである、二つの既知の値のいずれかであると、およびlet固定します。X1,…,XnX1,…,XnX_1,\ldots,X_nf(x;θ)f(x;θ)f(x;\theta)θθ\thetaθ0θ0\theta_0θ1θ1\theta_10&lt;α&lt;10&lt;α&lt;10<\alpha<1 ましょう 正の定数とすることのサブセットでれる満たすクリティカル領域C ^ *に対応する テスト\ gamma ^ *は、サイズ\ alphaの\ mathscr H_0：\ theta = \ theta_0対\ mathscr H_1：\ theta = \ theta_1の最も強力なテストです。k∗k∗k^*λ = L （θ 0、X 1、··· 、XのN）C∗C∗C^*XX\mathscr XPθ0[(X1,…,Xn)∈C∗]=α(1)(1)Pθ0[(X1,…,Xn)∈C∗]=α \tag 1 P_{\theta_0}[(X_1,\ldots,X_n)\in C^*] = \alpha λ = L （θ0; バツ1、… 、xn）L …

21 hypothesis-testing  self-study  references  inference  likelihood-ratio 

私の理解では、記述統計はデータサンプルの特徴を定量的に記述し、推論統計はサンプルが抽出された母集団について推論しました。 ただし、統計的推論に関するウィキペディアのページには次のように記載されています。 ほとんどの場合、統計的推論は、ある種のランダムサンプリングを介して対象の母集団から抽出されたデータを使用して、母集団に関する命題を作成します。 「大部分」のために、おそらくこれらの概念を適切に理解していないと思うようになりました。人口について提案しない推論統計の例はありますか？

21 terminology  descriptive-statistics  inference 

私は統計学者ではありません（数理統計学のコースを受講しましたが、それ以上のコースはありません）。最近、情報理論と統計力学を学んでいる間に、「不確実性尺度」/「エントロピー」と呼ばれるものに出会いました。私はKhinchinの派生物を不確実性の尺度として読み、それは私にとって理にかなっています。別の意味があるのは、サンプルの1つ以上の関数の算術平均を知っているときに統計を取得するMaxEntのJaynesの説明です（もちろん、不確実性の尺度としてを受け入れたと仮定）。 − ∑ p私lnp私−∑p私ln⁡p私-\sum p_i\ln p_i そこで、ネット上で検索して、他の統計的推論方法との関係を見つけましたが、神は私を混乱させました。例えば、この論文は、私がそれを正しかったと仮定して、問題の適切な再定式化の下でML推定量を得るだけであることを示唆しています。MacKeyは、彼の本の中で、MaxEntは奇妙なものを与えることができると言います。ベイジアン推論の最初の推定にも使用すべきではありません。など。私は良い比較を見つけるのに苦労しています。 私の質問は、MaxEntの弱点と強点の説明および/または適切な参照を、他の方法との定量的比較を伴う統計的推論方法として提供できますか（たとえば、おもちゃモデルに適用する場合）？

21 entropy  inference 

反転法はどのように機能しますか？密度 over ランダムサンプルとし、したがって cdfで。次に、反転法により、の分布をとして取得します。 f （x ; θ ）= 1X1,X2,...,XnX1,X2,。。。、バツnX_1,X_2,...,X_n 0&lt;X&lt;1FX（X）=X1/θ（0、1）XF - 1 X（U）=Uθf(x;θ)=1θx(1−θ)θf（バツ;θ）=1θバツ（1−θ）θf(x;\theta)={1\over \theta} x^{(1-\theta)\over \theta} 0&lt;x&lt;10&lt;バツ&lt;10<x<1FX(x)=x1/θFバツ（バツ）=バツ1/θF_X(x)=x^{1/\theta}(0,1)（0、1）(0,1)XバツXF−1X(u)=uθFバツ−1（あなたは）=あなたはθF_X^{-1}(u)=u^\theta それで、はの分布がありますか？これは反転方法の仕組みですか？ Xuθあなたはθu^\thetaXバツX u&lt;-runif(n) x&lt;-u^(theta)

21 r  distributions  inference  random-generation  inverse-cdf 

この単変量線形回帰モデル データセット場合、係数推定は ここで私の質問によれば、 bookおよびWikipedia、の標準エラーは 方法と理由 D = { （X 1、Y 1）、。。。、（X N、Y N）} β 1 = Σ I X I 、Y I - N ˉ X ˉ Yy私= β0+ β1バツ私+ ϵ私y私=β0+β1バツ私+ϵ私y_i = \beta_0 + \beta_1x_i+\epsilon_iD = { （x1、y1）、。。。、（xn、yn）}D={（バツ1、y1）、。。。、（バツn、yn）}D=\{(x_1,y_1),...,(x_n,y_n)\} β 0= ˉ Y - β 1 ˉ Xβ^1= ∑私バツ私y私− n x¯y¯n …

20 standard-error  inference 

予測子の収縮/選択のためのエラスティックネット手順に本当に興味を持っています。非常に強力なようです。 しかし、科学的な観点からは、係数を取得したらどうすればよいかわかりません。どんな質問に答えていますか？これらはその結果に最も影響を与える変数であり、これらは検証中に最良の分散/バイアス比を与える係数ですか？ これはもちろん、古典的なp値/信頼区間アプローチと比較して非常に記述的/予測的なアプローチです。推論推定は現在Tibshirani＆Co.によって研究されていますが、まだ実験的です。 一部の人々は、エラスティックネットによって選択された変数を使用して古典的な推論分析を実行していますが、これにより、手法によってもたらされる分散の制限がなくなります。 もう1つの問題は、エラスティックネットのラムダおよびアルファパラメーターが相互検証によって選択されるため、ランダムな変動の影響を受けることです。したがって、cv.glmnet（）を実行するたびに、常に異なる係数を持つ予測子のわずかに異なるサブセットを選択します。 正しいラムダとアルファをランダム変数として考慮してこれを解決し、クロス検証ステップをn回再実行して、これらのパラメータの分布を取得することについて考えました。このように、すべての予測子に対して発生回数があり、すべての係数に対して結果の分布があります。これにより、範囲統計（係数のsdなど）でより一般化可能な結果が得られるはずです。ラムダとアルファがこのように選んだ分布が漸近的に近似するかどうかを確認することも興味深いでしょう。完全に理解していない）。 最後に私の質問は次のとおりです。アルファとラムダに基づいた相互検証を使用してエラスティックネットから予測子と係数を取得したら、これらの結果をどのように表示する必要がありますか。それらについてどのように議論すべきですか？何を学びましたか？私たちはどの仮説/一般化を確信していますか？

19 hypothesis-testing  prediction  inference  lasso  elastic-net 

ここに最近投稿されたコメントで、1人のコメンターが、頻度の高い推論が尤度の原則と衝突することを（ソースなしで）指摘するLarry Wassermanのブログを指摘しました。 尤度の原理は、同様の尤度関数を生成する実験は同様の推論を生成する必要があると単純に述べています。 この質問に対する2つの部分： 頻度論的推論のどの部分、フレーバーまたはスクールは、尤度原理に特に違反していますか？ 衝突がある場合、どちらかを破棄する必要がありますか？もしそうなら、それからどれ？議論のために、ハッキングとロワイヤルが尤度原理は公理的であると私に確信させたので、何かを破棄しなければならない場合、衝突する頻度の高い推論の部分を破棄する必要があることをお勧めします。

19 inference  likelihood  frequentist  likelihood-principle 

私の理解では、ベイズのアプローチを使用してパラメータ値を推定するときは次のとおりです。 事後分布は、事前分布と尤度分布の組み合わせです。 事後分布からサンプルを生成することでこれをシミュレートします（たとえば、Metropolis-Hastingアルゴリズムを使用して値を生成し、それらが事後分布に属する確率の特定のしきい値を超える場合は受け入れます）。 このサンプルを生成したら、それを使用して事後分布とその平均などを近似します。 しかし、私は何かを誤解しているに違いないと感じています。事後分布があり、そこからサンプリングし、そのサンプルを事後分布の近似値として使用しているように聞こえます。しかし、なぜ事後分布があるのか​​というと、なぜそこからサンプリングして近似する必要があるのでしょうか？

19 bayesian  inference  simulation  mcmc  posterior