タグ付けされた質問 「inference」

ましょう。フィッシャー情報マトリックスは次のように定義されます。θ∈Rnθ∈Rn\theta \in R^{n} I(θ)i,j=−E[∂2log(f(X|θ))∂θi∂θj∣∣∣θ]I(θ)i,j=−E[∂2log⁡(f(X|θ))∂θi∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right] フィッシャー情報マトリックスが半正定値であることをどのように証明できますか？

18 inference  linear-algebra  fisher-information 

予測モデルを構築するときの正則化の利点（バイアスと分散、過剰適合の防止）について知っています。しかし、回帰モデルの主な目的が係数の推論であるときに正則化（投げ縄、リッジ、エラスティックネット）を行うことも良い考えかと思います（統計的に重要な予測子を参照）。私は、人々の考えや、これを扱っている学術雑誌や非学術記事へのリンクを聞きたいです。

17 inference  lasso  ridge-regression  elastic-net  selectiveinference 

AW van der Vaartの漸近統計（1998年）をフォローしています。彼は統計実験とは異なり、統計モデルとは異なると主張しているが、どちらも定義していない。私の質問： （1）統計実験、（2）統計モデル、（3）統計実験と統計モデルを常に区別する重要な要素は何ですか？

17 mathematical-statistics  inference  experiment-design  descriptive-statistics  model 

記述統計のp値を見つけるように求められています。ただし、p値はテスト統計用であると理解しています。間違っていない場合、p値は帰無仮説が真である場合に検定統計量と同じくらい極端な値を観測する確率です。

17 hypothesis-testing  descriptive-statistics  inference 

pdfとpmfとcdfには同じ情報が含まれていますか？ 私にとって、pdfは特定のポイント（基本的には確率の下の領域）に確率全体を与えます。 pmfは、特定のポイントの確率を示します。 cdfは、特定のポイントの下での確率を​​示します。 だから私にはpdfとcdfは同じ情報を持っていますが、pmfはx分布上の点の確率を与えるのでそうではありません。

17 probability  distributions  pdf  inference  cdf 

統計は応用科学であると言うのは公平だと思うので、平均と標準偏差を計算するとき、それは誰かがそれらの数値に基づいていくつかの決定をしようとしているからです。 優れた統計学者の一部は、サンプルデータが信頼できる場合、および何らかの統計テストが興味のある真のデータを完全に誤って伝えている場合に、「感知」できることを望みます。ビッグデータセット統計と確率理論を再学習していますが、これまで見てきたすべての本は、舞台に上がってたくさんのことを言う政治家のようなものだというこのしつこい気持ちを揺るがすことはできませんスピーチの最後の次の免責事項： さて、これは良いことでも悪いことでもありませんが、数字は良いと言っているので、とにかく投票してください。 たぶんあなたはそれを得るが、多分そうではないので、ここに質問があります。統計学者による戦争の話はどこで見られますか？いくつかの決定は、後で完全に間違っていることが判明した統計情報に基づいていますか？

16 references  inference  descriptive-statistics  history  fallacy 

ではR、ldaライブラリの関数を使用MASSして分類を行います。LDAを理解すると、入力xxxはラベルyyyが割り当てられ、p(y|x)p(y|x)p(y|x)が最大化されますよね？ 私はモデルを適合場合には、ここでx=(Lag1,Lag2)x=(Lag1,Lag2)x=(Lag1,Lag2)y=Direction,y=Direction,y=Direction,私はかなりの出力を理解していませんlda、 編集：以下の出力を再現するには、最初に実行します： library(MASS) library(ISLR) train = subset(Smarket, Year < 2005) lda.fit = lda(Direction ~ Lag1 + Lag2, data = train) > lda.fit Call: lda(Direction ~ Lag1 + Lag2, data = train) Prior probabilities of groups: Down Up 0.491984 0.508016 Group means: Lag1 Lag2 Down 0.04279022 0.03389409 Up -0.03954635 -0.03132544 …

16 r  discriminant-analysis  inference 

与えられた推論問題について、ベイジアンアプローチは通常、形式と結果の両方が周波数論的アプローチと異なることを知っています。頻繁に（通常私を含む）彼らの方法は事前を必要としないため、「判断駆動型」よりも「データ駆動型」であるとしばしば指摘します。もちろん、ベイジアンのものは、情報価値のない事前分布を指すことができます。または、実際的であるため、本当に拡散事前分布を使用することもできます。 私の懸念は、特に私の周波数主義的客観性にうんざりしているように感じた後、おそらく「客観的」と言われる方法が、いくつかの異常な事前モデルとデータモデルであるにもかかわらず、ベイジアンフレームワークで定式化できることです。その場合、私は自分のフリークエンシー主義の手法が暗示する、とんでもない前例とモデルを至福のように知らないのでしょうか？ ベイジアンがそのような定式化を指摘した場合、私の最初の反応は「まあ、それはあなたがそれを行うことができるのは素晴らしいことですが、それは私が問題について考える方法ではありません！」しかし、だれが私がそれについてどう考えるか、または私がそれをどのように公式化するかを気にします。私の手順は、統計的/数学的に等価である場合には、いくつかのベイズモデル、そして私は（暗黙的だ無意識のうちにベイズ推定を実行します！）。 以下の実際の質問 この実現は、独善的な誘惑を大幅に弱めました。ただし、ベイジアンのパラダイムがすべての頻繁な手順に対応できるかどうかはわかりません（再度、ベイジアンが適切な事前確率と尤度を選択した場合）。私は逆が間違っていることを知っています。 私が最近条件付き推論に関する質問を投稿したので、私はこれを尋ねます。そして、それは私を次の論文に導きました：ここ（3.9.5、3.9.6を見てください） 彼らは、どの「関連サブセット」が最も関連性があるのか​​という質問を頼み、複数の補助的な統計値が存在する可能性があるというバスの有名な結果を指摘しています。さらに悪いことに、一意の補助統計がある場合でも、他の関連サブセットの存在を排除しない2つの例を示しています。 彼らは、ベイジアンメソッド（またはそれらに相当するメソッド）のみがこの問題を回避でき、問題のない条件推論を可能にすると結論付けています。 それはケースではないかもしれないベイズ統計その Fequentist統計-ここでは、このグループへの私の質問です。しかし、2つのパラダイム間の基本的な選択は、目標よりも哲学にあるようです。高い条件精度または低い無条件エラーが必要ですか。⊃⊃\supset 特異なインスタンスを分析する必要がある場合、高い条件精度が適用されるようです-この方法は次のデータセット（ハイパーコンディショナリティ/特殊化）に適切または正確でないかもしれないという事実にもかかわらず、この特定の推論に対して正しいことを望みます。 長期的なエラーが最小化または制御されている限り、場合によっては条件付きで誤った推論を行う場合は、低無条件エラーが適切です。正直なところ、これを書いた後、私は時間に縛られて、ベイジアン分析を行うことができなかった場合を除き、なぜこれを望むのかわかりません...うーん。 尤度関数からいくつかの（漸近的/近似）条件付けを取得するため、尤度ベースのフェンティクストの推論を好む傾向がありますが、事前に調整する必要はありません-しかし、特にベイジアン推論に慣れてきました私は以前の小さなサンプル推論の正規化用語を参照します。 ごめんなさい。私の主な問題に対する助けをいただければ幸いです。

15 bayesian  inference  likelihood  likelihood-ratio  frequentist 

ベイジアン推論が難解な問題につながる理由を理解するのに問題があります。問題は次のように説明されることがよくあります。 私が理解していないのは、なぜこの積分を最初に評価しなければならないのかということです：積分の結果は単純に正規化定数であるように思われます（データセットDが与えられているため）。右側の分子として事後分布を単純に計算し、事後分布の積分が1でなければならないことを要求してこの正規化定数を推測できないのはなぜですか？ 私は何が欠けていますか？ ありがとう！

15 bayesian  inference 

私は過去3年間、多くの本から統計を研究してきましたが、このサイトのおかげで多くのことを学びました。それにもかかわらず、1つの基本的な質問が未解決のままです。非常に単純な答えまたは非常に難しい答えを持っているかもしれませんが、統計の深い理解が必要であることは確かです。 モデルをデータに適合させるとき、それが頻繁なアプローチであろうとベイジアンアプローチであろうと、我々はモデルを提案します。ある程度の良さを持つサンプルに適合します。現在手元にあるものと比較して、より良いまたは悪いモデルをいつでも見つけることができます。ある時点で、結論を出したり、母集団パラメーターに一般化したり、信頼区間を報告したり、リスクを計算したりします。AIC、MDLなど、予想されるKL距離を推定するツールを使用している場合でも、絶対ベースでの位置については何も言わず、相対的ベースで推定を改善するだけです。 ここで、モデルを構築するときに任意のデータセットに適用する手順をステップごとに定義したいとします。停止ルールとして何を指定する必要がありますか？少なくとも、客観的な停止点を与えるモデルエラーをバインドできますか（これは、検証サンプルを使用してトレーニングを停止することとは異なります。これは、真のDGPではなく、評価されたモデルクラス内に停止点を与えるためです）。

15 modeling  inference  aic 

一部のベイジアンは、研究者の意図に依存するため、「固有のサンプリング分布は存在しない」と述べる頻繁な推論を攻撃します（Kruschke、Aguinis、＆Joo、2012、733）。 たとえば、研究者がデータ収集を開始したが、40人の参加者がいた後、予想外に資金が削減されたとします。サンプリング分布（および後続のCIとp値）は、ここでどのように定義されますか？各構成サンプルにN = 40があると仮定しますか？または、異なるNのサンプルで構成され、各サイズは、彼の資金が削減された可能性のある他のランダムな時間によって決定されますか？ 教科書にあるt、F、カイ2乗（等）、null分布はすべて、Nがすべての構成サンプルに対して固定され、一定であると仮定していますが、実際にはそうではない場合があります。さまざまな停止手順（たとえば、特定の時間間隔の後、またはアシスタントが疲れるまで）ごとに、異なるサンプリング分布があるようです。これらの「試行された」固定N分布の使用は不適切です。 この批判は、頻度の高いCIとp値の正当性をどの程度損ないますか？理論上の反論はありますか？サンプリング分布の概念を攻撃することにより、頻繁な推論の全体の構造は希薄になっているようです。 学術的な参考文献は大歓迎です。

15 distributions  inference  frequentist 

この質問はGalit Shmueliの論文「説明するか予測する」を参照しています。 具体的には、セクション1.5「説明と予測は異なる」で、シュムエリ教授は次のように書いています。 説明モデリングでは、基礎となる理論の最も正確な表現を得るために、バイアスを最小化することに重点が置かれます。 これは私が論文を読むたびに私を困惑させました。どのような意味で、推定値のバイアスを最小化すると、基礎となる理論の最も正確な表現が得られますか？ 私はまた、教授Shmueliの話見て、ここで、JMPディスカバリー・サミット2017で配信、そして彼女は述べています： ...収縮モデル、アンサンブルのようなもの、あなたはそれらを見ることはありません。これらのモデルは、設計上、全体的なバイアス/分散を減らすためにバイアスを導入するためです。それが彼らがそこにいない理由であり、それをすることは理論的に意味をなさない。モデルを意図的に偏らせるのはなぜですか？ これは本当に私の質問に光を当てるものではなく、単に私が理解していないという主張を言い直しているだけです。 理論に多くのパラメータがあり、それらを推定するためのデータが少ない場合、推定誤差は分散によって支配されます。この状況で、リッジ回帰のようなバイアスのある推定手順を使用するのが不適切なのはなぜですか（結果として、より低い分散のバイアスのある推定になります）？

15 predictive-models  inference  bias  unbiased-estimator  explanatory-models 

1つの固定効果（条件）と2つのランダム効果（被験者内のデザインとペアによる参加者）を含む混合効果モデルを使用して、データセットを分析しています。モデルはlme4パッケージで生成されました：exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp)。 次に、固定効果（条件）のないモデルに対してこのモデルの尤度比検定を実行しましたが、有意差があります。データセットには3つの条件があるため、多重比較を行いたいのですが、どの方法を使用すればよいかわかりません。CrossValidatedや他のフォーラムで同様の質問をいくつか見つけましたが、それでもかなり混乱しています。 私が見たものから、人々は使用することを提案しました 1.lsmeansパッケージ- lsmeans(exp.model,pairwise~condition)私に次のような出力が得られます。 condition lsmean SE df lower.CL upper.CL Condition1 0.6538060 0.03272705 47.98 0.5880030 0.7196089 Condition2 0.7027413 0.03272705 47.98 0.6369384 0.7685443 Condition3 0.7580522 0.03272705 47.98 0.6922493 0.8238552 Confidence level used: 0.95 $contrasts contrast estimate SE df t.ratio p.value Condition1 - Condition2 -0.04893538 0.03813262 62.07 -1.283 0.4099 Condition1 - …

15 r  repeated-measures  multiple-comparisons  post-hoc  lsmeans  bayesian  posterior  marginal  integral  anova  time-series  regularization  machine-learning  pca  computational-statistics  references  inference  regression  cross-validation  python  random-forest  chi-squared  spearman-rho  r  machine-learning  confidence-interval  bagging  clustering  feature-selection  model-selection  bic  hypothesis-testing  kurtosis  r  regression  residuals  terminology 

モデルは個々のデータポイントを予測するのは苦手ですが、しっかりした傾向を確立していることを意味すると理解しています（たとえば、xが上がるとyが上がる）。

14 regression  inference  r-squared  linear 

統計情報のオンラインコースのイントロの一部である、統計的推論（「比率と平均の比較」）に関する講義を見ました。この素材は、いつものように私にはほとんど意味がありませんでした（今までに、このようなものを何十回も見たに違いありません。過去30年間に広がっていました）。 私は懐疑的な読者を納得させるという問題を真剣に受けとめる「基本的な統計-101」（ポイント推定、推定評価、統計的推論、仮説検定、研究デザイン）に関する本を探しています... 以下に、私が探している著者が真剣に受け止め、説得力を持って対処する方法を知っているタイプの質問の例をいくつか示します。 しかし、最初に、この投稿ではこれらの質問をしているわけではない ことを強調します。答えないでください！ 私はそれらを単なる例として、「リトマス試験」（検索する著者のタイプ）として提供します。 「割合」がブール変数（つまり、値0と1のみをとる変数）の単純な平均である場合、「割合」と「手段」で統計的推論を行うための異なる手順が教えられるのはなぜですか。 正規分布が非常に堅牢で、そのデータが完全に正規分布していない場合でも正規性を仮定すると良い結果が得られる場合、およびt分布が非常に正規に見える場合、なぜt分布の代わりに正常？ 「自由度」とは正確に何であり、なぜそれらを心配するのですか？ データに似ているように見える分布を使用していることを考慮して、パラメーターの「真の」値とはどういう意味ですか？ どうして「探索的データ分析」は良いことなのに、「データスヌーピング」は悪いことなのでしょうか？ 私が言ったように、私はそのような質問の怠慢によって暗示されている態度に先送りされています。私に何かを教えている人に見たいのは「認識論的スタンス」ではありません。私は、読者の懐疑論と合理性を尊重し、それらに対処する方法を知っている（必ずしもページと形式主義と技術のページに行くことなく）著者を探しています。 これは非常に難しいことであり、統計に関しては特にそうだと思います。したがって、多くの著者がそれに成功するとは思わない。しかし、現時点では、1つだけを見つけることに満足しています。 私が数学嫌いではないことを付け加えましょう。それどころか、数学が大好きです。（私は分析[別名「高度な計算」）、線形代数、確率理論、さらには基本測度理論に満足しています。） とはいえ、現時点での私の関心は、「応用」、「実用的」、「毎日」、「現実世界」の統計（理論的な微妙さとは対照的）にあります。（しかし、私も料理本は必要ありません！） FWIW、私は回帰とゲルマンとヒルによるマルチレベル/階層モデルを使用したデータ分析の最初のいくつかの章を読みました、そして、著者の口調が好きです。彼らの焦点は実用的ですが、必要に応じて理論に入ります。彼らはまた、しばしば後退し、標準的な実践を批判的に評価し、懐疑的な読者の常識に訴える率直な意見を提供します。残念ながら、これらの著者は、この投稿で私が質問している主題（上記の「Stats 101」など）に専念した本を書いていません。また、これらの著者の1人（Gelman）が非常に尊敬されているベイジアンデータ分析を共著していることも知っていますが、これも現時点で私が探しているものではありません。 編集： Dikran Marsupialは次の異議を提起します。 質問を無視することには必ずしも悪いことはないと思います。すべての質問に対処することは、多くの場合より重要な基本概念の説明を損なう点になります（特に統計101の本で！）。 私はそれに同意します。「基本的な統計の再確認」を探していると言った方が正確です。実際、これを私のモチベーションとして、推論に関する大学院課程で使用されている教科書（例）を見て、リストしたような質問を無視しすぎていることがわかりました。どちらかといえば、彼らはそのような質問を掘り下げる傾向がさらに少ないように見えました（したがって、彼らはいくつかの収束、またはこれ、またはその他の条件のような問題に集中することができます...）。 問題は、より高度な本が根本的に異なる読者集団に向けられていることであり、その読者は「部外者の懐疑論」が劇的に枯渇している。IOW、大学院レベルの統計を取っている人は、私を悩ませる質問に悩まされるポイントを過ぎています。彼らはもはやこのようなものについて懐疑的ではありません。（彼らはどのように懐疑的なこぶを乗り越えたのでしょうか？おそらく彼らがかなり早い段階で統計を学んだ場合は、そもそもそれほど批判的ではなかったのかもしれません。教科書が足りないところを埋めてくれる教師がいた人もいれば、そうした質問に対する答えを自分で理解できるほど賢い人もいたかもしれません。

14 references  inference  point-estimation