タグ付けされた質問 「references」

ある意味では、これはmath.stackexchangeからの私のクロスポストであり、このサイトは幅広い読者を提供するかもしれないと感じています。 機械学習の数学的な紹介を探しています。特に、見つけることができる多くの文献は比較的不正確であり、多くのページがコンテンツなしで費やされています。 しかし、そのような文献から始めて、パターン認識に関する司教の本であり、最後にスモラの本であるアンドリュー・ンのコースラ・コースを発見しました。残念ながら、Smolaの本はドラフト状態のみです。Smolaの本には証拠もあり、それは私にとって魅力的です。ビショップの本はすでにかなり良いが、ある程度の厳密さが欠けている。 要するに、私はスモーラのような本を探しています。つまり、可能な限り正確で厳密であり、数学的な背景を使用しています（もちろん短い紹介でも大丈夫です）。 推奨事項はありますか？

23 machine-learning  references  pac-learning 

私は大学でいくつかの統計学コースを受講しましたが、私の教育は非常に理論に基づいていることがわかりました。 私は、あなたが推薦したり、良い経験をしたりした応用統計のテキスト（大学院レベル）を持っている人がいるかどうか疑問に思っていました。

23 regression  references  modeling  experiment-design  application 

私は数学の基礎がほとんどない純粋な数学の大学院生です。昨年の秋以来、Casella＆Bergerの本の授業を受けており、この本の何百ページ（230+）の運動問題を終えました。今、私は10章にいます。 ただし、統計学を専攻していないか、統計学者になることを計画していないため、データ分析を学習し続けるために定期的に時間を費やすことができるとは思いません。これまでの私の経験から、統計学者になるには、さまざまな分布（ワイブル、コーシー、、F ...）を含む多くの退屈な計算に耐える必要があることがわかりました。基本的な考え方はシンプルですが、実装（たとえば、仮説テストでのLRT）は、技術的な理由から依然として難しい場合があります。tttFFF 私の理解は正しいですか？より高度な資料をカバーするだけでなく、現実の生活でデータ分析が必要な場合に役立つ確率と統計を学習する方法はありますか？以前のように週に20時間費やす必要がありますか？≥≥\ge 数学を学ぶ上で王道はないと思いますが、多くの場合、実際のデータの分布が何であるかわからないため、分布のさまざまなファミリーに専念する目的は何ですか？ ？サンプルサイズが小さく、中心極限定理が適用されない場合、分布が不明な場合にサンプル平均と分散以外のデータを適切に分析するにはどうすればよいですか？ 私の学期は1か月で終了します。博士課程の研究に集中し始めた後、私の知識が消えてほしくありません。だから私は尋ねることにした。私はRを学んでおり、プログラミングのバックグラウンドがありますが、私のレベルはコードモンキーとほぼ同じです。

22 distributions  references  eda 

ではこのコメント、ニック・コックスは書きました： クラスへのビニングは古代の方法です。ヒストグラムは便利ですが、最新の統計ソフトウェアを使用すると、生データに分布を適合させることが簡単になります。ビニングは、どの分布がもっともらしいかを判断するのに重要な詳細を単に捨てます。 このコメントの文脈は、フィットを評価するための代替手段としてQQプロットを使用することを示唆しています。声明は非常に妥当なように聞こえますが、この声明を裏付ける信頼できる参照について知りたいです。単純な「まあ、これは明白に聞こえます」を超えて、この事実をより徹底的に調査する論文はありますか？結果または同類の実際の体系的な比較はありますか？ また、ヒストグラムに対するQQプロットの利点が、モデルフィッティング以外のアプリケーションにどの程度まで拡張されるかを確認したいと思います。上の回答この質問は「『何かが間違っている』 [...]ちょうどことを示していますQQプロット」ことに同意します。ヌルモデルと比較して観測データの構造を識別するツールとしてそれらを使用することを考えており、非ランダムを検出するだけでなく説明するためにQQプロット（またはその基礎となるデータ）を使用する確立された手順が存在するかどうか疑問に思います観測データの構造。したがって、この指示を含む参照は特に有用です。

22 references  histogram  binning  qq-plot 

現在、David Barberによる「ベイジアン推論と機械学習」を行っていますが、これは基礎を学ぶための非常によく書かれた魅力的な本です。すでにこれを行った人への質問です。Barberの概念のほとんどを十分に習熟した後、次に進むべき本は何ですか？

22 machine-learning  bayesian  references  graphical-model 

Mood、Graybill、Boes の著書「Introduction to the Theory of Statistics」から ネイマン・ピアソンの補題を読みました。しかし、私は補題を理解していません。 誰でも私に補題をわかりやすい言葉で説明してもらえますか？それは何を述べていますか？ ネイマン・ピアソンの補題：レッツからのランダムサンプルである、二つの既知の値のいずれかであると、およびlet固定します。X1,…,XnX1,…,XnX_1,\ldots,X_nf(x;θ)f(x;θ)f(x;\theta)θθ\thetaθ0θ0\theta_0θ1θ1\theta_10&lt;α&lt;10&lt;α&lt;10<\alpha<1 ましょう 正の定数とすることのサブセットでれる満たすクリティカル領域C ^ *に対応する テスト\ gamma ^ *は、サイズ\ alphaの\ mathscr H_0：\ theta = \ theta_0対\ mathscr H_1：\ theta = \ theta_1の最も強力なテストです。k∗k∗k^*λ = L （θ 0、X 1、··· 、XのN）C∗C∗C^*XX\mathscr XPθ0[(X1,…,Xn)∈C∗]=α(1)(1)Pθ0[(X1,…,Xn)∈C∗]=α \tag 1 P_{\theta_0}[(X_1,\ldots,X_n)\in C^*] = \alpha λ = L （θ0; バツ1、… 、xn）L …

21 hypothesis-testing  self-study  references  inference  likelihood-ratio 

Rを使用して統計的および数学的な概念を学習するためのソースの例（Rコード、Rパッケージ、書籍、書籍の章、記事、リンクなど）に興味があります（他の言語でも可能ですが、Rは私のお気に入りです）。 課題は、素材の学習がアルゴリズムを実行するコードの実行方法だけでなく、プログラミングに依存することです。 だから（たとえば）Rのある線形モデルのような本（これは素晴らしい本です）は私が探しているものではありません。これは、この本が主にRで線形モデルを実装する方法を示しているためですが、Rを使用して線形モデルを教えることを中心としていません。 （素晴らしい）TeachingDemosパッケージのヘルプファイルは、私が探しているものの良い例です。これは、さまざまなRアプレットおよびシミュレーションを通じて統計概念を学習するための関数を含むRパッケージです。付属のヘルプファイルは便利です。もちろん、どちらも十分ではなく、正確な詳細の多くを習得してそれらを学習するには、外部のテキストブックが必要です（ヘルプファイルでも同様です）。 すべてのリードが高く評価されます。

21 r  references  mathematical-statistics 

ノンパラメトリックベイジアン（および関連する）テクニックについてもっと知りたいです。私の背景はコンピューターサイエンスです。メジャー理論や確率理論のコースを受講したことはありませんが、確率と統計の正式なトレーニングは限られています。誰もが私が始めるためにこれらの概念の読みやすい紹介を推奨できますか？

21 probability  bayesian  references  theory 

主成分分析（PCA）を実行した後、新しいベクトルをPCA空間に投影します（つまり、PCA座標系で座標を見つけます）。 を使用してR言語でPCAを計算しましたprcomp。これで、ベクトルにPCA回転行列を掛けることができるはずです。このマトリックスの主成分を行または列に配置する必要がありますか？

21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

Math SEでこの質問を参照してください。 ショートストーリー：私が読んで統計的学習の要素を与えられた、と私は結果のいくつかを検証しようとしていた時にイライラしてしまった、例えば その後、 RSS(β)=(y−Xβ)T(y−Xβ),RSS(β)=(y−Xβ)T(y−Xβ),\text{RSS}(\beta) = \left(\mathbf{y}-\mathbf{X}\beta\right)^{T}\left(\mathbf{y}-\mathbf{X}\beta\right)\text{,} 私はあなたの伝統的な微積分の本のように書かれた行列微積分の本を探しています（すなわち、定理の証明、例、計算の演習など）。私はすでにこの質問を見て、マグナスとノイデッカーのテキストは理論に焦点を合わせすぎていると感じています。そして、ジェントルのテキストは理論にあまりにも焦点を当てておらず、計算側に過度に焦点を当てています。∂RSS∂β=−2XT(y−Xβ)∂2RSS∂β ∂βT=2XTX.∂RSS∂β=−2XT(y−Xβ)∂2RSS∂β ∂βT=2XTX.\begin{align}&\dfrac{\partial\text{RSS}}{\partial \beta} = -2\mathbf{X}^{T}\left(\mathbf{y}-\mathbf{X}\beta\right) \\ &\dfrac{\partial^2\text{RSS}}{\partial \beta\text{ }\partial \beta^{T}} = 2\mathbf{X}^{T}\mathbf{X}\text{.} \end{align} 学部分析のバックグラウンドを持つ人がアクセスできる幸せな媒体はありますか？

20 references  matrix  matrix-calculus 

私はju審員として召喚されました。私はいくつかのju審裁判への統計の関連性を意識しています。たとえば、「基本レート」の概念とその確率計算への応用は、時々-おそらく常に-関連します。 私の状況にある人は、どの統計トピックを有効に勉強できますか？ 私は「ハードサイエンス」の学位を持っているため、統計的な知識は限られていますが、私のスキルは錆びています。私はフルタイムで働いており、ju審員の職務に就く時間はあまりありません。そのため、基本的な概念、単純な問題解決スキル、および関連する問題への適用（およびもちろんこれらの概念と方法の制限）に焦点を当てるのが適切です。

20 probability  bayesian  references 

階層モデル与えられた場合、モデルに適合する2段階のプロセスが必要です。最初に、少数のハイパーパラメーターθを修正してから、残りのパラメーターBayでベイジアン推論を行います。ハイパーパラメーターを修正するために、2つのオプションを検討しています。p （x | ϕ 、θ ）p(x|ϕ,θ)p(x|\phi,\theta)θθ\thetaϕϕ\phi 使用経験的ベイズ（EB）と周辺尤度の最大化（高次元のパラメータを含むモデルの残りの部分を統合します）。p （すべてのデータ| θ ）p(all data|θ）p(\mbox{all data}|\theta) k- fold cross validation などの相互検証（CV）手法を使用して、尤度p （テストデータ| トレーニングデータ、θ ）を最大化するθを選択します。kkkθθ\thetap （テストデータ| トレーニングデータ、θ ）p（テストデータ|トレーニングデータ、θ）p(\mbox{test data}|\mbox{training data}, \theta) EBの利点は、すべてのデータを一度に使用できることです。一方、CVの場合、（可能性として）モデル尤度を複数回計算し、を検索する必要があります。EBとCVのパフォーマンスは多くの場合同等であり（*）、多くの場合、EBは推定が高速です。θθ\theta 質問：2つをリンクする理論的基盤はありますか（たとえば、EBとCVは大きなデータの制限で同じです）。または、EBを経験的リスクなどの一般化可能性の基準にリンクしていますか？誰かが良い参考資料を指すことができますか？ （*）例として、ここにマーフィーの機械学習、セクション7.6.4からの図があります。そこで彼は、リッジ回帰については両方の手順が非常に類似した結果をもたらすと言います。 マーフィーはまた、CVに対する経験的ベイズの基本的な実際的な利点（「証拠手順」と呼びます）は、が多数のハイパーパラメーターで構成される場合（たとえば、自動関連性決定またはARDのように、各機能の個別のペナルティ）であると言います。そこでは、CVを使用することはまったくできません。θθ\theta

20 cross-validation  references  empirical-bayes 

だから、これは奇妙なフィットですが、本当に私はどのサイトにも奇妙なフィットだと思うので、データを処理する仲間の中でここで試してみると思いました。 私は生物学から疫学と生物統計学を学びましたが、その分野にはまだ間違いなくいくつかの習慣があります。それらの1つは、実験ノートを保持しています。これは、思考、決定、分析に関する考察などを文書化するのに役立ちます。すべてを1か所でコミットし、すべてをコミットするので、後で分析を振り返り、自分が何をしたかを知ることができます。 しかし、それを21世紀に移行することは素晴らしいことです。特に、ラボノートブックシステムは1人で決定を文書化するには十分であるにもかかわらず、EDAからのプロット、特定のデータセットについて話し合うデータマネージャーからの電子メールなどを添付できると便利です。 私はこれには多くの異なるビットの不浄な連合から自分のシステムをリギングすることが含まれると推測していますが、現在システムを使用している人はいますか？

20 references  software  eda 

私は論文の実験を行っており、ANOVAとANCOVAがどのように機能するかを適切に理解するための興味深い本/ウェブサイトを探しています。数学のバックグラウンドが良いので、必ずしも下品な説明は必要ありません。 ANCOVAの代わりにANOVAをいつ使用するかを決定する方法も知りたいです。

20 anova  references  ancova 

精度は次のように定義されます： p = true positives / (true positives + false positives) それは、それを修正しているtrue positivesとfalse positives、精度が1に近づくアプローチ0？ リコールに関する同じ質問： r = true positives / (true positives + false negatives) 現在、これらの値を計算する必要がある統計テストを実装していますが、分母が0である場合があり、この場合にどの値を返すのか迷っています。 PS：不適切なタグをすみません、、およびを使用したいのですがrecall、新しいタグをまだ作成できません。precisionlimit

20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon