タグ付けされた質問 「self-study」

生涯データの統計モデルと方法の本には、次のように書かれています。 打ち切り：何らかのランダムな原因により観測が不完全な場合。 切り捨て：観察の不完全な性質が、研究デザインに固有の体系的な選択プロセスに起因する場合。 切り捨ての定義における「研究デザインに固有の体系的な選択プロセス」とはどういう意味ですか？ 打ち切りと切り捨ての違いは何ですか？

30 self-study  censoring  truncation 

Andrew Ngの機械学習に関する講義ノートを読んでいます。 このノートでは、ロジスティック回帰とパーセプトロンを紹介しています。パーセプトロンについて説明している間、注記では、ロジスティック回帰に使用されるしきい値関数の定義を変更するだけであると述べています。その後、パーセプトロンモデルを分類に使用できます。 したがって、私の質問は-これを指定する必要があり、パーセプトロンを分類手法と見なす場合、ロジスティック回帰とは正確には何ですか？クラスの1つに属するデータポイントの確率を取得するためだけに使用されますか？

30 regression  machine-learning  self-study  logistic  perceptron 

数学には、代数、分析、トポロジーなどの分岐があります。機械学習には、教師あり、教師なし、強化学習があります。これらの各ブランチ内には、メソッドをさらに分割するより細かいブランチがあります。 統計との類似点を描くことができません。統計（およびサブブランチ）の主要なブランチは何ですか？完全なパーティションはおそらく不可能ですが、大きな空白のマップよりも優れています。 視覚的な例：

30 self-study  classification 

支払い（1 =支払い、0 =支払いなし）と呼ばれる従属変数を持つMcFaddenの疑似R-2乗0.192のバイナリロジスティック回帰モデルがあります。この擬似R-2乗の解釈は何ですか？ ネストされたモデルの相対比較ですか（たとえば、6変数モデルのMcFaddenの疑似R-2乗は0.192ですが、5変数モデル（前述の6変数モデルから1つの変数を削除した後）、この5変数モデルには疑似R 0.131の2乗。モデルにその6番目の変数を保持しますか？または絶対量です（たとえば、McFaddenの擬似Rが0.192の特定のモデルは、McFaddenの擬似を持つ既存のモデルよりも優れています） 0.180のR二乗（ネストされていないモデルでも）？これらはMcFaddenの擬似R二乗を見るための単なる可能な方法です;しかし、私はこれらの2つのビューが道を外れていると仮定しているため、ここでこの質問をしています。 私はこのトピックについて多くの研究を行ってきましたが、McFaddenの疑似R 2乗0.192を解釈できるという観点で、私が探している答えをまだ見つけていません。洞察や参考文献は大歓迎です！この質問に答える前に、これがロジスティック回帰モデルを説明するのに最適な尺度ではないことを認識していますが、この統計をより深く理解したいと思います！

29 regression  self-study  logistic 

Programmers.SEにも同様の意図を持つ質問があります。その質問にはかなり良い答えがありますが、一般的なテーマは自習なしではどこにも行かないということです。 プログラミングと統計の間には明らかに大きな違いがあります-プログラミングでは、基本的なロジックを学習し、繰り返し適用するだけです。新しい言語はすべて同じ基本概念を使用しています。自己学習により、より高度な概念を学び、より効率的になります。この種のものは教えるのが非常に難しいです。 統計はまったく異なります。関係するロジックを適用するのは簡単です-通常、他の誰かが方法論をレイアウトしているからです。実際、方法論は通常、大学で教えられているもののほとんどです。しかし、統計はそれよりもはるかに深く、いくつかの非常に高度な概念を伴います。あなたが教えられているのが統計を適用することだけであり、それらを理解することはおろか、それらの概念を探すことさえ難しいです（これはフィールドの専門用語によるものかもしれませんが）。また、プログラミングの自己学習には、新しい概念を紹介するために多くの短い記事/ブログを読む必要がありますが、統計に関するアクセス可能な記事はほとんどの場合初心者向けであり、したがって、私自身。 質問は次のとおりです。統計については、自習は大学教育よりも多かれ少なかれ適切ですか？自己学習の方法論はありますか？以前に人々のために働いたことの例は歓迎されます。 （これはおそらくコミュニティwikiであるべきですが、チェックボックスは表示されません）

28 self-study  references  teaching 

混合効果モデリングによる測定の再現性（別名信頼性、別名クラス内相関）の計算方法を説明するこの論文に出会ったばかりです。Rコードは次のようになります。 #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit) residual_var = attr(vc,'sc')^2 intercept_var = attr(vc$id,'stddev')[1]^2 #compute the unadjusted repeatability R = intercept_var/(intercept_var+residual_var) #compute n0, the repeatability adjustment n = as.data.frame(table(my_data$unit)) k = nrow(n) N = sum(n$Freq) n0 = (N-(sum(n$Freq^2)/N))/(k-1) #compute the adjusted repeatability Rn = …

28 mixed-model  reliability  intraclass-correlation  repeatability  spss  factor-analysis  survey  modeling  cross-validation  error  curve-fitting  mediation  correlation  clustering  sampling  machine-learning  probability  classification  metric  r  project-management  optimization  svm  python  dataset  quality-control  checking  clustering  distributions  anova  factor-analysis  exponential  poisson-distribution  generalized-linear-model  deviance  machine-learning  k-nearest-neighbour  r  hypothesis-testing  t-test  r  variance  levenes-test  bayesian  software  bayesian-network  regression  repeated-measures  least-squares  change-scores  variance  chi-squared  variance  nonlinear-regression  regression-coefficients  multiple-comparisons  p-value  r  statistical-significance  excel  sampling  sample  r  distributions  interpretation  goodness-of-fit  normality-assumption  probability  self-study  distributions  references  theory  time-series  clustering  econometrics  binomial  hypothesis-testing  variance  t-test  paired-comparisons  statistical-significance  ab-test  r  references  hypothesis-testing  t-test  normality-assumption  wilcoxon-mann-whitney  central-limit-theorem  t-test  data-visualization  interactive-visualization  goodness-of-fit 

ランダムウォークのように定義される、ホワイトノイズです。現在の位置が前の位置と予測できない用語の合計であることを示します。Yt= Yt − 1+ etYt=Yt−1+etY_{t} = Y_{t-1} + e_tetete_t 、平均関数であることを証明できμt= 0μt=0\mu_t = 0 E（Yt）= E（e1+ e2+ 。。。+ et）= E（e1）+ E（e2）+ 。。。+ E（et）= 0 + 0 + 。。。+ 0E（Yt）=E（e1+e2+。。。+et）=E（e1）+E（e2）+。。。+E（et）=0+0+。。。+0E(Y_{t}) = E(e_1+ e_2+ ... +e_t) = E(e_1) + E(e_2) +... +E(e_t) = 0 + 0 + ... + 0 しかし、なぜ分散は時間とともに直線的に増加するのでしょうか？ これは、新しい位置が前の位置と非常に相関しているため、「純粋な」ランダムではないことに関係していますか？ 編集： …

28 time-series  self-study  mathematical-statistics  stochastic-processes  random-walk 

私は数学の教員から統計コースを訪問する機会がありませんでした。私は、完全で自給自足の確率論と統計の本を探しています。完全とは、結果だけでなくすべての証明が含まれていることを意味します。自給自足とは、本を理解するために別の本を読む必要がないことを意味します。もちろん、大学レベル（数学の学生）の微積分と線形代数が必要になる場合があります。 私は複数の本を見ましたが、どれも好きではありませんでした。 DeGroot＆Schervish（2011）確率と統計（第4版）ピアソン これは十分に完了していません。それは、派生せずに多くのものを述べているだけです。それに加えて、私はそれが好きです。 Wasserman（2004）すべての統計：統計的推論スプリンガーの簡潔なコース。 まったく気に入らなかった。ほとんど説明はありません。 David Williamsの「Weighing the Odds」は、DeGrootよりも正式であり、完全かつ自給自足のようです。しかし、そのスタイルは奇妙だと思います。彼はまた、自分だけが使用していると思われる新しい用語を発明しています。DeGrootで説明されているものもすべて、より適切に説明されています。 あなたがドイツ語で素晴らしい本を知っているなら、それは私がドイツ人であるので大丈夫です。

28 probability  self-study  mathematical-statistics  references 

GAMを使用すると、残留DFは（コードの最終行）になります。どういう意味ですか？GAMの例を超えて、一般に、自由度の数を整数以外の数にすることはできますか？26.626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ lo(wt), data = mtcars) Deviance Residuals: Min 1Q Median 3Q Max -4.1470 -1.6217 -0.8971 1.2445 6.0516 (Dispersion Parameter for gaussian family taken to be 6.6717) Null Deviance: 1126.047 on 31 degrees of freedom Residual Deviance: 177.4662 on 26.6 degrees of …

27 r  degrees-of-freedom  gam  machine-learning  pca  lasso  probability  self-study  bootstrap  expected-value  regression  machine-learning  linear-model  probability  simulation  random-generation  machine-learning  distributions  svm  libsvm  classification  pca  multivariate-analysis  feature-selection  archaeology  r  regression  dataset  simulation  r  regression  time-series  forecasting  predictive-models  r  mean  sem  lavaan  machine-learning  regularization  regression  conv-neural-network  convolution  classification  deep-learning  conv-neural-network  regression  categorical-data  econometrics  r  confirmatory-factor  scale-invariance  self-study  unbiased-estimator  mse  regression  residuals  sampling  random-variable  sample  probability  random-variable  convergence  r  survival  weibull  references  autocorrelation  hypothesis-testing  distributions  correlation  regression  statistical-significance  regression-coefficients  univariate  categorical-data  chi-squared  regression  machine-learning  multiple-regression  categorical-data  linear-model  pca  factor-analysis  factor-rotation  classification  scikit-learn  logistic  p-value  regression  panel-data  multilevel-analysis  variance  bootstrap  bias  probability  r  distributions  interquartile  time-series  hypothesis-testing  normal-distribution  normality-assumption  kurtosis  arima  panel-data  stata  clustered-standard-errors  machine-learning  optimization  lasso  multivariate-analysis  ancova  machine-learning  cross-validation 

統計の先生が次の問題について言ったことについて質問があります。私の質問は、この状況でのシンプソンのパラドックスの発生についてでさえありません。私の質問は、A）とF）ではなくA）とD）が正しい答えであるという私の教授の主張についてです。彼は言った： 「タイプE手術の成功率は非常に低いため、それらは困難であり、珍しいことではないと結論付けることができます。したがって、MercyはHopeと比較してより良い機器/医師を持っていると思われます。」 私は、マーシーが「より困難な手術」を行っていることを彼がどのように統計的に推測できるのか理解していない。マーシーは、タイプEの手術で明らかに成功率が高いのですが、なぜこれが「より困難な手術」を意味するのでしょうか。私はこの問題の言葉遣いにうんざりしていると思いますが、教授は困惑していません。なぜ私が間違っているのか、どのようにこれを教授に説明できるのかを誰かが説明できますか？ 町にはMercyとHopeという2つの病院があります。操作を行うには、これらのいずれかを選択する必要があります。手術チームの成功に基づいて決定を下すことにします。幸いなことに、新しい医療計画の下で、病院は手術の成功に関するデータを提供し、5つの広範な手術カテゴリーに分類されています。2つの病院について次のデータを取得するとします。 Mercy Hospital Type A B C D E All Operations 359 1836 299 2086 149 4729 Successful 292 1449 179 434 13 2366 Hope Hospital Type A B C D E All Operations 88 514 222 86 45 955 Successful 70 391 113 12 2 588 …

27 self-study  confounding  simpsons-paradox 

私は現在、コースラで統計的推論のクラスを勉強しています。課題の1つで、次の質問が出てきます。 | Suppose you rolled the fair die twice. What is the probability of rolling the same number two times in a row? 1: 2/6 2: 1/36 3: 0 4: 1/6 Selection: 2 | You're close...I can feel it! Try it again. | Since we don't care what the outcome …

26 probability  self-study  conditional-probability 

本を読むとき、表記を理解することは、内容を理解する上で非常に重要な役割を果たします。残念ながら、異なるコミュニティでは、モデルと最適化問題の定式化に関して異なる表記規則があります。ここに定式化表記をまとめて考えられる理由を教えてください。 ここで例を示します：線形代数の文学では、古典的な本はStrangの線形代数入門です。本で最も使用されている表記は Ax=bAx=b A x=b ここで、は係数行列、は解く変数、は方程式の右側のベクトルです。その理由本はこの表記法を選択するには、線形代数の主な目的は、ベクターが何であるかを線形システムと数字解決されている。そのような定式化を考えると、OLS最適化問題はAAAxxxbbbxxx minimizex ∥Ax−b∥2minimizex ‖Ax−b‖2 \underset{x}{\text{minimize}}~~ \|A x-b\|^2 統計または機械学習リテラシー（書籍統計学習の要素）で、人々は同じ表記を表すために異なる表記法を使用します。 Xβ=yXβ=yX \beta= y どこにXXXあるデータマトリックス、ββ\betaある係数または重みが学習を学習する、yyy応答です。理由統計や機械学習コミュニティの人々がされているため、人々はこれを使用するには、あるデータを駆動して、データおよび応答は彼らが使用する場合には、それらの最も興味深いものですXXXとyyy表現するために。 ここで、考えられるすべての混乱が存在することがわかります。最初の方程式のAは2番目の方程式のXAAAと同じです。そして、2番目の式Xでは、解決する必要はありません。また、用語について：Aは線形代数の係数行列ですが、統計のデータです。\ betaは「係数」とも呼ばれます。XXXXXXAAAββ\beta さらに、Xβ=yXβ=yX \beta=yは機械学習で広く使用されているものではなく、すべてのデータポイントを要約するハーフベクトル化バージョンを使用していることを述べました。といった min∑iL(yi,f(xi))min∑iL(yi,f(xi)) \min \sum_i \text{L}(y_i,f(x_i)) この理由は、確率的勾配降下法や他のさまざまな損失関数について話すときに良いからだと思います。また、線形回帰以外の問題については、簡潔なマトリックス表記が消えます。 ロジスティック回帰の行列表記 誰もが異なる文学にまたがる表記法についてより多くの要約を与えることができますか？この質問に対する賢明な回答が、異なる文学を横断する本を読んでいる人々のための良いリファレンスとして使用できることを望みます。 私の例 および制限されないでください。他にもたくさんあります。といったAx=bAx=bA x=bXβ=yXβ=yX \beta=y なぜ2つの異なるロジスティック損失定式化/表記法があるのですか？

26 machine-learning  probability  self-study  optimization 

私は学部生で、確率クラスのプロジェクトを持っています。基本的に、私は一連の年の間私の国に影響を与えたハリケーンに関するデータセットを持っています。 私の確率ブック（Rの確率と統計）には、データがポアソン分布に従うかどうかを確認する方法の（完全ではない）例があり、これらの3つの基準が守られていることを証明しようとします：（私の本120（基準）122-123例） 1-重複しない間隔での結果の数は独立しています。つまり、時間間隔（0、t]の結果の数は、時間間隔（t、t + h]、h> 0の結果の数とは無関係です。 2-十分に短い間隔での2つ以上の結果の確率は実質的にゼロです。つまり、hが十分に小さい場合、間隔（t、t + h）で2つ以上の結果を得る確率は、同じ時間間隔で1つまたはゼロの結果を得る確率と比較して無視できます。 3-十分に短い間隔または小さな領域での正確に1つの結果の確率は、間隔または領域の長さに比例します。言い換えると、長さhの区間における1つの結果の確率はlambda * hです。 ただし、基準3は「演習」として残されています。 A-誰かが私のデータセットがポアソン分布に従うかどうかを確認するためのより「簡単な」方法があるかどうか教えてもらえますか？ B-誰かが私に基準1と3をある種の例で説明してもらえますか（Rの場合は素晴らしい）。 ありがとう！ 注：長い投稿で申し訳ありません。また、データを変換して、次のようなテーブルを作成する必要があります。 number of hurricanes | 0 | 1 | 2 etc. ----------------------------------------- total years that have | | | that number of hurricanes | | |

25 r  self-study  poisson-distribution  poisson-process 

RのGLM（ポアソン回帰）でデータを近似しようとしています。残差対近似値をプロットすると、プロットは複数の（わずかに凹状の曲線でほぼ線形の） "線"を作成しました。これは何を意味するのでしょうか？ library(faraway) modl <- glm(doctorco ~ sex + age + agesq + income + levyplus + freepoor + freerepa + illness + actdays + hscore + chcond1 + chcond2, family=poisson, data=dvisits) plot(modl)

25 r  self-study  generalized-linear-model  poisson-regression 

独立したランダム変数の関数自体が独立しているという主張は本当ですか？ 結果は、いくつかの証明、たとえば正規分布の標本平均と標本分散の独立性の証明などで暗黙的に使用されることがよくありますが、その正当性を見つけることができませんでした。一部の著者はそれを与えられたとおりに受け取っているようですが、これが常に当てはまるかどうかはわかりません。

25 probability  self-study  random-variable  independence