タグ付けされた質問 「variance」

またはそれを保証する条件は何ですか？一般に（通常モデルと二項モデルだけでなく）この主張を破った主な理由は、サンプリングモデルと以前のモデルの間に不整合があるためだと思いますが、他に何があるでしょうか。私はこのトピックから始めているので、簡単な例に本当に感謝しています

10 bayesian  variance  information-theory 

誰かがパレート分布と中心極限定理の間の関係について簡単な（素人）説明を提供できますか？私は次の声明を理解しようとしています： 「中心極限定理はすべての分布で機能するわけではありません。これは1つの卑劣な事実によるものです。サンプル平均は、基礎となる分布が存在する場合、その平均の周りにクラスター化されます。しかし、分布にどういう意味がないのですか？これはパレート分布という意味ではありません。通常の方法で計算しようとすると、無限に発散します。」

10 variance  central-limit-theorem  intuition  pareto-distribution  fat-tails 

非常に歪んだ1次元確率変数があります。この分布を正規化するために、平均ではなく中央値を使用します。私の質問はこれです：平均の代わりに式の中央値を使用して分布の分散を計算できますか？ つまり、交換できますか Var(X)=∑[(Xi−mean(X))2]/nVar(X)=∑[(Xi−mean(X))2]/n \mathrm{Var}(X) = \sum[(X_i - \mathrm{mean}(X))^2]/n と Var(X)=∑[(Xi−median(X))2]/nVar(X)=∑[(Xi−median(X))2]/n \mathrm{Var}(X) = \sum[(X_i - \mathrm{median}(X))^2]/n これの背後にある私の推論は、分散は分布の中心的な傾向に対する広がりの尺度であるため、それは問題ではないはずですが、このロジックを検証しようと考えています。

10 variance  mean  median 

Christopher Bishopは彼の著書「パターン認識と機械学習」に、以前に選択されたコンポーネントに対して直交空間にデータが投影された後、連続する各主成分が1次元への投影の分散を最大化するという証明を書いています。他は同様の証明を示します。 ただし、これは、分散を最大化することに関して、連続する各コンポーネントが1つの次元への最良の投影であることを証明するだけです。なぜこれが意味するのか、最初にそのようなコンポーネントを選択すると、5次元と言う投影の分散が最大化されますか？

10 machine-learning  variance  pca  dimensionality-reduction  eigenvalues 

Rに離散時間モデルを適合させようとしていますが、その方法がわかりません。 従属変数を時間監視ごとに1つずつ異なる行に編成し、glm関数をlogitまたはcloglogリンクで使用できることを読みました。この意味で、私は3つの列があります：ID、Event（各time-obsで1または0）およびTime Elapsed（観測の開始以降）、および他の共変量。 モデルに合うようにコードを書くにはどうすればよいですか？従属変数はどれですか？Event従属変数として使用できTime Elapsed、共変量に含めることができると思います。しかし、どうなりIDますか？必要ですか？ ありがとう。

10 r  survival  pca  sas  matlab  neural-networks  r  logistic  spatial  spatial-interaction-model  r  time-series  econometrics  var  statistical-significance  t-test  cross-validation  sample-size  r  regression  optimization  least-squares  constrained-regression  nonparametric  ordinal-data  wilcoxon-signed-rank  references  neural-networks  jags  bugs  hierarchical-bayesian  gaussian-mixture  r  regression  svm  predictive-models  libsvm  scikit-learn  probability  self-study  stata  sample-size  spss  wilcoxon-mann-whitney  survey  ordinal-data  likert  group-differences  r  regression  anova  mathematical-statistics  normal-distribution  random-generation  truncation  repeated-measures  variance  variability  distributions  random-generation  uniform  regression  r  generalized-linear-model  goodness-of-fit  data-visualization  r  time-series  arima  autoregressive  confidence-interval  r  time-series  arima  autocorrelation  seasonality  hypothesis-testing  bayesian  frequentist  uninformative-prior  correlation  matlab  cross-correlation 

The Elements of Statistical Learningを読んでいるときに、「点ごとの分散」という用語に何度か出会いました。私はそれが何を意味するのかについて漠然とした考えを持っていますが、私は知って感謝しています それはどのように定義されていますか？ それはどのように導出されますか？

10 variance 

抵抗Rのセットがあり、そのすべてが平均μと分散σで分布しているとします。 次のレイアウトの回路のセクションを考えてみましょう：（r）|| （r + r）|| （r + r + r）。各部品の等価抵抗は、r、2r、および3rです。各セクションの分散は次のようになりσ2σ2σ^2、2σ22σ22σ^2、3σ23σ23σ^2。 回路全体の抵抗の変動はどのくらいですか？ 数百万点をサンプリングした後、分散は約.10286 \ sigma ^ 2であることがわかりました.10286σ2.10286σ2.10286\sigma^2。 この結論に分析的にどのように到達するのでしょうか？ 編集：抵抗値は、いくつかの平均抵抗rと分散σ^ 2で正規分布していると想定されていますσ2σ2σ^2。

10 probability  sampling  variance 

これは私が何度か遭遇した例にすぎないため、サンプルデータはありません。Rで線形回帰モデルを実行する： a.lm = lm(Y ~ x1 + x2) x1は連続変数です。x2カテゴリ型で、「低」、「中」、「高」の3つの値があります。ただし、Rによって与えられる出力は次のようになります。 summary(a.lm) Estimate Std. Error t value Pr(>|t|) (Intercept) 0.521 0.20 1.446 0.19 x1 -0.61 0.11 1.451 0.17 x2Low -0.78 0.22 -2.34 0.005 x2Medium -0.56 0.45 -2.34 0.005 私は、Rがそのような要因（要因x2であること）に何らかのダミーコーディングを導入していることを理解しています。私はただ疑問に思っていx2ます。「高」の値をどのように解釈しますか？たとえば、ここで示した例の「High」x2は応答変数にどのような影響を与えますか？ これの例を他の場所（例：ここ）で見ましたが、理解できる説明は見つかりませんでした。

10 r  regression  categorical-data  regression-coefficients  categorical-encoding  machine-learning  random-forest  anova  spss  r  self-study  bootstrap  monte-carlo  r  multiple-regression  partitioning  neural-networks  normalization  machine-learning  svm  kernel-trick  self-study  survival  cox-model  repeated-measures  survey  likert  correlation  variance  sampling  meta-analysis  anova  independence  sample  assumptions  bayesian  covariance  r  regression  time-series  mathematical-statistics  graphical-model  machine-learning  linear-model  kernel-trick  linear-algebra  self-study  moments  function  correlation  spss  probability  confidence-interval  sampling  mean  population  r  generalized-linear-model  prediction  offset  data-visualization  clustering  sas  cart  binning  sas  logistic  causality  regression  self-study  standard-error  r  distributions  r  regression  time-series  multiple-regression  python  chi-squared  independence  sample  clustering  data-mining  rapidminer  probability  stochastic-processes  clustering  binary-data  dimensionality-reduction  svd  correspondence-analysis  data-visualization  excel  c#  hypothesis-testing  econometrics  survey  rating  composite  regression  least-squares  mcmc  markov-process  kullback-leibler  convergence  predictive-models  r  regression  anova  confidence-interval  survival  cox-model  hazard  normal-distribution  autoregressive  mixed-model  r  mixed-model  sas  hypothesis-testing  mediation  interaction 

バックグラウンド だから私が持っているかもしれない理解のレベルを測るためのいくつかの背景。現在修士論文を完成させていますが、統計はほとんど無視されていますが、私は基本的には理解しています。私の現在の質問は、私が実際に何ができる/すべきか疑問に思っています。オンラインや文学でますます読むことは逆効果のようです。 私は何を達成しようとしていますか？ したがって、私が入社した論文では、私が回答しようとしている一般的な質問は、本質的に、予測プロセスが特定のシステムの実装によってどのように影響されるかです（予測プロセスに使用されるデータに影響します）。 これで望ましい結果は、以下の理解です。 目立った変化はありますか？（例えば、統計的証明） 変化はどのくらいですか？（平均と分散） この予測プロセスで重要な要因（また、要因の影響が休憩前>休憩後にどのように変化するか） 1と2に答えるために、時系列オブジェクトの形式で履歴データを取得しました（この段階では、それ以上ですが無関係です）。私が使用しているソフトウェアはRです。 データ データには、毎日（2.5年間）の加重スコアが含まれ、予測プロセスのパフォーマンスの悪さ（実際のイベントからの逸脱）を示します。この1つの時系列オブジェクトには、1時間前からこれらの2.5年間のイベントの実際の発生（1時間の間隔）までに発生した予測の加重スコアが含まれます（したがって、各日には、この間隔の加重スコアが1つあります）。同様に、他の間隔（1〜2、2〜3時間など）に対して構築された複数の時系列があります。 myts1 <- structure(c(412.028462047, 468.938224875, 372.353242472, 662.26844965, 526.872020535, 396.434818388, 515.597528222, 536.940884418, 642.878650146, 458.935314286, 544.096691918, 544.378838523, 486.854043968, 478.952935122, 533.171083451, 507.543369365, 475.992539251, 411.626822157, 574.256785085, 489.424743512, 558.03917366, 488.892234577, 1081.570101272, 488.410996801, 420.058151274, 548.43547725, 759.563191992, 699.857042552, 505.546581256, 2399.735167563, 959.058553387, 565.776425823, 794.327364085, 1060.096712241, 636.011672603, 592.842508666, 643.576323635, …

10 r  time-series  variance  descriptive-statistics  structural-change 

分散のリストからある種の「平均」を取得する必要がありますが、妥当な解決策を見つけるのに問題があります。このスレッドでは、ピタゴラスの3つの平均（算術、幾何学、調和）の違いについて興味深い議論があります。しかし、私はまだそれらのどれもが良い候補になるとは思いません。助言がありますか？ PS一部のコンテキスト-これらの分散は、人の被験者からのサンプル分散であり、各被験者はほぼ同じサンプルサイズ同じ実験計画を通過しました。つまり、被験者に対応する標本分散、、...、あります。メタ分析はすでに人口レベルで実行されています。ある種の「平均」または「要約された」サンプル分散を取得する必要がある理由は、メタ分析の後にそれを使用してICCなどのインデックスを計算するためです。K N σ 2 1 σ 2 2 σ 2 N Nんnnkkkんnnσ21σ12\sigma_1^2σ22σ22\sigma_2^2σ2んσn2\sigma_n^2んnn PPS議論をより具体的にするために、Rで次の例を使用して問題を説明しましょう。 library(metafor) dat <- get(data(dat.konstantopoulos2011)) dat$district <- as.factor(dat$district) dat$school <- as.factor(dat$school) データセットには、各学校の成績スコアに関連する差異があります。 str(dat) Classes ‘escalc’ and 'data.frame': 56 obs. of 6 variables: $ district: Factor w/ 11 levels "11","12","18",..: 1 1 1 1 2 2 2 2 …

10 variance  average 

これは基本的な質問かもしれません：バイアスとアンダーフィッティングの違いは何ですか？同様に、分散とオーバーフィッティングの違いは何ですか？各ペアの条件は同じ意味ですか？そうでない場合、違いは何ですか？

10 variance  bias  overfitting  model-evaluation 

分散を計算するときに絶対値をとるのではなく、差を二乗する理由は、通常の方法で定義された分散が、分母が二乗であり、中心極限定理で独特の役割を果たすことをどこかで読んだことがあります。 では、CLTにおける分散の役割とは正確には何でしょうか。私はこれについてこれ以上見つけることも、それを正しく理解することもできませんでした。 また、分散とは、一連の数値がどこまで分散しているかの尺度であると私たちに思わせるものを尋ねることもできます。分散と同様に他の量を定義して、それらが数値の広がりを測定していることを納得させることができます。これが起こるためには、数値の広がりが何を意味するのか、スプレッドの測定からどのような振る舞いを期待するのかなどを述べる必要があります。スプレッドの正式な定義はないため、分散を定義として扱う場合があります。ただし、何らかの理由で、分散は「最良の」広がりの尺度と見なされます。

10 variance  central-limit-theorem  dispersion 

与えられた確率変数（または母集団、または確率論的プロセス）の場合、数学的な期待が質問への答えです。。また、これはゲームの最適な解決策であり、確率変数（または母集団からの新しい描画）の次の実現を推測します。値に線形の非効用がある場合は、値と推測の間の距離の2乗で罰します罰の。中央値は、絶対損失の下での対応する質問に対する答えであり、モードは、「全か無か」の損失の下での答えです。 質問：分散と標準偏差は同様の質問に答えますか？彼らは何ですか？ この質問の動機は、中心的な傾向と広がりの基本的な指標を教えることにあります。中心的傾向の測定は上記の決定理論上の問題によって動機付けられますが、人はどのように拡散の測定を動機付けることができるのでしょうか。

9 variance  standard-deviation  decision-theory  variability 

ハスティら "統計的学習の要素"（2009）データ生成処理考える とE（ε ）= 0とヴァー（ε ）= σ 2 εを。Y=f(X)+εY=f(X)+ε Y = f(X) + \varepsilon E(ε)=0E(ε)=0\mathbb{E}(\varepsilon)=0Var(ε)=σ2εVar(ε)=σε2\text{Var}(\varepsilon)=\sigma^2_{\varepsilon} それらは、点での予想二乗予測誤差の次のバイアス分散分解を示します（p。223、式7.9）： Err （x 0）x0x0x_0 私自身の仕事で、私は指定されていない Fを（⋅）が、任意の予測取る yは（これが関連している場合）の代わりに。質問：バイアス2+分散 、より正確には Err（x0）-既約エラーの用語を探してい ます。Err(x0)=E([y−f^(x0)]2|X=x0)=…=σ2ε+Bias2(f^(x0))+Var(f^(x0))=Irreducible error+Bias2+Variance.Err(x0)=E([y−f^(x0)]2|X=x0)=…=σε2+Bias2(f^(x0))+Var(f^(x0))=Irreducible error+Bias2+Variance.\begin{aligned} \text{Err}(x_0) &= \mathbb{E}\left( [ y - \hat f(x_0) ]^2 | X = x_0 \right) \\ &= \dots \\ &= \sigma^2_{\varepsilon} + \text{Bias}^2(\hat f(x_0)) …

9 variance  forecasting  prediction  terminology  bias 

データセットに対してPCAを実行し、最後の数台のPCを破棄することで、データセットの次元とノイズを削減しようとしています。その後、残りのPCでいくつかの機械学習アルゴリズムを使用したいので、PCの分散を均等化してデータを正規化し、アルゴリズムをより適切に機能させたいと考えています。 簡単な方法の1つは、分散を単純に単位値に正規化することです。ただし、最初のPCには、次のデータセットよりも元のデータセットからの差異が多く含まれています。それでも、「重み」を付けたいと思います。したがって、私は疑問に思っていました：分散を分割して、分散の少ないPCと共有する簡単な方法はありますか？ 別の方法は、PCを元の特徴空間にマッピングすることですが、その場合、次元も元の値に増加します。 結果の列を直交に保つ方が良いと思いますが、現時点では必要ありません。

9 variance  pca  factor-rotation