タグ付けされた質問 「confidence-interval」

背景：私の組織は現在、労働力の多様性の統計（例：障害者％、女性％、退役軍人）を、American Community Survey（米国国勢調査局による調査プロジェクト）に基づいて、これらのグループの労働力の合計と比較しています。全体として労働力とは異なる人口統計を持つ非常に特定の一連の仕事があるため、これは不正確なベンチマークです。たとえば、私の組織のほとんどがエンジニアであるとします。私の州では、エンジニアリングは女性の約20％にすぎません。全体の労働力のベンチマークと比較すると、50％の女性のように、「20％の女性しかいない、これは災害です！」というパニックに陥ります。実際のところ、20％は私たちが期待するべきものです。なぜなら、それが労働力の状況がどのようなものかということです。 私の目標：私がやりたいのは、アメリカンコミュニティサーベイの職業データ（多様性カテゴリ別）を取得し、自分のビジネスの仕事の構成に基づいて再重み付けすることです。社会福祉サービスワーカーのサンプルデータセットを次に示します。これらのジョブコードをまとめて追加したいので（私たちの横断歩道は特定のジョブコードではなくジョブグループにあるため）、そのカテゴリにいる人の数に基づいてベンチマークに重みを付けたいと思います（例：3,000のソーシャルおよびコミュニティサービスワーカー）、次に、他のすべてのジョブグループにも同じことを行い、それらの数を合計して、ワーカーの総数で割ります。これにより、新しい重み付けされた多様性測定値が得られます（たとえば、6％の障害者から2％の障害者へ）。 私の質問：この最終的なロールアップベンチマークにエラーのマージンをどのように合わせるのですか？私は（明らかに）生の国勢調査データセットを持っていませんが、表の上部にある[Estimate]フィールドを[Margin of Error]に切り替えることで、提供したリンクで各数値のエラーマージンを表示できます。このデータを使用している他の同僚は、エラーのマージンを完全に無視するつもりですが、統計的に意味のないベンチマークを自分で作成しているのではないかと心配しています。このデータは、上記の操作の後でもまだ使用できますか？

10 confidence-interval  sampling  data-transformation  diversity 

母集団全体のデータが利用できる場合、信頼区間を計算し、仮説をテストすることは理にかなっていますか？私の意見では、パラメーターの真の値を正確に計算できるため、答えは「いいえ」です。しかし、それでは、前述の手法を使用できるようにする元の母集団からのデータの最大比率はどのくらいですか？

10 hypothesis-testing  confidence-interval  sample-size  large-data  population 

簡単な例のために、2つの線形回帰モデルがあると仮定します モデル1は、3つの予測因子を持っているx1a、x2bと、x2c モデル2には、モデル1からの3つの予測子と2つの追加の予測子がx2aあり、x2b 母集団の分散が説明人口回帰式がある モデル1及びρ 2 （2 ）増分分散がある集団におけるモデル2によって説明するモデル2についてΔは、ρ 2 = ρ 2 （2 ） - ρ 2 （1 ）ρ2(1)ρ(1)2\rho^2_{(1)}ρ2(2)ρ(2)2\rho^2_{(2)}Δρ2=ρ2(2)−ρ2(1)Δρ2=ρ(2)2−ρ(1)2\Delta\rho^2 = \rho^2_{(2)} - \rho^2_{(1)} 私は、の推定のための標準誤差と信頼区間を得ることに興味を持ってい。例にはそれぞれ3および2の予測子が含まれていますが、私の研究対象は、さまざまな数の予測子（たとえば、5および30）に関係しています。私が最初に考えたのは使用していた Δ R 2 、A D J = R 2 のD J （2 ） - R 2 次元J （1 ）推定量として、それをブートストラップが、私は確かに、これは適切であるかどうかではなかったです。Δρ2Δρ2\Delta\rho^2Δr2adj=r2adj(2)−r2adj(1)Δradj2=radj(2)2−radj(1)2\Delta r^2_{adj} = r^2_{adj(2)} - r^2_{adj(1)} ご質問 されたの合理的な推定量Δは、ρ …

10 regression  confidence-interval  estimation  r-squared  shrinkage  anova  t-test  references  tukey-hsd  machine-learning  boosting  r  clustering  fishers-exact  generalized-linear-model  model  probit  link-function  r  survival  probability  distributions  dice  logistic  lme4-nlme  glmm  meta-analysis  distributions  distributions  factor-analysis  r  anova  repeated-measures  post-hoc 

私はマナティーの体重を日数（日、ポルトガル語）で予測する方程式を持っています。 R <- function(a, b, c, dias) c + a*(1 - exp(-b*dias)) nls（）を使用してRでモデル化し、次のグラフィックを取得しました。 次に、95％の信頼区間を計算し、それをグラフィックにプロットします。次のように、各変数a、b、cの下限と上限を使用しました。 lower a = a - 1.96*(standard error of a) higher a = a + 1.96*(standard error of a) (the same for b and c) 次に、低いa、b、cを使用して低い線をプロットし、高いa、b、cを使用して高い線をプロットします。しかし、それが正しい方法であるかどうかはわかりません。それは私にこのグラフィックを与えています： これはそれを行う方法ですか、それとも間違っていますか？

10 confidence-interval  nonlinear-regression 

Rに離散時間モデルを適合させようとしていますが、その方法がわかりません。 従属変数を時間監視ごとに1つずつ異なる行に編成し、glm関数をlogitまたはcloglogリンクで使用できることを読みました。この意味で、私は3つの列があります：ID、Event（各time-obsで1または0）およびTime Elapsed（観測の開始以降）、および他の共変量。 モデルに合うようにコードを書くにはどうすればよいですか？従属変数はどれですか？Event従属変数として使用できTime Elapsed、共変量に含めることができると思います。しかし、どうなりIDますか？必要ですか？ ありがとう。

10 r  survival  pca  sas  matlab  neural-networks  r  logistic  spatial  spatial-interaction-model  r  time-series  econometrics  var  statistical-significance  t-test  cross-validation  sample-size  r  regression  optimization  least-squares  constrained-regression  nonparametric  ordinal-data  wilcoxon-signed-rank  references  neural-networks  jags  bugs  hierarchical-bayesian  gaussian-mixture  r  regression  svm  predictive-models  libsvm  scikit-learn  probability  self-study  stata  sample-size  spss  wilcoxon-mann-whitney  survey  ordinal-data  likert  group-differences  r  regression  anova  mathematical-statistics  normal-distribution  random-generation  truncation  repeated-measures  variance  variability  distributions  random-generation  uniform  regression  r  generalized-linear-model  goodness-of-fit  data-visualization  r  time-series  arima  autoregressive  confidence-interval  r  time-series  arima  autocorrelation  seasonality  hypothesis-testing  bayesian  frequentist  uninformative-prior  correlation  matlab  cross-correlation 

標準偏差の推定値は次の方法で計算されますか？ sN=1N∑Ni=1(xi−x¯¯¯)2−−−−−−−−−−−−−√.sN=1N∑i=1N(xi−x¯)2. s_N = \sqrt{\frac{1}{N} \sum_{i=1}^N (x_i - \overline{x})^2}. （http://en.wikipedia.org/wiki/Standard_deviation#Sample_standard_deviation） 10分割交差検証からサンプリングされた予測精度について （予測セットは独立していますが）トレーニングセット間の実質的なオーバーラップのため、各フォールド間で計算される予測精度が依存しているのではないかと心配しています。これについて説明しているリソースがあれば非常に役立ちます。

10 confidence-interval  cross-validation  prediction  prediction-interval 

以下の画像は、心理学のこの記事からのものです。同僚はそれについて2つの変わった点を指摘しました： キャプションによると、エラーバーには「±2.04標準エラー、95％信頼区間」と表示されます。95％のCIに±1.96 SEが使用されているのを見たことがあります。2.04SEが何らかの目的で使用されていることはわかりません。2.04 SEには受け入れられた意味がありますか？ 計画されたペアワイズ比較は、エラー対正しい予測可能な試行（t（30）= 2.51、p <.01）およびエラー対正しい予測できない試行（t（30）= 2.61、p <.01）（オムニバスF検定もp <.05で有意でした）。ただし、グラフは3つの条件すべてのエラーバーが大幅に重なっていることを示しています。±2.04 SE間隔がオーバーラップする場合、値はp <.05でどのように大幅に異なる可能性がありますか？オーバーラップは十分に大きいので、±1.96 SE間隔もオーバーラップすると想定しています。

10 confidence-interval  standard-error 

これは私が何度か遭遇した例にすぎないため、サンプルデータはありません。Rで線形回帰モデルを実行する： a.lm = lm(Y ~ x1 + x2) x1は連続変数です。x2カテゴリ型で、「低」、「中」、「高」の3つの値があります。ただし、Rによって与えられる出力は次のようになります。 summary(a.lm) Estimate Std. Error t value Pr(>|t|) (Intercept) 0.521 0.20 1.446 0.19 x1 -0.61 0.11 1.451 0.17 x2Low -0.78 0.22 -2.34 0.005 x2Medium -0.56 0.45 -2.34 0.005 私は、Rがそのような要因（要因x2であること）に何らかのダミーコーディングを導入していることを理解しています。私はただ疑問に思っていx2ます。「高」の値をどのように解釈しますか？たとえば、ここで示した例の「High」x2は応答変数にどのような影響を与えますか？ これの例を他の場所（例：ここ）で見ましたが、理解できる説明は見つかりませんでした。

10 r  regression  categorical-data  regression-coefficients  categorical-encoding  machine-learning  random-forest  anova  spss  r  self-study  bootstrap  monte-carlo  r  multiple-regression  partitioning  neural-networks  normalization  machine-learning  svm  kernel-trick  self-study  survival  cox-model  repeated-measures  survey  likert  correlation  variance  sampling  meta-analysis  anova  independence  sample  assumptions  bayesian  covariance  r  regression  time-series  mathematical-statistics  graphical-model  machine-learning  linear-model  kernel-trick  linear-algebra  self-study  moments  function  correlation  spss  probability  confidence-interval  sampling  mean  population  r  generalized-linear-model  prediction  offset  data-visualization  clustering  sas  cart  binning  sas  logistic  causality  regression  self-study  standard-error  r  distributions  r  regression  time-series  multiple-regression  python  chi-squared  independence  sample  clustering  data-mining  rapidminer  probability  stochastic-processes  clustering  binary-data  dimensionality-reduction  svd  correspondence-analysis  data-visualization  excel  c#  hypothesis-testing  econometrics  survey  rating  composite  regression  least-squares  mcmc  markov-process  kullback-leibler  convergence  predictive-models  r  regression  anova  confidence-interval  survival  cox-model  hazard  normal-distribution  autoregressive  mixed-model  r  mixed-model  sas  hypothesis-testing  mediation  interaction 

二次回帰モデル があり、エラーが通常の仮定（独立、正規、値の独立）を満たしているとします。ましょう最小二乗推定なります。Y=β0+β1X+β2X2+ϵY=β0+β1X+β2X2+ϵ Y = \beta_0 + \beta_1 X + \beta_2 X^2 + \epsilon ϵϵ\epsilonXXXb0,b1,b2b0,b1,b2b_0, b_1, b_2 2つの新しい値とがあり、信頼区間を取得することに興味があります。XXXx1x1x_1x2x2x_2v=E(Y|X=x2)−E(Y|X=x1)=β1(x2−x1)+β2(x22−x21)v=E(Y|X=x2)−E(Y|X=x1)=β1(x2−x1)+β2(x22−x12)v = E(Y|X = x_2) - E(Y|X=x_1) = \beta_1 (x_2 - x_1) + \beta_2 (x_2^2 - x_1^2) 推定点はであり、（間違っている場合は修正してください）分散を推定できますは、ソフトウェアによって提供される係数の分散および共分散推定値を使用します。v^=b1(x2−x1)+b2(x22−x21)v^=b1(x2−x1)+b2(x22−x12)\hat{v} = b_1 (x_2 - x_1) + b_2 (x_2^2 - x_1^2)s^2=(x2−x1)2Var(b1)+(x22−x21)2Var(b2)+2(x2−x1)(x2−x21)Cov(b1,b2)s^2=(x2−x1)2Var(b1)+(x22−x12)2Var(b2)+2(x2−x1)(x2−x12)Cov(b1,b2)\hat{s}^2 = (x_2 - x_1)^2 \text{Var}(b_1) + …

10 regression  confidence-interval 

宿題では、投げ縄回帰を使用する予測子を作成/トレーニングするためのデータが与えられました。予測子を作成し、scikit learnのlasso pythonライブラリを使用して予測子をトレーニングします。 だから今私は与えられた入力が出力を予測できるというこの予測因子を持っています。 2番目の質問は、「ブートストラップメソッドを使用して予測の信頼区間を報告するように予測子を拡張する」ことでした。 私は周りを見回して、平均や他のことのためにこれをしている人々の例を見つけました。 しかし、私は予測のためにそれを行うにはどうすればよいのか全くわからない。scikit-bootstrapライブラリを使用しようとしています。 コースのスタッフは非常に無反応なので、どんな助けでもありがたいです。ありがとうございました。

10 regression  machine-learning  self-study  confidence-interval  bootstrap 

私はもともと、95％信頼区間が95％の確率に真の平均が含まれている可能性があることを意味しない理由を尋ねる質問への部分的な回答として以下を投稿しました（参照：95％信頼区間（CI）が含まれない理由平均を含む確率が95％であることを意味しますか？）。コメント投稿者（Johnに感謝）は、コメントを別の質問として投稿するように私に依頼しました。 まず、標準のデッキからランダムにトランプを選択した場合、クラブを選択しなかった（それを見ないで）確率は13/52 = 25％であると想定します。 次に、95％の信頼区間は、実験を複数回繰り返すという意味で解釈されるべきであると何度も述べられています。計算された区間には、真の平均95％の時間が含まれます。上記の質問のシミュレーション。ほとんどの人は、95％CIのこの解釈を受け入れているようです。 さて、思考実験のために。大規模な母集団に正規分布変数があるとしましょう-成人の男性または女性の身長かもしれません。私には、母集団から特定のサンプルサイズの複数のサンプリングプロセスを実行し、各サンプルのサンプル平均と95％信頼区間を計算する、意欲的で疲れないアシスタントがいます。私のアシスタントは非常に熱心で、人口からのすべての可能なサンプルを測定することに成功しています。次に、各サンプルについて、アシスタントは結果の信頼区間を緑（CIに真の平均が含まれている場合）または赤（CIに真の平均が含まれていない場合）として記録します。残念ながら、私のアシスタントは彼の実験の結果を私に見せません。人口の大人の身長に関する情報を取得する必要がありますが、時間しかありません。一度実験を行うためのリソースと忍耐力。（アシスタントが使用したのと同じサンプルサイズの）単一のランダムサンプルを作成し、（同じ方程式を使用して）信頼区間を計算します。 アシスタントの結果を確認する方法がありません。それで、私が選択したランダムサンプルが緑のCIを生成する確率はどのくらいですか（つまり、区間には真の平均が含まれています）？ 私の考えでは、これは前に概説した一連のカードの状況と同じであり、私のサンプルを使用して計算された間隔が緑（つまり、真の平均を含む）である確率は95％であると解釈できます。それでも、コンセンサスは、95％の信頼区間には、区間に真の平均が含まれる可能性が95％あると解釈できないことを示しています。上記の思考実験における私の推論は、なぜ（そしてどこで）崩れるのですか？

10 confidence-interval 

母集団からサンプリングした後、信頼区間の形式でパラメーター推定値を生成できることを教えられました。たとえば、95％の信頼区間には、違反のない仮定があり、母集団内で推定している真のパラメーターが何であれ、95％の成功率が含まれているはずです。 つまり、 サンプルからポイント推定を作成します。 理論的には推定しようとしている真の値が95％の確率で含まれる値の範囲を生成します。 ただし、トピックが仮説テストに移ったとき、手順は次のように説明されました。 一部のパラメーターを帰無仮説と仮定します。 この帰無仮説が真であるとすると、さまざまな点推定値が得られる可能性の確率分布を生成します。 帰無仮説が真の場合に得られる点推定が5％未満の時間で生成される場合は、帰無仮説を拒否します。 私の質問はこれです： 帰無仮説を棄却するために、帰無仮説を使用して信頼区間を生成する必要がありますか？最初の手順を実行し、真のパラメーターの推定値を取得して（信頼区間の計算で仮定値を明示的に使用せずに）、帰無仮説がこの区間に入らない場合は棄却しませんか？ これは直感的には論理的には同等に思えますが、このように教えられる理由があると考えられるため、非常に根本的な何かを見逃しているのではないかと心配しています。

9 hypothesis-testing  confidence-interval  estimation  inference 

以下のようにデータをシミュレーションした下のプロットを考えてみます。1になる真の確率が黒い線で示されているバイナリの結果を調べます。共変量xとp （y o b s = 1 | x ）の間の関数関係は、ロジスティックリンクを持つ3次多項式です（したがって、双方向で非線形です）。yobsyobsy_{obs}xxxp(yobs=1|x)p(yobs=1|x)p(y_{obs}=1 | x) 緑の線はGLMロジスティック回帰近似で、は3次多項式として導入されています。破線の緑の線は、予測の周りの95％信頼区間であるP （Y O B S = 1 | X 、β）ここで、βフィット回帰係数。私はこれを使用しました。xxxp(yobs=1|x,β^)p(yobs=1|x,β^)p(y_{obs}=1 | x, \hat{\beta})β^β^\hat{\beta}R glmpredict.glm 同様に、プルプルラインは、均一な事前分布を使用したベイジアンロジスティック回帰モデルのについて95％信頼できる区間をもつ事後の平均です。私はこのために機能付きのパッケージを使用しました（設定により、事前に情報のない均一な情報が提供されます）。p(yobs=1|x,β)p(yobs=1|x,β)p(y_{obs}=1 | x, \beta)MCMCpackMCMClogitB0=0 赤い点は、のデータセット内の観測を示し、黒い点はy o b s = 0 の観測です。分類/離散分析では一般的ですが、pではなくy （y o b s = 1 | x ）が観察されることに注意してください。yobs=1yobs=1y_{obs}=1yobs=0yobs=0y_{obs}=0yyyp(yobs=1|x)p(yobs=1|x)p(y_{obs}=1 | x) いくつかのことがわかります。 左側でがスパースであることを意図的にシミュレーションしました。情報（観察）が不足しているため、ここでは信頼と信頼できる間隔を広くしてほしい。xxx …

9 regression  logistic  bayesian  confidence-interval  credible-interval 

XMLサイトマップのゴミ（リンク切れ）が未満であることを確認する必要があります。URLのリストは数十万にのぼり、それらすべてを1つずつテストすることが可能であるとしても、多くの理由で、私はむしろそうではありません。1%1%1\% 1 - Saved bandwidth 2 - Faster traffic for real clients 3 - Less noise in visitor statistics (because my test would count as a visit) 5 - I could go on... ランダムなサブセットを取るだけで十分だと思います。問題は確率がわからないことです。 使えるシンプルな機能はありますか？ それが役立つ場合は、リンクが実行全体で壊れる可能性に関する事前情報があると仮定できます。実行全体で、特定のリンクが切断されるのにあるとしましょう。0.75%0.75%0.75\%

9 probability  confidence-interval  sample-size 

二項回帰を当てはめ、回帰係数の点推定と分散共分散行列を取得するとします。これにより、将来の実験で期待される成功の割合 CIを取得できますが、観測された割合のCIが必要です。シミュレーション（私はそれをしたくないと思う）やKrishnamoorthya et al（私の質問には完全には答えていません）へのリンクなど、いくつかの関連する回答が投稿されています。ppp 私の推論は次のとおりです：二項モデルだけを使用する場合、は（対応するWald CIを使用して）正規分布からサンプリングされると仮定する必要があるため、閉じた形式で観測された比率のCIを取得することは不可能です。がベータ分布からサンプリングされると仮定すると、成功数はベータ二項分布に従うため、状況ははるかに簡単です。推定ベータパラメーターおよび不確実性がないと仮定する必要があります。ppppppαα\alphaββ\beta 3つの質問があります。 1）理論的なもの：ベータパラメータのポイント推定値のみを使用しても問題ありませんか？多重線形回帰で将来の観測のためにCIを構築することを知っています Y=x′β+ϵ,ϵ∼N(0,σ2)Y=x′β+ϵ,ϵ∼N(0,σ2)Y = x'\beta + \epsilon, \epsilon \sim N(0, \sigma^2) 彼らはそのwrtエラー項分散ます。正当化の理由は、実際にはは回帰係数よりもはるかに高い精度で推定され、不確実性を取り入れようとしてもあまり利益が得られないということです。。同様の根拠は、推定されたベータパラメータと当てはまりますか？σ2σ2\sigma^2σ2σ2\sigma^2σ2σ2\sigma^2αα\alphaββ\beta 2）どのパッケージの方が優れていますか（R：gamlss-bb、betareg、aod ?; SASにもアクセスできます）。 3）推定されたベータパラメーターを前提として、将来の成功の数、またはさらに良いことに、ベータ二項分布の下での将来の成功の割合の分位数（2.5％、97.5％）を取得する（概算）ショートカットはありますか？

9 confidence-interval  binomial  beta-binomial  beta-regression  gamlss