タグ付けされた質問 「estimators」

誰もこれをすでに尋ねていないように見えることに本当に驚いています... 推定量について議論するとき、頻繁に使用される2つの用語は「一貫性のある」と「不偏」です。私の質問は簡単です：違いは何ですか？ これらの用語の正確な技術的定義はかなり複雑であり、その意味を直感的に理解することは困難です。良い評価者と悪い評価者を想像できますが、どの評価者がどのように一方の条件を満たし、もう一方の条件を満たさないかを見るのに苦労しています。

125 unbiased-estimator  estimators  consistency 

偏りのない推定量を好む理由は何度も明らかです。しかし、偏りのない推定器よりもバイアスのある推定器を実際に好む状況はありますか？

38 bias  unbiased-estimator  estimators 

quantreg vignetteのsummary.rq関数は、分位点回帰係数の標準誤差推定のための多数の選択肢を提供します。これらのそれぞれが最適/望ましいものになる特別なシナリオは何ですか？ Koenker（1994）で説明されているようにランクテストを反転することにより、推定パラメーターの信頼区間を生成する「ランク」。デフォルトのオプションは、エラーがiidであると想定していますが、オプションiid = FALSEはKoenker Machado（1999）の提案を実装しています。追加の引数については、rq.fit.brのドキュメントを参照してください。 エラーがiidであると想定し、KB（1978）のように漸近共分散行列の推定値を計算する「iid」。 条件付き分位関数のローカル（タウ）線形性（x）を推定し、スパース性のローカル推定を使用してフーバーサンドイッチ推定を計算する「nid」。 Poker（1990）によって提案されたサンドイッチのカーネル推定値を使用する「ker」。 標準エラーを推定するためのいくつかの可能なブートストラップの選択肢の1つを実装する「ブート」。 私はこれが時系列または断面の次元のいずれかに適用される少なくとも20の経験的論文を読みましたが、標準誤差の選択については言及していません。

35 r  standard-error  quantile-regression  estimators 

p値の信頼区間を計算できるため、また区間推定の反対は点推定なので、p値は点推定ですか？

32 confidence-interval  estimation  p-value  estimators  point-estimation 

統計はサンプルから取得できる属性であることを学び、同じサイズの多くのサンプルを取得し、それらすべてについてこの属性を計算し、pdfをプロットすると、対応する属性の分布または対応する統計の分布が得られます。 また、統計は推定量になるように作られていると聞きましたが、これら2つの概念はどのように異なるのですか

30 terminology  estimators  definition 

キャレットを使用して、データセットに対してクロス検証されたランダムフォレストを実行しています。Y変数は要因です。データセットにNaN、Inf、またはNAはありません。ただし、ランダムフォレストを実行すると、 Error in randomForest.default(m, y, ...) : NA/NaN/Inf in foreign function call (arg 1) In addition: There were 28 warnings (use warnings() to see them) Warning messages: 1: In data.matrix(x) : NAs introduced by coercion 2: In data.matrix(x) : NAs introduced by coercion 3: In data.matrix(x) : NAs introduced by …

29 r  random-forest  caret  regression  prediction  fitting  social-science  poisson-distribution  distributions  characteristic-function  bayesian  prior  regression  normal-distribution  interaction  nonparametric  skewness  svm  standard-deviation  standard-error  regression-coefficients  igraph  natural-language  word2vec  word-embeddings  regression  machine-learning  sampling  r  regression  machine-learning  random-forest  ensemble  sampling  unbiased-estimator  proof  estimators  mse  probability  conditional-probability  bayes  anova  missing-data  neural-networks  recommender-system  r  confidence-interval  sample  multiple-imputation  r  time-series  forecasting  mase 

単純な回帰モデルでは、 y=β0+β1x+ε,y=β0+β1x+ε, y = \beta_0 + \beta_1 x + \varepsilon, OLS推定器とは相関しています。ββ^OLS0β^0OLS\hat{\beta}_0^{OLS}β^OLS1β^1OLS\hat{\beta}_1^{OLS} 2つの推定量の相関関係の式は次のとおりです（正しく導出できた場合）。 Corr(β^OLS0,β^OLS1)=−∑ni=1xin−−√∑ni=1x2i−−−−−−−√.Corr⁡(β^0OLS,β^1OLS)=−∑i=1nxin∑i=1nxi2. \operatorname{Corr}(\hat{\beta}_0^{OLS},\hat{\beta}_1^{OLS}) = \frac{-\sum_{i=1}^{n}x_i}{\sqrt{n} \sqrt{\sum_{i=1}^{n}x_i^2} }. 質問： 相関の存在の直感的な説明は何ですか？ 相関関係の存在は重要な意味を持ちますか？ 投稿は編集され、サンプルサイズとともに相関関係がなくなるという主張は削除されました。（@whuberと@ChristophHanckに感謝します。）

25 regression  least-squares  estimators 

ピアソン相関係数の人口値の2種類の推定量について、私の頭の中にいくつかの混乱がありました。 A. フィッシャー（1915）二変量正規母集団実証するためにあることを示したである負にバイアスの推定量ρバイアスだけ小さいサンプルサイズ（のために実際にかなりの量であることができるが、N &lt; 30）。サンプルrは、ρよりも0に近いという意味でρを過小評価しています。（後者が0または± 1の場合を除き、rは不偏です。）ρのほぼ不偏の推定量がいくつか提案されています。rrrρρ\rhon&lt;30n&lt;30n<30rrrρρ\rho000ρρ\rho000±1±1\pm 1rrrρρ\rhoオルキンとプラット（1958）は修正しました。rrr runbiased=r[1+1−r22(n−3)]runbiased=r[1+1−r22(n−3)]r_\text{unbiased} = r \left [1+\frac{1-r^2}{2(n-3)} \right ] B.回帰では、は対応する母集団のR平方を過大評価していると言われています。または、単回帰で、それはつまり、R 2つの過大評価はρ 2。事実に基づいて、私はそれを言って、多くのテキストを見てきましたrがされ積極相対バイアスにρを絶対値を意味する、：rは遠くからである0よりρ（？その文が真です）。テキストは、サンプル値による標準偏差パラメーターの過大評価と同じ問題であると述べています。観測されたR 2を「調整」するための多くの式が存在しますR2R2R^2r2r2r^2ρ2ρ2\rho^2rrrρρ\rhorrr000ρρ\rhoR2R2R^2人口パラメータに近いWherryの（1931） は最もよく知られています（ただし、最良ではありません）。そのような調整されたr 2 adjのルートはshrunken rと呼ばれます：R2adjRadj2R_\text{adj}^2r2adjradj2r_\text{adj}^2 rrr rshrunk=±1−(1−r2)n−1n−2−−−−−−−−−−−−−−√rshrunk=±1−(1−r2)n−1n−2r_\text{shrunk} = \pm\sqrt{1-(1-r^2)\frac{n-1}{n-2}} 2つの異なる推定量が存在します。非常に異なる：最初のものはrを膨張させ、2番目はrを収縮させます。それらを調整する方法は？1つをどこで使用/報告し、もう1つを報告しますか？ρρ\rhorrrrrr 特に、「縮められた」推定量も（ほぼ）偏りのない「偏りのない」推定値であるが、異なるコンテキストでのみ-回帰の非対称コンテキストであるというのは事実でしょうか。というのは、OLS回帰では、片側（予測子）の値を固定値と見なし、サンプルからサンプルへのランダムエラーなしで対応するためですか？（そして、ここに追加するために、回帰は二変量正規性を必要としません。）

22 correlation  pearson-r  unbiased-estimator  estimators  point-estimation 

エスティメータのOracleプロパティとは何ですか？ オラクルのプロパティが関連するモデリングの目標は何ですか（予測、説明など）？ 理論的に厳密で（特に）直感的な説明を歓迎します。

22 feature-selection  model-selection  estimators  oracle 

編集：この質問が膨らんだので、要約：同じ混合統計（平均、中央値、ミッドレンジ、およびそれらに関連する分散、および回帰）を持つ異なる意味のある解釈可能なデータセットを見つけます。 Anscombeカルテット（高次元データを視覚化する目的を参照してください）は、同じ周辺平均/標準偏差（4つのと4つので別々に）と同じOLS線形フィットを持つ4つの -データセットの有名な例です、回帰および残差平方和、相関係数。したがって、タイプの統計（周辺および結合）は同じですが、データセットはまったく異なります。y x yxxxyyyxxxyyyℓ 2R2R2R^2ℓ2ℓ2\ell_2 編集（OPコメントから）小さいデータセットサイズを別にして、いくつかの解釈を提案させてください。セット1は、分布ノイズとの標準的な線形（アフィン、正確には）関係として見ることができます。セット2は、より高度な適合の絶頂である可能性のあるきれいな関係を示しています。セット3は、1つの外れ値を持つ明確な線形統計依存性を示しています。セット4はよりトリッキーですからを「予測」する試みは失敗に結びついているようです。の設計により、値の範囲が不十分なヒステリシス現象、量子化効果（が過度に量子化される可能性があります）、またはユーザーが従属変数と独立変数を切り替えました。x x xyyyxxxxxxxxx したがって、サマリー機能は非常に異なる動作を隠します。セット2は、多項式近似によりうまく対処できます。セット4と同様に、外れ値に耐性のあるセット（など）およびセット4。編集（OPコメントから）：ブログ投稿Curious Regressionsは次のように述べています：ℓ 1ℓ2ℓ2\ell_2ℓ1ℓ1\ell_1 ちなみに、Frank Anscombeがこれらのデータセットをどのように思いついたかは明らかにしなかったと聞いています。要約統計量と回帰結果をすべて同じにすることが簡単な作業だと思う場合は、試してみてください！ でアンスコムの例と同様の目的のために構築されたデータセット、いくつかの興味深いデータセットは、同じ位数ベースのヒストグラムと、たとえば、与えられています。意味のある関係と統計の混合が見られませんでした。 私の質問は次のとおりℓ2ℓ2\ell_2です。同じタイプの統計を持つことに加えて、2変量（または視覚化を維持するための3変量）Anscombeのようなデータセットがあります。 それらのプロットは、測定と測定の間の法則を探しているかのように、と 関係として解釈できます。yxxxyyy それらは同じ（より堅牢な）限界特性（同じ中央値と絶対偏差の中央値）を持ち、ℓ1ℓ1\ell_1 同じ境界ボックス：同じ最小値、最大値（したがってタイプのミッドレンジおよびミッドスパン統計）。ℓ∞ℓ∞\ell_\infty このようなデータセットは、各変数に同じ「箱ひげ」プロットの要約（最小、最大、中央値、絶対偏差/ MADの中央値、平均、標準）を持ち、解釈がまったく異なります。 少なくとも絶対回帰がデータセットで同じである場合はさらに興味深いでしょう（しかし、私はすでにあまりにも多くを求めています）。ロバストな回帰とロバストでない回帰について説明する際の注意点として、リチャードハミングの引用を覚えておいてください。 計算の目的は、数値ではなく洞察です 編集（OPコメントから）同様の問題は、同一の統計情報を使用したデータの生成、非類似グラフィックス、Sangit Chatterjee＆Aykut Firata、The American Statistician、2007、またはクローンデータ：まったく同じ多重線形回帰近似Jでのデータセットの生成で扱われますオースト。N.-Z. 統計 J. 2009。 Chatterjee（2007）の目的は、同じ平均と初期データセットからの標準偏差を持つ新しいペアを生成し、異なる「相違/相違」目的関数を最大化することです。これらの関数は非凸関数または非微分関数になる可能性があるため、遺伝的アルゴリズム（GA）を使用します。重要な手順はオルソ正規化で構成されます。これは、平均と（単位）分散の保存と非常に一貫しています。論文の数字（論文の内容の半分）は、入力データとGA出力データを重ね合わせます。私の意見では、GA出力は元の直感的な解釈の多くを失います。(x,y)(x,y)(x,y) 技術的には、中央値も中間値も保持されず、論文では、、および統計を保持する繰り込み手順については言及されていません。ℓ 1ℓ2ℓ2\ell_2ℓ1ℓ1\ell_1ℓ∞ℓ∞\ell_\infty

21 regression  descriptive-statistics  curve-fitting  estimators 

推定量と推定量の関係は何ですか？

21 estimation  terminology  estimators 

誰かが知っているのか、または弱い一貫性の代わりに推定量の強い一貫性が必要な統計のアプリケーションがあるのか​​疑問に思っていました。つまり、アプリケーションには強い整合性が不可欠であり、アプリケーションは弱い整合性では機能しません。

20 hypothesis-testing  theory  asymptotics  estimators  consistency 

環境 多変量ガウス分布は機械学習で頻繁に使用され、次の結果は多くのMLブックおよび派生物なしのコースで使用されます。 次元行列の 形式のデータが与えられ、データが 平均（）および共分散行列（変量ガウス分布に従うと仮定した場合）最尤推定量は次によって与えられます：XX\mathbf{X} m×pm×p m \times ppppμμ\mup×1p×1p \times 1 ΣΣ\Sigmap×pp×pp \times p μ^=1m∑mi=1x(i)=x¯μ^=1m∑i=1mx(i)=x¯\hat \mu = \frac{1}{m} \sum_{i=1}^m \mathbf{ x^{(i)} } = \mathbf{\bar{x}} Σ^=1m∑mi=1(x(i)−μ^)(x(i)−μ^)TΣ^=1m∑i=1m(x(i)−μ^)(x(i)−μ^)T\hat \Sigma = \frac{1}{m} \sum_{i=1}^m \mathbf{(x^{(i)} - \hat \mu) (x^{(i)} -\hat \mu)}^T 多変量ガウスの知識は多くのMLコースの前提条件であることを理解していますが、多くの自己学習者が統計を跳ね回っていると感じているので、自己完結型の回答に完全に由来することが役立つと思います。 stackexchangeおよびmath.stackexchange Webサイトで回答を探しています。 質問 多変量ガウスの最尤推定量の完全な導出は何ですか 例： これらの線形判別分析の講義ノート（11ページ）、またはこれらのものは結果を利用すると、以前の知識を前提としています。 また、部分的に回答またはクローズされている投稿もいくつかあります。 多変量正規分布の最尤推定器 多変量正規分布の最尤推定を理解するのに助けが必要ですか？

20 normal-distribution  maximum-likelihood  estimators  multivariate-normal 

先日、私はこの質問をされましたが、これまで考えたことはありませんでした。 私の直感は、各推定量の利点から来ています。最尤法は、モーメントの方法とは異なり、分布全体の知識を利用するため、データ生成プロセスに自信がある場合に可能です。MoM推定器はモーメントに含まれる情報のみを使用するため、推定しようとしているパラメーターの十分な統計がデータのモーメントである場合、2つの方法は同じ推定値を生成するようです。 いくつかの分布でこの結果を確認しました。正規（未知の平均と分散）、指数、およびポアソンはすべて、それらのモーメントに等しい十分な統計を持ち、MLEとMoM推定器は同じです（複数のMoM推定器があるポアソンのようなものには厳密に当てはまりません）。私たちは制服を見てみると、のための十分統計であるとMOMとMLE推定器は異なっています。(0,θ)(0,θ)(0,\theta)θθ\thetamax(X1,⋯,XN)max(X1,⋯,XN)\max(X_1,\cdots,X_N) 多分これは指数族の奇癖だと思ったが、平均値が既知のラプラスの場合、十分な統計は1n∑|Xi|1n∑|Xi|\frac{1}{n} \sum |X_i| 分散のMLEとMoM推定量が等しくありません。 これまでのところ、一般的な結果を表示することはできませんでした。誰もが一般的な条件を知っていますか？または、反例でも直観を磨くのに役立ちます。

17 mathematical-statistics  maximum-likelihood  estimators  method-of-moments 

順列テスト（ランダム化テスト、再ランダム化テスト、または正確なテストとも呼ばれます）は非常に便利で、たとえば、必要な正規分布の仮定がt-test満たされていない場合や、ランク付けによる値の変換時に役立ちますノンパラメトリックテストのようにMann-Whitney-U-test、より多くの情報が失われます。ただし、この種の検定を使用する場合、帰無仮説の下でのサンプルの交換可能性の仮定は1つだけの仮定を見落とすべきではありません。coinRパッケージで実装されているようなサンプルが3つ以上ある場合にも、この種のアプローチを適用できることも注目に値します。 この仮定を説明するために、平易な英語で比fig的な言葉や概念的な直観を使ってください。これは、私のような非統計学者の間で見過ごされているこの問題を明確にするのに非常に役立つでしょう。 注： 置換テストの適用が同じ仮定の下で保持または無効にならない場合に言及することは非常に役立ちます。 更新： 私の地区の地元の診療所から無作為に50人の被験者を収集したとします。彼らは、1：1の比率で薬またはプラセボを無作為に割り当てられました。それらはすべてPar1、V1（ベースライン）、V2（3か月後）、およびV3（1年後）のパラメーター1について測定されました。50個の被験者はすべて、機能Aに基づいて2つのグループにサブグループ化できます。Aポジティブ= 20およびAネガティブ=30。これらは、機能Bに基づいて別の2つのグループにサブグループ化することもできます。Bポジティブ= 15およびBネガティブ=35 。今、私はPar1すべての訪問ですべての被験者からの値を持っています。交換可能性の仮定の下で、次のPar1場合に順列検定を使用するレベルを比較でき ますか？-薬物と被験者をV2でプラセボを投与した被験者と比較する ますか？-機能Aの対象とV2の機能Bの対象を比較しますか？ -V2で機能Aを持つ対象とV3で機能Aを持つ対象を比較しますか？ -この比較はどのような状況で無効であり、交換可能性の仮定に違反しますか？

15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information