タグ付けされた質問 「bias」

チェスプレーヤーがグランドマスタータイトルの資格を得ることができた最年少が1950年代から大幅に減少したことはかなり長い間知られており、現在15歳の誕生日の前にグランドマスターになったプレーヤーはほぼ30人です。しかし、チェススタック取引所には、「グランドマスターになる平均年齢はいくらですか？」という質問があります。。 誰かが答えを投稿し、その答えを彼（私は彼だと思います）がグランドマスターの6つのサブセットを見て、次の結果を見つけました。 1945年以降に生まれたプレイヤーの場合、平均は26歳をやや上回っています。 1970年以降に生まれたプレイヤーの場合、平均年齢は23歳をわずかに上回っています。 1975年以降に生まれたプレイヤーの場合、平均年齢は22歳をわずかに上回っています。 1980年以降に生まれたプレイヤーの平均年齢は21歳です。 1985年以降に生まれたプレイヤーの場合、平均年齢は20歳に過ぎません。 1990年以降に生まれたプレーヤーの場合、平均は18.5歳です。 （たとえば、最初のグループに1945年以降に生まれたすべてのグランドマスターが含まれている（次のグループのスーパーセットになっている）か、1945年から1970年の間に生まれたもののみ（年齢バンド）があるかは完全にはわかりません。私の質問は両方の場合に当てはまります。） 問題は、1990年以降に生まれたプレイヤーは、回答が投稿された時点（2015年7月）で26歳未満であったため、平均26歳の「GM年齢」を取得することは不可能であることです。 「古い」サブセットはそうではありませんが、25以上です。これは結果に歪みや偏りがありませんか？（これは選択バイアスの一種ですか？統計の背景がなく、いくつかの関連するウィキペディアのエントリを読むことは助けになりませんでした。）はいの場合、これをどのように（または）軽減する必要がありますか？「古い」グループでは、GMタイトル資格の平均の計算では、26歳より前にタイトルを獲得したプレーヤーのみを考慮すべきですか？

11 survival  bias  population  censoring  subset 

ベイズ推定量は選択バイアスの影響を受けませんか？ 高次元での推定について論じているほとんどの論文、例えば全ゲノム配列データは、しばしば選択バイアスの問題を提起します。選択バイアスは、何千もの潜在的な予測子があるにもかかわらず、選択されるのはごくわずかであり、選択されたいくつかに対して推論が行われるという事実から生じます。したがって、プロセスは2つのステップで行われます。（1）予測子のサブセットを選択します。（2）選択セットに対して推論を実行します。たとえば、オッズ比を推定します。Dawidは、1994年のパラドックスペーパーで、不偏推定量とベイズ推定量に焦点を当てました。彼は問題を単純化して、治療効果かもしれない最大の効果を選択する。 次に、公平な推定者は選択バイアスの影響を受けると彼は言います。彼は例を使用しました： 次にZi∼N(δi,1),i=1,…,NZi∼N(δi,1),i=1,…,N Z_i\sim N(\delta_i,1),\quad i=1,\ldots,N ZiZiZ_iはに対してバイアスされ。ましょう 、推定 （但し付勢されているが確かに）\ max \ {\ delta_1、\ delta_2、\ ldots、\ delta_N \}の場合。このステートメントは、ジェンセンの不等式で簡単に証明できます。私たちは知っていたならばそのため、私は_ {\最大}、最大のインデックス\ delta_iは、我々だけで使用するZ_を{I _ {\最大}}公平であるその推定量として。しかし、これがわからないため、代わりに（積極的に）バイアスされる\ gamma_1（\ mathbf {Z}）を使用します。δiδi\delta_iZ=(Z1,Z2,…,ZN)TZ=(Z1,Z2,…,ZN)T\mathbf{Z}=(Z_1,Z_2,\ldots,Z_N)^Tγ1(Z)=max{Z1,Z2,…,ZN}γ1(Z)=max{Z1,Z2,…,ZN} \gamma_1(\mathbf{Z})=\max\{Z_1,Z_2,\ldots,Z_N\} max{δ1,δ2,…,δN}max{δ1,δ2,…,δN}\max\{\delta_1,\delta_2,\ldots,\delta_N\}imaximaxi_{\max}δiδi\delta_iZimaxZimaxZ_{i_{\max}}γ1(Z)γ1(Z)\gamma_1(\mathbf{Z}) しかし、Dawid、Efron、および他の著者の懸念事項は、ベイズの推定者は選択バイアスの影響を受けないということです。を優先する場合、たとえば、ベイズ推定量はによって与えられ ここで、、は標準ガウスです。δiδi\delta_iδi∼g(.)δi∼g(.)\delta_i\sim g(.)δiδi\delta_iE{δi∣Zi}=zi+ddzim(zi)E{δi∣Zi}=zi+ddzim(zi) \text{E}\{\delta_i\mid Z_i\}=z_i+\frac{d}{dz_i}m(z_i) m(zi)=∫φ(zi−δi)g(δi)dδim(zi)=∫φ(zi−δi)g(δi)dδim(z_i)=\int \varphi(z_i-\delta_i)g(\delta_i)d\delta_iφ(.)φ(.)\varphi(.) 私たちは、新しい推定定義する場合はとして 何でもあなたが推定するのに選択しとは、選択がに基づいていた場合 と同じなります。これは、がで単調であるです。我々はまた、知っている shrinkes用語とゼロに向かって、δimaxδimax\delta_{i_{\max}}γ2(Z)=max{E{δ1∣Z1},E{δ2∣Z2},…,E{δN∣ZN}},γ2(Z)=max{E{δ1∣Z1},E{δ2∣Z2},…,E{δN∣ZN}}, \gamma_2(\mathbf{Z})=\max\{\text{E}\{\delta_1\mid Z_1\},\text{E}\{\delta_2\mid Z_2\},\ldots,\text{E}\{\delta_N\mid Z_N\}\}, iiiδimaxδimax\delta_{i_{\max}}γ1(Z)γ1(Z)\gamma_1(\mathbf{Z})iiiγ2(Z)γ2(Z)\gamma_2(\mathbf{Z})γ2(Z)γ2(Z)\gamma_2(\mathbf{Z})ZiZiZ_iE{δi∣Zi}E{δi∣Zi}\text{E}\{\delta_i\mid Z_i\}ZiZiZ_iddzim(zi)ddzim(zi)\frac{d}{dz_i}m(z_i)これにより、の正のバイアスの一部が減少し。しかし、ベイズ推定量は選択バイアスの影響を受けないと結論付けるにはどうすればよいでしょうか。本当にわかりません。ZiZiZ_i

11 bayesian  feature-selection  bias  unbiased-estimator  conjugate-prior 

これはブートストラップに似ています：推定は信頼区間外です 母集団の遺伝子型の数を表すデータがいくつかあります。Shannonのインデックスを使用して遺伝的多様性を推定し、ブートストラップを使用して信頼区間も生成したいと考えています。ただし、ブートストラップによる推定は非常に偏りがちであり、信頼区間が私の観察した統計の範囲外にあることに気づきました。 以下に例を示します。 # Shannon's index H <- function(x){ x <- x/sum(x) x <- -x * log(x, exp(1)) return(sum(x, na.rm = TRUE)) } # The version for bootstrapping H.boot <- function(x, i){ H(tabulate(x[i])) } データ生成 set.seed(5000) X <- rmultinom(1, 100, prob = rep(1, 50))[, 1] 計算 H(X) ## [1] 3.67948 …

11 r  confidence-interval  bootstrap  bias  diversity 

非線形の依存関係を検出する可能性があるラムジーリセットテストを知っています。ただし、回帰係数の1つ（単に線形依存関係）を捨てただけの場合、相関関係によってはバイアスがかかる可能性があります。これは明らかにリセットテストでは検出されません。 このケースのテストは見つかりませんでしたが、「潜在的な省略された変数を含めることを除いて、OVBをテストすることはできません」というステートメントです。それはおそらく理にかなった陳述でしょうね。

11 regression  multiple-regression  bias  causality  diagnostic 

完全に成長した決定木（つまり、枝刈りされていない決定木）を考えると、分散が大きく、バイアスが低くなります。 バギングおよびランダムフォレストは、これらの高分散モデルを使用し、分散を減らして予測精度を高めるためにそれらを集約します。バギングフォレストとランダムフォレストはどちらもブートストラップサンプリングを使用します。「統計学習の要素」で説明されているように、これにより単一ツリーのバイアスが増加します。 さらに、ランダムフォレスト法では、各ノードで分割できる変数が制限されるため、単一のランダムフォレストツリーのバイアスがさらに大きくなります。 したがって、予測精度が向上するのは、バギングおよびランダムフォレストの単一ツリーのバイアスの増加が分散の減少を「過度に」超えていない場合のみです。 これにより、次の2つの質問が生じます。1）ブートストラップサンプリングを使用すると、（ほとんどの場合）ブートストラップサンプルに同じ観察結果がいくつかあることを知っています。しかし、なぜこれがバギング/ランダムフォレストの個々の木のバイアスの増加につながるのでしょうか。2）さらに、分割ごとに分割できる変数の制限により、ランダムフォレスト内の個々のツリーでバイアスが高くなるのはなぜですか？

11 variance  random-forest  cart  bias  bagging 

インストルメンタル変数が回帰の選択バイアスにどのように対処するのかと思います。 ここに私が噛んでいる例があります：ほぼ無害な計量経済学で、著者は兵役と人生の後期の収入に関連するIV回帰について議論します。問題は、「軍での奉仕は将来の収入を増加または減少させるか」ということです。彼らはベトナム戦争の文脈でこの質問を調査します。私は兵役を無作為に割り当てることはできず、これは因果推論の問題であることを理解しています。 この問題に対処するために、研究者は実際の兵役の手段として適格性のドラフト（「ドラフト番号が呼び出される」など）を使用します。それは理にかなっています：ベトナムのドラフトはランダムに若いアメリカ人男性を軍隊に割り当てました（理論的には、ドラフトが実際に私の質問に触れたかどうか）。私たちの他のIV条件はしっかりしているようです。適格草案と実際の兵役は強く、正の相関があります。 これが私の質問です。自己選択のバイアスがかかるようです。たぶん、より裕福な子供たちは、彼らのドラフト番号が呼び出されたとしても、ベトナムでの奉仕から抜け出すことができます。（それが実際に当てはまらない場合は、私の質問のためにふりをしましょう）。この自己選択によりサンプル内にシステムバイアスが生じる場合、計測変数はこのバイアスにどのように対処しますか？推論の範囲を「ドラフトから逃れられなかった人々のタイプ」に狭める必要がありますか？それともIVはどういうわけか私たちの推論のその部分を救いますか？これがどのように機能するかを誰かが説明できれば、私は非常に感謝します。

11 regression  econometrics  bias  causality  instrumental-variables 

ブートストラップの概念について学んだところ、素朴な疑問が浮かびました。データの多数のブートストラップサンプルを常に生成できるとしたら、どうしてもっと「実際の」データを取得する必要があるのでしょうか。 説明があると思いますが、私が正しいかどうか教えてください：ブートストラッププロセスにより分散が減少すると思いますが、元のデータセットがバイアスされている場合は、レプリカの数に関係なく、低い分散と高いバイアスに悩まされています私が取っています。

11 variance  bootstrap  bias 

OLSがAR（1）プロセスの偏った推定量を与える理由を理解しようとしています。検討 このモデルでは、厳密な外因性に違反しています。つまり、とは相関していますが、とは相関していません。しかし、これが本当なら、なぜ次の単純な導出が成り立たないのでしょうか？ YTεT、YT-1εTPLIM βytϵt=α+βyt−1+ϵt,∼iidN(0,1).yt=α+βyt−1+ϵt,ϵt∼iidN(0,1). \begin{aligned} y_{t} &= \alpha + \beta y_{t-1} + \epsilon_{t}, \\ \epsilon_{t} &\stackrel{iid}{\sim} N(0,1). \end{aligned} ytyty_tϵtϵt\epsilon_tyt−1yt−1y_{t-1}ϵtϵt\epsilon_tプリムβ ^= Cov （yt、Yt − 1）Var （yt − 1）= Cov （α + βyt − 1+ ϵt、Yt − 1）Var （yt − 1）= β+ Cov （ϵt、Yt − 1）Var （yt − 1）= β。plim β^=Cov(yt,yt−1)Var(yt−1)=Cov(α+βyt−1+ϵt,yt−1)Var(yt−1)=β+Cov(ϵt,yt−1)Var(yt−1)=β. \begin{aligned} …

11 time-series  least-squares  bias  autoregressive  estimators 

通常、テストエラーのk分割交差検定推定は実際のテストエラーを過小評価していると私は理解しています。なぜそうなのか、混乱しています。トレーニングエラーが通常テストエラーよりも低い理由がわかります。エラーを推定しているのとまったく同じデータでモデルをトレーニングしているからです。ただし、交差検証の場合はそうではありません。エラーを測定するフォールドは、トレーニングプロセス中は特に除外されます。 また、テストエラーの相互検証推定は下向きにバイアスされていると言って間違いありませんか？

10 cross-validation  bias 

私は混合モデル（相互作用を持ついくつかの変数と1つの確率変数）でブートストラップを行いました。私はこの結果を得ました（部分的なのみ）： > boot_out ORDINARY NONPARAMETRIC BOOTSTRAP Call: boot(data = a001a1, statistic = bootReg, R = 1000) Bootstrap Statistics : original bias std. error t1* 4.887383e+01 -1.677061e+00 4.362948e-01 t2* 3.066825e+01 1.264024e+00 5.328387e-01 t3* 8.105422e+01 2.368599e+00 6.789091e-01 t4* 1.620562e+02 4.908711e+00 1.779522e+00 ...... 次に、切片の信頼区間を取得したいと思います。 > boot.ci(boot_out,type=c("norm","basic","perc"), index=1) BOOTSTRAP CONFIDENCE INTERVAL CALCULATIONS Based on …

10 r  confidence-interval  bootstrap  bias 

仮定θがための不偏推定量ですθ。すると当然の、E [ θ | θ ] = θ。θ^θ^\hat{\theta}θθ\thetaE[θ^∣θ]=θE[θ^∣θ]=θ\mathbb{E}[\hat{\theta} \mid \theta] = \theta これを一般人にどのように説明しますか？過去には、私が言ったことは、あなたがの値の束平均場合であるθをサンプルサイズが大きくなるにつれて、あなたはより良い近似値取得θを。θ^θ^\hat{\theta}θθ\theta 私には、これは問題があります。私は私が実際にここに記述していますがあることのこのような現象だと思う漸近的に公平ではなく、単に公平、すなわち、というより、 θが上の可能性が依存しているN。limn→∞E[θ^∣θ]=θ,limn→∞E[θ^∣θ]=θ,\lim_{n \to \infty}\mathbb{E}[\hat{\theta} \mid \theta] = \theta\text{,}θ^θ^\hat{\theta}nnn では、公平な推定者が一般人にどのように説明するのでしょうか？

10 bias  asymptotics  unbiased-estimator  estimators  communication 

例として、観察されたが母集団R 2の偏った推定量であることを知っている学生によく遭遇します。次に、レポートを作成するときに、次のように言います。R2R2R^2R2R2R^2 「私が観察算出及び調整R 2が、それらは、観察されたバイアスの少量のみを示唆し、かなり類似していたR 2、我々が得た値」。R2R2R^2R2R2R^2R2R2R^2 一般的に、バイアスについて話すときは、通常、特定の推定値ではなく、推定量の特性について話していると思います。しかし、引用されたステートメントは、用語の誤用より上にありますか、それとも問題ありませんか？

10 mathematical-statistics  terminology  bias  estimators 

わかりました-私の元のメッセージは応答を引き出すことができませんでした。では、別の質問をさせてください。まず、意思決定理論の観点から、私の推定の理解について説明します。私は正式なトレーニングを受けていませんし、私の考えに何らかの欠陥があるとしても、私は驚かないでしょう。 損失関数ます。予想される損失は、（頻繁な）リスクです。L(θ,θ^(x))L(θ,θ^(x))L(\theta,\hat\theta(x)) R(θ,θ^(x))=∫L(θ,θ^(x))L(θ,θ^(x))dx,R(θ,θ^(x))=∫L(θ,θ^(x))L(θ,θ^(x))dx,R(\theta,\hat\theta(x))=\int L(\theta,\hat\theta(x))\mathcal{L}(\theta,\hat\theta(x))dx, ここで、は尤度です。ベイズのリスクは予想される頻出主義のリスクです：L(θ,θ^(x))L(θ,θ^(x))\mathcal{L}(\theta,\hat\theta(x)) r(θ,θ^(x))=∫∫R(θ,θ^(x))π(θ)dxdθ,r(θ,θ^(x))=∫∫R(θ,θ^(x))π(θ)dxdθ,r(\theta,\hat\theta(x))=\int\int R(\theta,\hat\theta(x))\pi (\theta)dxd\theta, ここで、は以前のものです。π(θ)π(θ)\pi (\theta) 一般的に、を最小化するが見つかり、これはすべてうまくいきます。さらに、Fubiniの定理が適用され、を最小化する任意のが他のすべてから独立するように、統合の順序を逆にすることができます。このようにして、尤度の原則に違反することなく、ベイジアンであることなどについて気分を良くすることができます。θ^(x)θ^(x)\hat\theta(x)rrrθ^(x)θ^(x)\hat\theta(x)rrr たとえば、おなじみの二乗誤差損失、頻度リスクは平均二乗誤差または合計です二乗バイアスと分散およびベイズのリスクは、事前に与えられた二乗バイアスと分散の予想合計です。つまり、事後予測損失です。L(θ,θ^(x))=(θ−θ^(x))2,L(θ,θ^(x))=(θ−θ^(x))2,L(\theta,\hat\theta(x))=(\theta- \hat\theta(x))^2, これは今のところ私には理にかなっているようです（かなり間違っている可能性もあります）。しかし、いずれにせよ、他のいくつかの目的については、物事は私にはあまり意味がありません。たとえば、均等に重み付けされた二乗バイアスと分散の合計を最小化する代わりに、等しく重み付けされていない合計を最小化したいとします。つまり、以下を最小化するです。θ^(x)θ^(x)\hat\theta(x) (E[θ^(x)]−θ)2+kE[(θ^(x)−E[θ^(x)])2],(E[θ^(x)]−θ)2+kE[(θ^(x)−E[θ^(x)])2],(\mathbb{E}[\hat\theta(x)]-\theta)^2+k\mathbb{E}[(\hat\theta(x)-\mathbb{E}[\hat\theta(x)])^2], ここで、は正の実定数（1以外）です。kkk 私は通常、このような合計を「目的関数」と呼びますが、その用語を誤って使用している可能性もあります。私の質問は、解決策を見つける方法についてではありません- この目的関数を最小化するを見つけることは数値的に実行可能です-むしろ、私の質問は2つあります：θ^(x)θ^(x)\hat\theta(x) そのような目的関数は、決定理論のパラダイムに適合しますか？そうでない場合、それが適合する別のフレームワークはありますか？はいの場合、どのようにですか？の関数であろう関連する損失関数のように思える、、およびので期待の- -である（これ私は思う）適切ではない。θθ\thetaθ^(x)θ^(x)\hat\theta(x)E[θ^(x)]E[θ^(x)]\mathbb{E}[\hat\theta(x)] このような目的関数は、任意の推定が他のすべての推定に依存するため（仮説であっても、尤度原理に違反します。それにもかかわらず、バイアスの減少とエラー分散の増加のトレードオフが望ましい場合があります。そのような目標が与えられた場合、可能性の原則に準拠するように問題を概念化する方法はありますか？θ^(xj)θ^(xj)\hat\theta(x_{j})θ^(xi≠j)θ^(xi≠j)\hat\theta(x_{i\neq j}) 私は、意思決定理論/推定/最適化に関するいくつかの基本的な概念を理解できなかったと想定しています。答えをお寄せいただき、ありがとうございます。この分野や数学のトレーニングは一般的に受けていないため、何も知らないと想定してください。さらに、（初心者の読者のために）提案された参考文献を歓迎します。

10 bias  loss-functions  frequentist  decision-theory  risk 

ロジスティック回帰の最尤推定量（MLE）に関するいくつかの事実を理解したいと思います。 一般に、ロジスティック回帰のMLEが偏っているのは本当ですか？「はい」と言います。たとえば、サンプルの次元はMLEの漸近バイアスに関連していることを知っています。 この現象の基本的な例を知っていますか？ MLEが偏っている場合、MLEの共分散行列が最尤関数のヘッセ行列の逆であることは本当ですか？ 編集：私はこの公式にかなり頻繁に出会い、証明はありません。それは私にはかなり恣意的な選択のようです。

10 logistic  maximum-likelihood  unbiased-estimator  bias 

これは基本的な質問かもしれません：バイアスとアンダーフィッティングの違いは何ですか？同様に、分散とオーバーフィッティングの違いは何ですか？各ペアの条件は同じ意味ですか？そうでない場合、違いは何ですか？

10 variance  bias  overfitting  model-evaluation