タグ付けされた質問 「bias」

多重線形回帰で不偏推定値を取得することに興味がありますR2R2R^2。 熟考すると、不偏推定値が一致しようとしている2つの異なる値を考えることができます。R2R2R^2 Out of sample：R2R2R^2サンプルから得られた回帰方程式（つまり）が、サンプルの外部にある同じデータからの無限量のデータに適用された場合に得られるr平方生成プロセス。β^β^\hat{\beta} 母集団：R2R2R^2無限サンプルが取得され、モデルがその無限サンプル（つまり、）に適合した場合に取得されるr平方、または既知のデータ生成プロセスによって暗示されるR平方のみ。ββ\beta 調整されたR2R2R^2は、サンプル観察された過剰適合を補償するように設計されていることを理解しています。それにもかかわらず、調整後かどうかは明らかではない実際の不偏推定値であり、、それは二定義は上記の不偏推定値である場合、が推定することを目指しています。R2R2R^2R2R2R^2R2R2R^2R2R2R^2 したがって、私の質問： 上記のサンプルからの偏りのない推定値は何ですか？R2R2R^2 母集団より上で私が呼ぶものの公平な推定とは何ですか？R2R2R^2 公平性のシミュレーションまたはその他の証拠を提供する参考文献はありますか？

14 estimation  multiple-regression  r-squared  bias 

私は、一貫性のある用語と漸近的に偏りのない用語の違いと実際的な違いを直感的に理解し、感じるようにしています。私はそれらの数学的/統計的定義を知っていますが、私は直感的な何かを探しています。私には、それぞれの定義を見ると、ほとんど同じように見えます。違いは微妙なはずだと思いますが、わかりません。私は違いを視覚化しようとしていますが、それはできません。誰か助けてもらえますか？

14 bias  convergence  unbiased-estimator  asymptotics  intuition 

アーティストのサンプルにアンケートを提出しました。質問の1つは、芸術活動、政府支援、私的年金、芸術に関連しない活動によって得られる収入の割合を示すことでした。個人の約65％が、合計が100になるように回答しています。他の人はそうではありません。たとえば、収入の70％が芸術活動から得られ、60％が収入政府から得られると答える人がいます。 、 等々。私の質問は、これらの観察結果をどのように扱うべきですか？それらを削除、変更、または保持する必要がありますか？ありがとうございました！

13 survey  bias 

と両方に影響を及ぼす変数が省略されている場合、でのの回帰は因果関係である必要はありません。しかし、省略された変数と測定誤差がない場合、回帰は原因ですか？つまり、すべての可能な変数が回帰に含まれている場合はどうでしょうか？yyyバツバツxバツバツxyyy

13 regression  bias  causality 

そのため、対数正規分布のランダム変数生成するランダムプロセスがありますXXX。対応する確率密度関数は次のとおりです。 元の分布のいくつかのモーメントの分布を推定したいと考えました。1番目のモーメント、つまり算術平均です。そのために、算術平均の10000の推定値を計算できるように、100個のランダム変数を10000回描画しました。 その平均を見積もるには、2つの異なる方法があります（少なくとも、それは私が理解したことです：私は間違っているかもしれません）。 はっきり平均算術通常の方法を計算することによって： X¯=∑i=1NXiN.X¯=∑i=1NXiN.\bar{X} = \sum_{i=1}^N \frac{X_i}{N}. または、基礎となる正規分布から最初におよびμを推定することによって：μ = N ∑ i = 1 log （X i）σσ\sigmaμμ\mu、次に平均として ˉ X =EXP（μ+1μ=∑i=1Nlog(Xi)Nσ2=∑i=1N(log(Xi)−μ)2Nμ=∑i=1Nlog⁡(Xi)Nσ2=∑i=1N(log⁡(Xi)−μ)2N\mu = \sum_{i=1}^N \frac{\log (X_i)}{N} \quad \sigma^2 = \sum_{i=1}^N \frac{\left(\log (X_i) - \mu\right)^2}{N}X¯=exp(μ+12σ2).X¯=exp⁡(μ+12σ2).\bar{X} = \exp(\mu + \frac{1}{2}\sigma^2). 問題は、これらの各推定値に対応する分布が体系的に異なることです。 「プレーン」平均（赤い破線で表される）は、指数形式（緑のプレーン線）から得られる値よりも一般に低い値を提供します。両方の平均はまったく同じデータセットで計算されますが。この違いは体系的であることに注意してください。 なぜこれらの分布は等しくないのですか？

13 estimation  bias  fitting  lognormal  moments 

Bishopのパターン認識と機械学習のセクション3.2で、彼はバイアス分散分解について説明し、損失関数の2乗について、期待損失を2乗バイアス項に分解できることを述べています（これは、平均予測が真からどれだけ離れているかを説明しています）モデル）、分散項（平均の周りの予測の広がりを表す）、およびノイズ項（データの固有のノイズを与える）。 バイアス分散分解は、2乗損失以外の損失関数で実行できますか？ 特定のモデルデータセットについて、予想損失がすべてのモデルで最小となるモデルが複数ありますか？その場合、同じ最小予想損失をもたらすバイアスと分散の異なる組み合わせが存在する可能性があるということですか？ モデルに正則化が含まれる場合、バイアス、分散、正則化係数間に数学的な関係がありますか？λλ\lambda 真のモデルがわからない場合、どのようにバイアスを計算できますか？ 予想される損失（バイアスと分散の2乗の合計）よりも、バイアスまたは分散を最小化する方が理にかなっている状況はありますか？

13 self-study  variance  bias  regularization  loss-functions 

で大気科学における統計的手法の予測の中で非常に強いintercorrelations（第3版、ページ559から560）がある場合は、複数の線形回帰は、問題を引き起こす可能性があること、ダニエル・ウィルクス・ノート： 多重線形回帰で発生する可能性のある病状は、強い相互相関を持つ予測変数のセットが不安定な回帰関係の計算につながる可能性があることです。 （...） 次に、主成分回帰を導入します。 この問題を解決する方法は、最初に予測子をその相関関係がゼロである主成分に変換することです。 ここまでは順調ですね。しかし、次に、彼は説明していない（または少なくとも私が理解するのに十分な詳細ではない）いくつかの声明を出します： すべての主成分が主成分回帰で保持されている場合、完全な予測子セットへの従来の最小二乗近似では何も得られません。 （..）および： 元の予測子に関して主成分回帰を再表現することは可能ですが、1つまたは少数の主成分予測子のみが使用されている場合でも、結果には一般にすべての元の予測子変数が含まれます。この再構成された回帰は偏りがありますが、多くの場合、分散ははるかに小さく、全体としてMSEが小さくなります。 私はこれらの2つの点を理解していません。 もちろん、すべての主成分が保持されている場合、元の空間で予測子を使用していたときと同じ情報を使用します。ただし、相互相関の問題は、主成分空間で作業することにより除去されます。私たちはまだ過剰適合しているかもしれませんが、それが唯一の問題ですか？何も得られないのはなぜですか？ 第二に、主成分を切り捨てたとしても（おそらくノイズ低減および/または過剰適合を防ぐために）、なぜ、どのようにこれが偏った再構成回帰につながるのでしょうか？どのように偏ったのですか？ 書籍のソース：Daniel S. Wilks、Atmospheric Methods in the Atmospheric Sc​​iences、第3版、2011年。InternationalGeophysics Series Volume 100、Academic Press。

13 regression  pca  bias 

ルート平均二乗誤差（RMSE）および平均バイアス偏差（MBD）の概念を理解したいと思います。データを自分で比較するためにこれらの測定値を計算すると、RMSEが高い（たとえば100 kg）のに対し、MBDが低い（たとえば1％未満）ことに気づいて困惑することがよくあります。 より具体的には、これらの測定の数学をリストして説明するリファレンス（オンラインではない）を探しています。これらの2つの測定値を計算するために通常受け入れられている方法は何ですか。また、それらをジャーナルの論文でどのように報告すべきですか。 この投稿のコンテキストでは、これらの2つのメジャーの計算を説明するために使用できる「おもちゃ」データセットがあると、本当に役立ちます。 たとえば、組立ラインで生成された200個のウィジェットの質量（kg単位）を検索するとします。これらのウィジェットの質量を予測しようとする数学モデルもあります。モデルは経験的である必要はなく、物理ベースにすることができます。実際の測定値とモデルの間でRMSEとMBDを計算すると、RMSEが100 kgでMBDが1％であることがわかります。これは概念的に何を意味し、この結果をどのように解釈しますか？ この実験の結果から、RMSEが10 kg、MBDが80％であることがわかりました。これは何を意味し、この実験について何が言えますか？ これらの対策の意味は何ですか？また、2つ（まとめて）は何を意味しますか？RMSEで検討した場合、MBDはどのような追加情報を提供しますか？

13 standard-deviation  bias 

サンプリングのコースを学習するとき、次の2つのステートメントを満たします。 1）サンプリングエラーはほとんど変動性につながり、非サンプリングエラーはバイアスにつながります。 2）非サンプリングエラーのため、サンプルは多くの場合CENSUSよりも正確です。 これら2つのステートメントを理解する方法がわかりません。これら2つのステートメントを取得するための基本的なロジックは何ですか？

13 estimation  sampling  survey  bias 

私の会社では、A / Bテスト（ウェブサイトのバリエーションで実行）の結果を提示する責任があります。私たちは、私が今見つける午前何かがある、月のテストを実行し、その後、我々は有意に達し（または重要性を長時間テストを実行した後に到達されていない場合は放棄）まで定期的にp値を確認してください間違って練習。 私は今、この習慣をやめたいのですが、そうするために、なぜこれが間違っているのかを理解したいと思います。効果サイズ、サンプルサイズ（N）、アルファ有意性基準（α）および統計的検出力、または選択または暗黙のベータ（β）が数学的に関連していることを理解しています。しかし、必要なサンプルサイズに達する前にテストを停止すると、正確に何が変わるのでしょうか。 私はここでいくつかの投稿（つまりthis、this、this）を読みましたが、私の推定には偏りがあり、Type 1エラーの発生率が劇的に増加します。しかし、それはどのようにして起こりますか？数学的説明、つまり、サンプルサイズが結果に与える影響を明確に示すものを探しています。上で述べた要因間の関係に関係していると思いますが、正確な式を見つけて自分で計算することはできませんでした。 たとえば、テストを途中で停止すると、タイプ1のエラー率が高くなります。よし。しかし、なぜ？タイプ1のエラー率を上げるとどうなりますか？ここでは直感が欠けています。 助けてください。

13 hypothesis-testing  statistical-significance  bias  ab-test  optimal-stopping 

この学習曲線を作成しましたが、SVMモデルにバイアスや分散があるかどうかを知りたいですか？このグラフからどのように結論付けることができますか？

12 machine-learning  svm  bias  train 

ディープラーニングに関するこのチュートリアルによると、重みの減衰（正規化）は通常、バイアス用語に適用されません。なぜですか？ その背後にある意義（直感）とは何ですか？

12 machine-learning  neural-networks  bias  regularization 

閉じた。この質問には詳細または明確さが必要です。現在、回答を受け付けていません。 この質問を改善したいですか？詳細を追加し、この投稿を編集して問題を明確にします。 4年前に閉鎖されました。 入力/出力データセットがあり、最初に線形回帰線を作成し、バイアスを修正してから、そのデータのみをモデルに使用する場所を見てきました。このバイアス補正が何であるか分かりませんでしたか？

12 bias  bias-correction 

私は最近、サンプルの平均と分散に関する基本方程式、幾何学的またはその他の背後にある数学的解釈/直感を求める質問をしました。E[X2]=Var(X)+(E[X])2E[X2]=Var(X)+(E[X])2 E[X^2] = Var(X) +(E[X])^2 しかし今、私は表面的に似ているバイアス分散のトレードオフ方程式に興味があります。 MSE(θ^)=E[(θ^−θ)2]==E[(θ^−E[θ^])2]+(E[θ^]−θ)2Var(θ^)+Bias(θ^,θ)2MSE(θ^)=E[(θ^−θ)2]=E[(θ^−E[θ^])2]+(E[θ^]−θ)2=Var(θ^)+Bias(θ^,θ)2 \begin{eqnarray} \text{MSE}(\hat{\theta}) = E [(\hat{\theta}-\theta)^2 ] &=& E[(\hat{\theta} - E[\hat\theta])^2] + (E[\hat\theta] - \theta)^2\\ &=& \text{Var}(\hat\theta) + \text{Bias}(\hat\theta,\theta)^2 \\ \end{eqnarray} （Wikipediaの式） 私には、回帰のバイアス分散のトレードオフ方程式と表面的な類似性があります。3つの項が2乗で、2つが他の項に加算されます。非常にピタゴラスを探しています。これらすべてのアイテムの直交性を含む同様のベクトル関係はありますか？または適用される他のいくつかの関連する数学的解釈はありますか？ 私は光を放つかもしれない他のいくつかの数学的オブジェクトとの数学的アナロジーを求めています。ここで十分にカバーされている精度と精度の類似性は探していません。しかし、バイアス分散のトレードオフとより基本的な平均分散の関係の間に人々が与えることができる非技術的なアナロジーがある場合、それも素晴らしいでしょう。

12 variance  bias 

それぞれが他を暗示していますか？そうでない場合、一方は他方を意味しますか？なぜ/そうでないのですか？ この問題は、私がここに投稿した回答に対するコメントへの応答として生じました。 関連する用語をグーグル検索しても、特に役立つと思われるものは何も生成されませんでしたが、数学のスタック交換に関する回答に気付きました。しかし、この質問はこのサイトにも適切だと思いました。 コメントを読んだ後に編集する math.stackexchangeの回答と比較して、コメントスレッド@whuber linkedで扱われた問題のいくつかをカバーするために、私はより深い何かを求めていました。また、私が見ているように、math.stackexchangeの質問は、一貫性が漸近的に公平であることを意味するのではなく、理由について何かを説明していません。そこのOPも当然のことながら、漸近的な不偏性は一貫性を意味するものではないため、これまでのところ唯一の回答者はこれがなぜであるかについては触れていません。

12 mathematical-statistics  bias  unbiased-estimator  estimators  consistency