サンプルの低いバイアスは、高い分散の同義語ですか?


8

次は正しいですか?

低バイアス=高分散
高バイアス=低分散

バイアスの高低を理解していますが、差異はどのように違いますか?それとも上記の同義語ですか?


分散は実際にはバイアスとは関係ありません。
マイケルR.チェニック2018

これは統計的サンプリングに関する一般的な質問ですか?その場合は、ニューラルネットワークのタグを解除してください。特にニューラルネットワークに関するものである場合は、その理由を説明し、コンテキストを追加してください。
smci

回答:


26

いいえ。両方を同時に高くしたり低くしたりすることができます。以下に例を示します。画像と記事のソースこの画像の出典である記事を読むこともお勧めします。

ここに画像の説明を入力してください


このような印象を持っている理由は、機械学習の「アーリーエイジ」にはバイアス分散のトレードオフと呼ばれる概念があるためです(@Kodiologistが述べたように、この概念は今でも真実であり、現在のモデルのチューニングの基本概念です)。

  • モデルの複雑さが増すと、分散が増加し、バイアスが減少します
  • モデルを正則化すると、バイアスが増加し、分散が減少します。

Andrew Ngの最近のディープラーニングコースラの講義で、彼は最近のディープラーニングフレームワーク(大量のデータを使用)では、トレードオフについてはあまり話さないと述べました。代わりに、分散を減らすだけでバイアスを増やさない方法(トレーニングデータサイズを増やすなど)があります。逆も同様です。


ありがとう、記事へのリンクはありますか?
好奇心旺盛な2018

3
Andrew Ngの発言は、おそらく「ビッグデータ」機械学習に関連したものでした。理論と実践の両方で、データサイズが小さい場合、バイアスと分散のトレードオフが非常に重要になることが示唆されています。
マーティンL

3
現在でも、トレードオフはかなり頻繁に発生します。たとえば、正則化された回帰は、ネットの精度を高める方法でバイアスと分散をトレードオフすることにより、OLSよりも予測的な利点を得ます。また、分散が多すぎて役に立たない偏りのない推定量と、偏りが多すぎて役に立たない0分散の推定量が簡単に思い付きます。
コディオロジスト2018

2
@Kodiologistコメントをありがとう。私は私の答えを修正しました、うまくいけばそれはより良いです。
Haitao Du 2018

1
ええ、私は間違いなく今はもっと好きです!
Matthew Drury、

2

バイアスと分散の違いは、精度と精度の違いと同じです。

ここに画像の説明を入力してください

  • 測定システムの精度は、数量の実際の(真の)値にどれだけ近いかです。(≈バイアス)

  • 測定システムの精度は、測定を繰り返しても同じ結果が得られる度合いです。(≈分散)

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.