タグ付けされた質問 「bias-correction」

重み付けされていない分散 場合、同じデータから平均が推定されたときにバイアス補正されたサンプル分散が存在します： ヴァー（X）：= 1n∑私（x私- μ ）2ヴァール（バツ）：=1n∑私（バツ私−μ）2\text{Var}(X):=\frac{1}{n}\sum_i(x_i - \mu)^2ヴァー（X）：= 1n − 1∑私（x私− E[ X] ）2ヴァール（バツ）：=1n−1∑私（バツ私−E[バツ]）2\text{Var}(X):=\frac{1}{n-1}\sum_i(x_i - E[X])^2 私は加重平均と分散を調べており、加重分散の適切なバイアス補正とは何なのか疑問に思っています。使用： 平均（X）：= 1∑私ω私∑私ω私バツ私平均（バツ）：=1∑私ω私∑私ω私バツ私\text{mean}(X):=\frac{1}{\sum_i \omega_i}\sum_i \omega_i x_i 私が使用している「単純な」未修正の分散は、次のとおりです。 ヴァー（X）：= 1∑私ω私∑私ω私（x私− 平均（X））2ヴァール（バツ）：=1∑私ω私∑私ω私（バツ私−平均（バツ））2\text{Var}(X):=\frac{1}{\sum_i \omega_i}\sum_i\omega_i(x_i - \text{mean}(X))^2 だから、バイアスを修正する正しい方法は A） ヴァー（X）：= 1∑私ω私− 1∑私ω私（x私− 平均（X））2ヴァール（バツ）：=1∑私ω私−1∑私ω私（バツ私−平均（バツ））2\text{Var}(X):=\frac{1}{\sum_i \omega_i - 1}\sum_i\omega_i(x_i - \text{mean}(X))^2 またはB） ヴァー（X）：= nn − 11∑私ω私∑私ω私（x私− 平均（X））2ヴァール（バツ）：=nn−11∑私ω私∑私ω私（バツ私−平均（バツ））2\text{Var}(X):=\frac{n}{n-1}\frac{1}{\sum_i \omega_i}\sum_i\omega_i(x_i - \text{mean}(X))^2 またはC） …

22 variance  unbiased-estimator  weighted-mean  weighted-data  bias-correction 

閉じた。この質問には詳細または明確さが必要です。現在、回答を受け付けていません。 この質問を改善したいですか？詳細を追加し、この投稿を編集して問題を明確にします。 4年前に閉鎖されました。 入力/出力データセットがあり、最初に線形回帰線を作成し、バイアスを修正してから、そのデータのみをモデルに使用する場所を見てきました。このバイアス補正が何であるか分かりませんでしたか？

12 bias  bias-correction 

私は今コンテストに参加しています。私はそれをうまくやるのが私の仕事だと知っていますが、私の問題とその解決策について、他の人にとっても助けになるかもしれないので、誰かがここで私の問題とその解決策について話したいと思うかもしれません。 私はxgboostモデル（ツリーベースのモデルと線形モデルとその2つのアンサンブル）をトレーニングしました。既にここで説明したように、トレーニングセット（交差検証を行った場合）の平均絶対誤差（MAE）は小さく（約0.3）、保持されたテストセットでは誤差は約2.4でした。その後、競争が始まり、エラーは約8（！）でした。驚くべきことに、 予測は常に真の値よりも約8〜9高くなりました!! 画像の黄色で囲まれた領域を参照してください。 トレーニングデータの期間は2015年10月に終了し、コンテストは今すぐ始まりました（16年4月、テスト期間は3月に約2週間）。 今日、私は自分の予測から定数値9を差し引いただけで、エラーは2になり、リードボードで3を獲得しました（この1日分）。;）これは黄色の線の右側の部分です。 だから私が議論したいこと： xgboostは、切片項をモデル方程式に追加することに対してどのように反応しますか？システムの変更が多すぎる場合、これによりバイアスが発生する可能性がありますか（私の場合、10月15日から4月16日のように）。 インターセプトなしのxgboostモデルは、ターゲット値の平行シフトに対してより堅牢になるでしょうか？ 私は9のバイアスを差し引いていきます。誰か興味があれば、結果を表示できます。ここでより多くの洞察を得ることはちょうどより興味深いでしょう。

9 machine-learning  boosting  overfitting  bias-correction