2
膨大なデータセットが与えられた場合、なぜ統計モデルは過剰適合しますか?
現在のプロジェクトでは、特定のグループの行動を予測するモデルを構築する必要があるかもしれません。トレーニングデータセットには6つの変数のみが含まれます(idは識別目的のみです)。 id, age, income, gender, job category, monthly spend その中で monthly spend応答変数です。ただし、トレーニングデータセットには約300万行が含まれid, age, income, gender, job category、予測されるデータセット(応答変数は含まれるが、含まれない)には100万行が含まれます。私の質問は、統計モデルにあまりにも多くの行(この場合は300万行)を投げた場合に潜在的な問題はありますか?計算コストが懸念事項の1つであることを理解していますが、他に懸念事項はありますか?データセットのサイズの問題を完全に説明している本/紙はありますか?
8
modeling
large-data
overfitting
clustering
algorithms
error
spatial
r
regression
predictive-models
linear-model
average
measurement-error
weighted-mean
error-propagation
python
standard-error
weighted-regression
hypothesis-testing
time-series
machine-learning
self-study
arima
regression
correlation
anova
statistical-significance
excel
r
regression
distributions
statistical-significance
contingency-tables
regression
optimization
measurement-error
loss-functions
image-processing
java
panel-data
probability
conditional-probability
r
lme4-nlme
model-comparison
time-series
probability
probability
conditional-probability
logistic
multiple-regression
model-selection
r
regression
model-based-clustering
svm
feature-selection
feature-construction
time-series
forecasting
stationarity
r
distributions
bootstrap
r
distributions
estimation
maximum-likelihood
garch
references
probability
conditional-probability
regression
logistic
regression-coefficients
model-comparison
confidence-interval
r
regression
r
generalized-linear-model
outliers
robust
regression
classification
categorical-data
r
association-rules
machine-learning
distributions
posterior
likelihood
r
hypothesis-testing
normality-assumption
missing-data
convergence
expectation-maximization
regression
self-study
categorical-data
regression
simulation
regression
self-study
self-study
gamma-distribution
modeling
microarray
synthetic-data