トレーニングセットとテストセットを使用して回帰モデルのパフォーマンスを評価していますか？

テストセットを実行し、トレーニングセットでモデルをトレーニングすることにより、分類モデルのパフォーマンスを評価することについてよく耳にします。次に、予測値用と真値用の2つのベクトルを作成します。明らかに比較を行うと、Fスコア、カッパ統計、精度と再現率、ROCカーブなどを使用して、予測力によってモデルのパフォーマンスを判断できます。

これは、回帰のような数値予測の評価とどのように比較しますか？トレーニングセットで回帰モデルをトレーニングし、それを使用して値を予測し、これらの予測値をテストセットにある真の値と比較できると思います。これは分類タスクではないため、パフォーマンスの測定値は明らかに異なるはずです。通常の残差と統計は明白な指標ですが、回帰モデルのパフォーマンスを評価するためのより/より良い方法はありますか？分類には非常に多くのオプションがあるようですが、回帰はと残差に任されています。 $R^2$ $R^2$

regression machine-learning model-evaluation

— StatTime
ソース

どのような質問をしているのか正確にはわかりませんが、連続出力のある回帰モデルの明らかなエラーメトリックは、モデル出力と結果変数の間の平均二乗誤差（MSE）です。

— BGreene 2014

したがって、実際の値と予測値の間の単なるエラー測定です。

— StatTime 2014

Yes, optimized on the training set and validated using the test set.

— BGreene

As said, typically, the Mean Squared Error is used. You calculate your regression model based on your training set, and evaluate its performance using a separate test set (a set on inputs x and known predicted outputs y) by calculating the MSE between the outputs of the test set (y) and the outputs given by the model (f(x)) for the same given inputs (x).

Alternatively you can use following metrics: Root Mean Squared Error, Relative Squared Error, Mean Absolute Error, Relative Absolute Error... (ask google for definitions)

— Merima Kulin
ソース

Good answer. These are all associated with the second moment of the distribution. You can also look at the sum of differences if you are trying to eliminate bias, or use any combination you want. For example,

e r r = A \sum (x - x_{i}) + B \sum (x - x_{i})^{2}

$err = A\sum (x - x_i) + B\sum (x - x_i)^2$ where A and B are chosen weights for each scoring method. Really it will depend on what factors are important to your specific problem.

— Greg Petersen