エラー対策の解釈方法は?


41

Wekaで特定のデータセットに対して分類を実行していますが、公称値を予測しようとすると、出力に正確に予測された値と誤って予測された値が明確に表示されることに気付きました。ただし、現在は数値属性に対して実行しており、出力は次のとおりです。

Correlation coefficient                 0.3305
Mean absolute error                     11.6268
Root mean squared error                 46.8547
Relative absolute error                 89.2645 %
Root relative squared error             94.3886 %
Total Number of Instances               36441 

これをどうやって解釈しますか?私はそれぞれの概念をグーグルで試しましたが、統計は私の専門分野ではまったくないため、あまり理解していません。統計の観点からELI5タイプの回答をいただければ幸いです。

回答:


52

対象の真の値をとして、アルゴリズムを使用して推定された値をとして示しましょう。θθ^

相関は、とがどれだけ関連しているかを示します。それは間の値を与えるおよび、、全く関係がない非常に強い線形の関係であり、関係線形逆数である(即ち大きな値より小さな値を示している、又は副を逆)。以下に、相関の図解例を示します。θθ^11011θθ^

相関の例

(ソース:http : //www.mathsisfun.com/data/correlation.html

平均絶対誤差は次のとおりです。

MAE=1Ni=1N|θ^iθi|

平均二乗誤差は次のとおりです。

RMSE=1Ni=1N(θ^iθi)2

相対絶対誤差

RAE=i=1N|θ^iθi|i=1N|θ¯θi|

ここでの平均値である。θ¯θ

ルートの相対二乗誤差:

RRSE=i=1N(θ^iθi)2i=1N(θ¯θi)2

ご覧のとおり、すべての統計は真の値をその推定値と比較しますが、わずかに異なる方法で実行します。これらはすべて、真の値からの推定値が「どれくらい離れているか」を示しています。平方根が使用される場合と絶対値が使用される場合があります-これは、平方根を使用する場合、極値が結果により影響を与えるためです(標準偏差で絶対値を取る代わりに、またはMathoverflowで差を平方する理由を参照)。θ

でとあなたは、単にこれら2つの値の「平均的な違い」を見て-あなたはそれらをあなたのvaliableの規模に比較すると解釈して、(つまり、 1点ですと間のの1ポイントの差)。MAERMSEMSEθθ^θ

でとあなたはの変化によって、これらの違い分ける彼らは0から1までのスケールを持っているので、あなたは0〜100のスケール(すなわちパーセントの類似性を得る100によって、あなたは乗算、この値があれば)。値又はがその平均値とどれだけ異なるかを教えてください-したがって、がそれ自体とどれだけ異なるかを知ることができます(varianceと比較してください)。そのため、メジャーには「相対」という名前が付けられています-スケールに関連する結果が得られます。RAERRSEθ(θ¯θi)2|θ¯θi|θθθ

それらのスライドもチェックしてください。


説明ありがとうございます!さまざまなアルゴリズムのパフォーマンスを評価しようとしています。たとえば、この他の出力(相関:0.3044、MAE:10.832、MSE:47.2971、RAE:83.163%、RSE:95.2797%)を取得し、最初の出力と比較しようとすると、実行できますより良い?
FloIancu

5
相関が大きく、誤差推定値が小さいモデルを選択する必要があります。ご覧のとおり、モデルのパフォーマンスには複数の測​​定値があり(それらはごくわずかです)、時には異なる答えを示します。「はい/いいえ」のような答えはほとんどありません。モデル選択のタスクは、理論に追いつくと簡単になります。たとえば、それらの講義を確認できます。
ティム

どうもありがとうございました!あなたが私をたくさん助けてくれたので、私は先に行き、あなたの返事を答えとしてマークしました!
FloIancu

1
@Tim平均絶対エラーは、おそらくMAEと略記する必要があります:)
Antoine

1
@MewXどんな種類の参照を探していますか?基本的には、再スケーリングされたRMSEです。それについて言うことはあまりありません...
ティム
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.