平均絶対パーセント誤差（MAPE）の欠点は何ですか？

平均絶対誤差率（MAPEは）、時系列や他の予測のための共通の精度や誤差尺度であり、

メイプ = \frac{100}{n} \sum_{t = 1}^{n} \frac{| A_{t} - F_{t} |}{A_{t}} ％ 、

$\text{MAPE} = \frac{100}{n}\sum_{t=1}^n\frac{|A_t-F_t|}{A_t}\%,$

ここで、は実績であり、 $A_t$ 対応する予測または予測です。 $F_t$

MAPEはパーセンテージであるため、シリーズ間で簡単に比較でき、人々はパーセンテージを簡単に理解して解釈できます。

ただし、MAPEには欠点があると聞きました。私はMAPEまたはMSE（のようないくつかの代替使用するかどうかについての情報に基づいた意思決定することができますので、私はより良いこれらの欠点を理解したいと思いMSE）、MAE（メイ）またはMASE（間瀬を）。

accuracy mape

— S.コラッサ-復職モニカ
ソース

MAPEの欠点

割合としてのMAPEは、区分と比率が意味のある値に対してのみ意味を持ちます。たとえば、温度の割合を計算するのは理にかなっていないため、MAPEを使用して温度予測の精度を計算しないでください。
単一の実績がゼロである場合、 $A_t=0$ である場合、未定義のMAPEの計算でゼロで除算します。

それにもかかわらず、一部の予測ソフトウェアは、単に実績がゼロの期間を削除するだけで、そのようなシリーズのMAPEを報告することがわかりました（Hoover、2006）。言うまでもなく、これはない、それは我々が実際にはゼロだった場合、我々は予測かについては全く気にしないことを暗示するように、良いアイデア-しかし、の予測 $F_t=100$ との1 $F_t=1000$ 非常に持っていること異なる意味。だからあなたのソフトウェアが何をするかを確認してください。

数個のゼロしか発生しない場合は、重み付きMAPEを使用できます（Kolassa＆Schütz、2007）が、それでも独自の問題があります。これは、対称MAPEにも適用されます（Goodwin＆Lawton、1999）。
100％を超えるMAPEが発生する可能性があります。一部の人々が100％-MAPEと定義する精度で作業することを好む場合、これは負の精度につながる可能性があり、人々は理解に苦労する可能性があります。（いいえ、ゼロで精度を切り捨てることは良い考えではありません。）
予測したい厳密に正のデータがある場合（および上記に従って、それ以外の場合MAPEは意味をなしません）、ゼロ未満を予測することはありません。残念ながら、MAPEは、オーバーフォーキャストをアンダーフォーキャストとは異なる方法で扱います。アンダーフォーキャストは、100％を超えることはありません（たとえば、 $F_t=0$ と $A_t=1$ ）が、overforecastの寄与は（無制限です例えば、もし $F_t=5$ と $A_t=1$ ）。これは、偏りのない予測の場合よりも偏った場合の方がMAPEが低くなる可能性があることを意味します。最小化すると、予測が低く偏る可能性があります。

特に最後の箇条書きはもう少し考えに値します。このためには、一歩後退する必要があります。

$F_t$ $t$ $t=1, \dots, n$ 。

ここでの問題は、将来のディストリビューションの優れたワンナンバーサマリーが何であるかを人々が明言することがめったにないことです。

$F_t$ $F_t$

問題は次のとおりです。MAPEを最小化すると、通常、この期待を出力するように動機付けられませんが、1つの数字の要約はまったく異なります（McKenzie、2011、Kolassa、2020）。これには2つの異なる理由があります。

$(\mu=1,\sigma^2=1)$

水平線は、最適なポイント予測を提供します。ここで、「最適性」は、さまざまなエラー測定値に対して予想されるエラーを最小化することとして定義されます。
- $F_t=\exp(\mu+\frac{\sigma^2}{2})\approx 4.5$
- $F_t=\exp\mu\approx 2.7$ 最小化が期待MAE。時系列の中央値です。
- での一点鎖線 $F_t=\exp(\mu-\sigma^2)=1.0$ $\beta=-1$
将来の分布の非対称性は、MAPEが過大予測と過小予測に差別的にペナルティを課すという事実とともに、MAPEを最小化すると予測の偏りが大きくなることを意味することがわかります。（以下は、ガンマの場合の最適なポイント予測の計算です。）
$A_t$ $t$

この場合：
- $F_t=3.5$
- $3\leq F_t\leq 4$ （図には示されていない）と予想MAEを最小化します。この間隔のすべての値は、時系列の中央値です。
- $F_t=2$
また、MAPEを最小化すると、予測の偏りが予測の偏りにつながる可能性があることがわかります。この場合、問題は非対称分布ではなく、データ生成プロセスの変動係数が高いことに起因しています。

これは実際には、MAPEの欠点について人々に教えるために使用できるシンプルなイラストです。参加者にいくつかのサイコロを渡して転がしてもらうだけです。詳細については、Kolassa＆Martin（2011）を参照してください。

Rコード

対数正規の例：

mm <- 1
ss.sq <- 1
SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"

set.seed(2013)
actuals <- rlnorm(100,meanlog=mm,sdlog=sqrt(ss.sq))

opar <- par(mar=c(3,2,0,0)+.1)
    plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
    abline(v=101,col=SAPMediumGray)

    xx <- seq(0,max(actuals),by=.1)
    polygon(c(101+150*dlnorm(xx,meanlog=mm,sdlog=sqrt(ss.sq)),
      rep(101,length(xx))),c(xx,rev(xx)),col="lightgray",border=NA)

    (min.Ese <- exp(mm+ss.sq/2))
    lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)

    (min.Eae <- exp(mm))
    lines(c(101,150),rep(min.Eae,2),col=SAPGold,lwd=3,lty=3)

    (min.Eape <- exp(mm-ss.sq))
    lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)

サイコロの例：

SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"

set.seed(2013)
actuals <- sample(x=1:6,size=100,replace=TRUE)

opar <- par(mar=c(3,2,0,0)+.1)
    plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
    abline(v=101,col=SAPMediumGray)

    min.Ese <- 3.5
    lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)

    min.Eape <- 2
    lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)

参照資料

グナイティング、T。。ポイント予測の作成と評価。Journal of the American Statistics Association、2011、106、746-762

グッドウィン、P。＆ロートン、R。 . 対称MAPEの非対称性について。International Journal of Forecasting、1999、15、405-408

フーバー、J。予測精度の測定：今日の予測エンジンと需要計画ソフトウェアの省略。Foresight：The International Journal of Applied Forecasting、2006、4、32-35

Kolassa、S. 「最高の」ポイント予測がエラーまたは精度の測定値に依存する理由（M4予測コンテストに関する招待コメント）。 International Journal of Forecasting、2020、36（1）、208-211

Kolassa、S.＆Martin、R. 割合エラーはあなたの一日を台無しにする可能性があります。予測：国際応用予測ジャーナル、2011、23、21-29

Kolassa、S.＆Schütz、W. MAPE に対するMAD / Mean比の利点。予測：国際予測応用ジャーナル、2007、6、40-43

マッケンジー、J。平均絶対誤差と経済予測のバイアス。Economics Letters、2011、113、259-262

— S.コラッサ-復職モニカ
ソース

優れたQ＆A。私はそれを追加することになり、すべてのこれらのメトリックのは、二つの大きな基本的な前提を持っている-シリーズですIIDと固定。これらの仮定の一方または両方が満たされていない場合（実際には頻繁に発生します）、その妥当性は疑わしいものです。

— マイクハンター

私はこれの大部分に同意しますが、温度の比率が適切なスケール（つまり、ケルビンスケール）である限り、温度の比率を処理することは正当ではないでしょうか。

— モニカを

@Ben：その場合、ゼロで除算しません。ただし、非対称性はまだわずかな問題です。予測が293Kで実績が288Kの場合、APEは1.74％であり、予測が288Kで実績が293Kの場合、APEは1.71％であるため、2番目の予測はより良く見えますが、両方とも5Kずれています。（必要に応じてCまたはFに変換します。）本質的に、同じ絶対誤差は、より低い実績に対してより強くペナルティを受けます。さらに、温度のパーセント誤差の解釈は容易ではありません。

— 回復モニカ- S. Kolassa

@Ben絶対温度のパーセンテージは正当ですが、温度の違いは理解しやすいです-少なくとも、日常の範囲の温度を扱う場合。スターコアの温度を予測するとき、それは別の方法かもしれません。

— ペレ

平均絶対パーセント誤差（MAPE）の欠点は何ですか？

MAPEの欠点

関連するCrossValidatedの質問

Rコード

参照資料