RMSEの信頼区間

母集団からデータポイントのサンプルを取得しました。これらの各ポイントには、真の値（グラウンドトゥルースから既知）と推定値があります。次に、各サンプリングポイントの誤差を計算し、サンプルのRMSEを計算します。 $n$

次に、サンプルサイズ基づいて、このRMSEの周りのある種の信頼区間をどのように推測できますか？ $n$

RMSEではなく平均を使用していた場合、標準方程式を使用できるので、これを行うのに問題はありません。

$m = \frac{Z \sigma}{\sqrt{n}}$

しかし、これが平均ではなくRMSEに有効かどうかはわかりません。これを適応させる方法はありますか？

（私はこの質問を見ましたが、私の人口が通常分布しているかどうかの問題はありません、それはそこでの答えが扱っているものです）

confidence-interval

— ロビント
ソース

「サンプルのRMSEを計算する」とき、具体的に何を計算しますか？それはのRMSEで、真値の推定値、またはその違いの？

— whuber

差のRMSEを計算しています。つまり、真の値と推定値の差の2乗の平均の平方根を計算しています。

— -robintw

「グランドトゥルース」を知っている場合（実際にはどういう意味かはわかりませんが）、なぜRMSEの不確実性が必要なのでしょうか？あなたはグラウンドトゥルースを持っていない場合について何らかの推論を構築しようとしていますか？これはキャリブレーションの問題ですか？

— Glen_b-モニカの復活2013

@Glen_b：うん、それはまさに私たちがやろうとしていることです。サンプルだけについては、母集団全体についての根拠はありません。次に、サンプルのRMSEを計算します。このサンプルを使用して母集団のRMSEを推測するため、これに信頼区間を設定します。

— robintw

RのRMSE

— 好奇心

回答:

ここと同様の推論で、特定の条件下であなたの質問に答えることができるかもしれません。

レッツは、のためにあなたの本当の値であることがデータポイントおよび推定値を。推定値と真の値の差が $x_{i}$ $i^{th}$ $\hat{x}_{i}$

平均ゼロ（すなわち周りに分散されているが、） $\hat{x}_{i}$ $x_{i}$
正規分布に従う
すべてが同じ標準偏差持ちます $\sigma$

要するに：

{\hat{バツ}}_{私} - {バツ}_{私} 〜 N （ 0 、 σ^{2} ） 、

$\hat{x}_{i}-x_{i} \sim \mathcal{N}\left(0,\sigma^{2}\right),$

信頼区間が本当に必要です。 $\sigma$

上記の仮定が当てはまる以下の有する分布（ない自由度）を。これの意味は

\frac{n {RMSE}^{2}}{σ^{2}} = \frac{n \frac{1}{n} \sum_{i} {(\hat{x_{i}} - x_{i})}^{2}}{σ^{2}}

$\frac{n\mbox{RMSE}^{2}}{\sigma^{2}} = \frac{n\frac{1}{n}\sum_{i}\left(\hat{x_{i}}-x_{i}\right)^{2}}{\sigma^{2}}$

χ_{n}^{2}

$\chi_{n}^{2}$

n

$n$

n - 1

$n-1$

\begin{aligned} P (χ_{\frac{α}{2}, n}^{2} \leq \frac{n {RMSE}^{2}}{σ^{2}} \leq χ_{1 - \frac{α}{2}, n}^{2}) = 1 - α \\ \Leftrightarrow P (\frac{n {RMSE}^{2}}{χ_{1 - \frac{α}{2}, n}^{2}} \leq σ^{2} \leq \frac{n {RMSE}^{2}}{χ_{\frac{α}{2}, n}^{2}}) = 1 - α \\ \Leftrightarrow P (\sqrt{\frac{n}{χ_{1 - \frac{α}{2}, n}^{2}}} RMSE \leq σ \leq \sqrt{\frac{n}{χ_{\frac{α}{2}, n}^{2}}} RMSE) = 1 - α . \end{aligned}

$\begin{align} P\left(\chi_{\frac{\alpha}{2},n}^{2}\le\frac{n\mbox{RMSE}^{2}}{\sigma^{2}}\le\chi_{1-\frac{\alpha}{2},n}^{2}\right) = 1-\alpha\\ \Leftrightarrow P\left(\frac{n\mbox{RMSE}^{2}}{\chi_{1-\frac{\alpha}{2},n}^{2}}\le\sigma^{2}\le\frac{n\mbox{RMSE}^{2}}{\chi_{\frac{\alpha}{2},n}^{2}}\right) = 1-\alpha\\ \Leftrightarrow P\left(\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\le\sigma\le\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right) = 1-\alpha. \end{align}$

したがって、は信頼区間です。

[\sqrt{\frac{n}{χ_{1 - \frac{α}{2}, n}^{2}}} RMSE, \sqrt{\frac{n}{χ_{\frac{α}{2}, n}^{2}}} RMSE]

$\left[\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE},\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right]$

これはあなたの状況をシミュレートするpythonプログラムです

from scipy import stats
from numpy import *
s = 3
n=10
c1,c2 = stats.chi2.ppf([0.025,1-0.025],n)
y = zeros(50000)
for i in range(len(y)):
    y[i] =sqrt( mean((random.randn(n)*s)**2))

print "1-alpha=%.2f" % (mean( (sqrt(n/c2)*y < s) & (sqrt(n/c1)*y > s)),)

お役に立てば幸いです。

仮定が当てはまるかどうかわからない場合や、私が書いたものを別の方法と比較したい場合は、常にbootstrappingを試すことができます。

— ファビー
ソース

あなたは間違っていると思います-彼は

ではなくRMSEのCIを望んでいます。そして、私もそれが欲しいです :)

σ

$\sigma$

— 好奇心が

私は間違っているとは思わない。ただ、このようにそれについて考える：MSEが実際以来、標本分散で

MSE = {\hat{σ}}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - {\hat{x}}_{i})^{2}

$\mbox{MSE} = \hat\sigma^2 = \frac{1}{n}\sum_{i=1}^n (x_i-\hat x_i)^2$

n

$n$

n - 1

$n-1$

σ

$\sigma$

σ

$\sigma$

The reasoning in the answer by fabee seems correct if applied to the STDE (standard deviation of the error), not the RMSE. Using similar nomenclature, $i=1,\,\ldots,\,n$ is an index representing each record of data, $x_i$ is the true value and $\hat{x}_i$ is a measurement or prediction.

The error $\epsilon_i$ , BIAS, MSE (mean squared error) and RMSE are given by:

ϵ_{i} = {\hat{x}}_{i} - x_{i}, BIAS = \bar{ϵ} = \frac{1}{n} \sum_{i = 1}^{n} ϵ_{i}, MSE = \bar{ϵ^{2}} = \frac{1}{n} \sum_{i = 1}^{n} ϵ_{i}^{2}, RMSE = \sqrt{MSE} .

$\epsilon_i = \hat{x}_i-x_i\,,\\ \text{BIAS} = \overline{\epsilon} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i\,,\\ \text{MSE} = \overline{\epsilon^2} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i^2\,,\\ \text{RMSE} = \sqrt{\text{MSE}}\,.$

Agreeing on these definitions, the BIAS corresponds to the sample mean of $\epsilon$ , but MSE is not the biased sample variance. Instead:

{STDE}^{2} = \bar{(ϵ - \bar{ϵ})^{2}} = \frac{1}{n} \sum_{i = 1}^{n} (ϵ_{i} - \bar{ϵ})^{2},

$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2} = \frac{1}{n}\sum_{i=1}^{n}(\epsilon_i-\overline{\epsilon})^2\,,$ or, if both BIAS and RMSE were computed,

{STDE}^{2} = \bar{(ϵ - \bar{ϵ})^{2}} = \bar{ϵ^{2}} - {\bar{ϵ}}^{2} = {RMSE}^{2} - {BIAS}^{2} .

$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2}=\overline{\epsilon^2}-\overline{\epsilon}^2 = \text{RMSE}^2 - \text{BIAS}^2\,.$ Note that the biased sample variance is being used instead of the unbiased, to keep consistency with the previous definitions given for the MSE and RMSE.

Thus, in my opinion the confidence intervals established by fabee refer to the sample standard deviation of $\epsilon$ , STDE. Similarly, confidence intervals may be established for the BIAS based on the z-score (or t-score if $n<30$ ) and $\left.\text{STDE}\middle/\sqrt{n}\right.$ .

— cvr
ソース

You are right, but missed a part of my answer. I basically assumed that BIAS=0 (see assumption 1). In that case,

R M S E^{2} = S T D E^{2}

$RMSE^2 = STDE^2$ as you derived. Since both

R M S E^{2}

$RMSE^2$ and

B I A S^{2}

$BIAS^2$ are

χ^{2}

$\chi^2$ and there exists a close form solution for the sum of two

χ^{2}

$\chi^2$ RVs, you can probably derive a close form confidence interval for the case when assumption 1 is dropped. If you do that and update your answer, I'll definitely upvote it.

— fabee

Following Faaber 1999, the uncertainty of RMSE is given as

σ (\hat{R M S E}) / R M S E = \sqrt{\frac{1}{2 n}}

$\sigma (\hat{RMSE})/RMSE = \sqrt{\frac{1}{2n}}$ where

n

$n$ is the number of datapoints.

— LKlevin
ソース