RMSEから尤度を計算する


13

いくつかのパラメーターを使用して、軌道(時間の関数としてのx)を予測するモデルがあります。現時点では、予測された軌道と実験的に記録された軌道の間の二乗平均平方根誤差(RMSE)を計算します。現在、シンプレックス(matlabのfminsearch)を使用して、この差(RMSE)を最小化します。この方法はうまく適合しますが、いくつかの異なるモデルを比較したいので、RMSEを最小化するのではなく最尤推定を使用できるように尤度を計算する必要があると思います(そして、AICまたはBICを使用してモデルを比較します) )。これを行う標準的な方法はありますか?

回答:


20

二乗平均平方根誤差と尤度は実際には密接に関連しています。ペアのデータセットがあり、モデルfを使用してそれらの関係をモデル化するとします。二次誤差を最小化することにしました{xi,zi}f

i(f(xi)zi)2

この選択は完全にarbitrary意的ではありませんか?確かに、ほぼ正しい推定値よりも完全に間違っている推定値にペナルティを科します。しかし、二乗誤差を使用する非常に良い理由があります。

ガウス密度を思い出してください: Zは、我々は今のところ気にしないことを正規化定数です。ターゲットデータzがガウス分布に従って分布していると仮定しましょう。したがって、データの可能性を書き留めることができます。1Zexp(xμ)22σ2Zz

L=i1Zexp(f(xi)zi)22σ2

これの対数を取ると...

logL=i(f(xi)zi)22σ2logZ

... rmsと非常に密接に関連していることがわかります。唯一の違いは、定数項、平方根、乗算だけです。

簡単に言えば、二乗平均平方根誤差を最小化することは、データの対数尤度を最大化することと同等です。


明確な説明をありがとう。したがって、BICを使用して2つの(埋め込みでない)モデルを比較したい場合、尤度を計算するときにsigma ^ 2およびZ項(モデル間で事実上同じであると仮定する)を削除できますか?
ジェイソン

σσ

1
logL=i(f(xi)zi)22σ2logZ
対数尤度を線形ので、RMSEが最小化対数尤度に相当し最小限に抑え、RMSEに関連しているので、これは「ボトムライン」に変更されません
ジェイソン・

2
ガウス分布に負の符号がありませんか?
マノジ14年

1
σ
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.