モデルの複雑さの尺度

同じ数のパラメーターを持つ2つのモデルの複雑さをどのように比較できますか？

編集09/19：明確にするために、モデルの複雑さは、限られたデータから学ぶことがどれだけ難しいかを示す尺度です。2つのモデルが既存のデータに等しく適合している場合、複雑度が低いモデルほど、将来のデータに対するエラーが少なくなります。近似値を使用する場合、これは技術的には常に正しいとは限りませんが、実際に正しい傾向がある場合は問題ありません。さまざまな近似が異なる複雑さの尺度を提供します

最小記述長のさまざまな測定値（正規化された最尤法、フィッシャー情報近似など）に加えて、言及する価値のある2つの方法があります。

1. パラメトリックブートストラップ。要求の厳しいMDLメジャーよりも実装がはるかに簡単です。素晴らしい論文は、Wagenmakerと同僚によるものです：
   Wagenmakers、E.-J.、Ratcliff、R.、Gomez、P.＆Iverson、GJ（2004）。パラメトリックブートストラップを使用したモデルの模倣の評価。Journal of Mathematical Psychology、48、28-50。
   要約：

   モデルの模倣を定量化する一般的なサンプリング手順を提示します。これは、競合するモデルによって生成されたデータを説明するモデルの能力として定義されます。パラメトリックブートストラップ交差適合法（PBCM;ウィリアムズ（JR Statist。Soc。B 32（1970）350; Biometrics 26（1970）23）を参照）と呼ばれるこのサンプリング手順は、適合度の差の分布を生成します競合する各モデルの下で期待されます。PBCMのデータ通知バージョンでは、生成モデルには、検討中の実験データをフィッティングすることにより得られた特定のパラメーター値があります。データに基づいた差異分布を、適合度の観測された差異と比較して、モデルの妥当性を定量化することができます。PBCMのデータ非通知バージョンでは、生成モデルには、事前の知識に基づいた比較的広範なパラメーター値があります。通知されたデータと通知されていないデータの両方のPBCMの適用について、いくつかの例を示します。

   更新：単純な英語でのモデルの模倣の評価。競合する2つのモデルのいずれかを使用して、そのモデルのパラメーターセット（データの有無にかかわらず）をランダムに選択します。次に、選択した一連のパラメーターを使用して、このモデルからデータを生成します。次に、生成されたデータに両方のモデルを適合させ、2つの候補モデルのどちらがより適合しているかを確認します。両方のモデルが同等に柔軟であるか複雑である場合、データを作成したモデルのほうがより適しているはずです。ただし、他のモデルがより複雑な場合は、データが他のモデルから生成されたものの、より適切に適合する可能性があります。これを両方のモデルで数回繰り返します（つまり、両方のモデルでデータを生成し、2つのモデルのどちらがより適しているかを調べます）。他のモデルによって生成されたデータを「オーバーフィット」するモデルは、より複雑なモデルです。

2. 相互検証：実装も非常に簡単です。この質問への回答をご覧ください。ただし、これに伴う問題は、サンプルカットルール（leave-one-out、K-foldなど）の選択が原則外であることに注意してください。

実際のモデルフィッティング手順に依存すると思います。一般的に適用可能な尺度として、1998年に記述された一般化された自由度（本質的にはモデル推定値の変化の観測の摂動に対する感度）を考慮できます。これは、モデルの複雑さの尺度として非常にうまく機能します。

最小記述長（MDL）および最小メッセージ長（MML）は、チェックアウトする価値があります。

MDLに関する限り、正規化最尤法（NML）の手順と漸近近似を説明する簡単な論文は次のとおりです。

S. de Rooij＆P.Grünwald。無限のパラメトリックな複雑さを伴う最小記述長モデル選択の経験的研究。Journal of Mathematical Psychology、2006、50、180-192

ここでは、幾何分布とポアソン分布のモデルの複雑さを調べます。MDLの優れた（無料の）チュートリアルはこちらにあります。

別の方法として、MMLとMDLの両方で調べた指数分布の複雑さに関する論文がここにあります。残念ながら、MMLに関する最新のチュートリアルはありませんが、この本は優れたリファレンスであり、強くお勧めします。

最小の説明の長さは、追求する価値のある道かもしれません。

「モデルの複雑さ」とは、通常、モデル空間の豊かさを意味します。この定義はデータに依存しないことに注意してください。線形モデルの場合、モデル空間の豊かさは、空間の縮小によって簡単に測定されます。これは、一部の著者が「自由度」と呼んでいるものです（歴史的には、自由度はモデル空間とサンプル空間の違いのために確保されていました）。非線形モデルの場合、空間の豊かさを定量化することは簡単ではありません。一般化された自由度（arsの回答を参照）は、そのような尺度です。それは確かに非常に一般的であり、木、KNNなどの「奇妙な」モデル空間に使用できます。VC次元は 別の尺度です。

前述のように、この「複雑さ」の定義はデータに依存しません。したがって、同じ数のパラメーターを持つ2つのモデルは、通常、同じ「複雑さ」を持ちます。

ヤロスラヴのコメントからヘンリックの答えまで：

しかし、相互検証は複雑さを評価するタスクを延期するようです。相互検証のようにデータを使用してパラメーターとモデルを選択する場合、関連する質問は、この「メタ」フィッターが適切に機能するために必要なデータ量をどのように推定するかです。

$k$$k$$k$$CV(k)$$k$$k$

手順の結果は、サンプルの予測エラーの違いの観点（単位）に直接関係しているため、これに「重要」なフレーバーを与えることもできます。

モデル比較の情報基準はどうですか？例：http : //en.wikipedia.org/wiki/Akaike_information_criterion

ここで、モデルの複雑度は、モデルのパラメーターの数です。