「最適」および相互検証という用語で使用される「最適」の定義は何ですか？

非線形関数を一連の点に当てはめると（各横座標に1つの縦座標しかないと仮定して）、結果は次のいずれかになります。

1. 小さな残差を持つ非常に複雑な関数
2. 大きな残差を持つ非常に単純な関数

通常、クロス検証は、これらの2つの両極端間の「最良の」妥協点を見つけるために使用されます。しかし、「最高」とはどういう意味ですか？それは「最も可能性が高い」ですか？最も可能性の高いソリューションが何であるかをどのように証明し始めますか？

私の内なる声は、CVが何らかの最小エネルギーソリューションを見つけていることを教えてくれます。これにより、統計と物理学の両方で発生するエントロピーについて考えることができます。

複雑さとエラーの関数の合計を最小化することにより、「最適な」適合が生成されるように思えます。

minimising m where m = c(Complexity) + e(Error)

これは理にかなっていますか？関数cとeはどうなりますか？

数学はあまり理解できないので、非数学言語を使って説明してください。

これは素晴らしい質問だと思います。私はそれが正しいことを確認するためにそれをパラフェーズするつもりです：

複雑性ペナルティ関数とエラーペナルティ関数を選択する方法はたくさんあるように思われます。どの選択肢が「最良」です。最良の意味は何でしょうか？$c$$e$

答えは（もしあれば）相互検証を超えた方法になると思います。この質問（および一般的なトピック）がOccamのRazorと科学の基本であるpar約の一般概念とうまく結びついているのが好きです。私は決してこの分野の専門家ではありませんが、この質問は非常に興味深いものです。これらの種類の質問で私が知っている最高のテキストは、マーカス・ハッターによるUniversal Artificial Intelligenceです（質問については質問しないでください。ほとんど読んでいません）。ハッターと数年前の講演に行って、とても感銘を受けました。

どこかに最小エントロピー引数があると考えるのは正しいです（何らかの方法で複雑性ペナルティ関数に使用されます）。ハッターは、エントロピーの代わりにコルモゴロフの複雑さの使用を提唱しています。また、Hutterの「最良」の定義（覚えている限り）は、（非公式に）将来を最もよく予測する（つまり、将来観測されるデータを最もよく予測する）モデルです。彼がこの概念をどのように公式化したかは思い出せません。$c$

より良い答えが他の誰かによって提供されるまで、私は簡単な直感的な答えを（かなり抽象的なレベルで）提供します。

最初に、複雑な関数/モデルは、グローバルに存在しないデータセットのいくつかの局所的特徴（ノイズを考える）を活用するため、より良い適合（すなわち、より低い残差）を達成することに注意してください。

次に、相互検証を実行するときに、データを2つのセット（トレーニングセットと検証セット）に分割します。

したがって、クロス検証を実行すると、複雑なモデルはトレーニングセットのローカルな特徴を活用するため、複雑なモデルはあまりうまく予測できません。ただし、検証セットのローカル機能と比較すると、トレーニングセットのローカル機能が大きく異なり、予測パフォーマンスが低下する可能性があります。したがって、トレーニングと検証データセットのグローバルな特徴をキャプチャするモデルを選択する傾向があります。

要約すると、クロス検証は、データセットのグローバルパターンをキャプチャするモデルを選択し、データセットのローカル機能を活用するモデルを回避することにより、過剰適合から保護します。

一般的な機械学習ビューでは、答えは非常に簡単です。新しいデータを予測するときに最高の精度を持つモデルを構築したい（トレーニング中に見えない）。これを直接テストすることはできないので（将来のデータはありません）、このようなテストのモンテカルロシミュレーションを行います。これは基本的に相互検証の下にある考え方です。

精度についてはいくつかの問題がある場合があります（たとえば、ビジネスクライアントは、ユニットあたり5ユーロのオーバーシュートコストとユニットあたり0.01ユーロのアンダーシュートを述べることができるため、精度は低くてもアンダーシュートモデルを構築する方がよい）分類における真の回答のかなり直感的なパーセントであり、回帰で広く使用されている説明された分散です。

多くの人が優れた答えを持っています。これが私の0.02ドルです。

統計的に言えば、「最適なモデル」または「モデルの選択」を調べるには2つの方法があります。

1可能な限り単純であるが、単純ではない説明（Attrib。Einstein）

- This is also called Occam's Razor, as explanation applies here.
- Have a concept of True model or a model which approximates the truth
- Explanation is like doing scientific research

2予測は、技術開発と同様の関心事です。

- Prediction is the aim, and all that matters is that the model works
- Model choice should be based on quality of predictions
- Cf: Ein-Dor, P. & Feldmesser, J. (1987) Attributes of the performance of central processing units: a relative performance prediction model. Communications of the ACM 30, 308–317.

広範囲にわたる（誤）概念：

モデルの選択は、最適なモデルを選択することと同等です

説明のために、いくつかの（おおよそ）同等に優れた説明モデルが存在する可能性があることに注意する必要があります。シンプルさは、モデルで具体化された概念と、心理学者が一般化と呼ぶもの、モデルが研究されたシナリオとは非常に異なるシナリオで「働く」能力の両方を伝えるのに役立ちます。そのため、いくつかのモデルにはプレミアムがあります。

予測について：（Dr Ripleyの）類推は、専門家の意見を選択することです：専門家の大きなパネルにアクセスできる場合、彼らの意見をどのように使いますか？

クロス検証は、予測の側面を処理します。CVの詳細については、BDリプリー博士によるこのプレゼンテーションを参照してください。ブライアンD.リプリー博士のモデル選択に関するプレゼンテーション

引用：この回答の内容はすべて上記のプレゼンテーションのものです。私はこのプレゼンテーションの大ファンであり、気に入っています。他の意見は異なる場合があります。プレゼンテーションのタイトルは「モデルの大規模なクラスの選択」であり、2004年3月30日、インペリアルカレッジのジョンネルダー生誕80周年のシンポジウムでブライアンD.リプリー博士によって授与されました。

ここでの素晴らしい議論ですが、これまでの答えとは異なる方法で交差検証を考えています（mbqと私は同じページにいます）。だから、私は2セントを入れて、水を濁らせる危険を冒します...

交差検定は、データを近似および予測するモデルの能力において、サンプリングエラーによる変動性とバイアスを評価するための統計的手法です。したがって、「最良」は、最小化の一般化誤差を提供するモデルであり、ばらつきとバイアスの単位になります。BayesianやBootstrap Model Averagingなどの手法を使用して、相互検証作業の結果に基づいてアルゴリズムの方法でモデルを更新できます。

このFAQは、私の意見を伝えるもののより多くのコンテキストのための良い情報を提供します。

エラー関数は、トレーニングデータのモデル（関数）のエラーです。複雑さは、学習しようとしている関数の標準（たとえば、l2の2乗標準）です。複雑さの用語を最小限に抑えることは、基本的に滑らかな関数を支持します。これは、トレーニングデータだけでなくテストデータでもうまく機能します。関数を一連の係数で表す場合（たとえば、線形回帰を行う場合）、2乗ノルムで複雑度にペナルティを課すと、関数の係数値が小さくなります（他のノルムにペナルティを課すと、複雑度制御の概念が異なります）。

$(p,q)\geq 1,\;\lambda>0$

$(1)\;\underset{\beta|\lambda,x,y}{Arg\min.}||y-m(x,\beta)||_p+\lambda||\beta||_q$

に等しい

$(2)\;\underset{\beta|\lambda,x,y}{Arg\min.}||y-m(x,\beta)||_p$

$s.t.$ $||\beta||_q\leq\lambda$

$||\beta||_q\leq\lambda$$q=1,2$$\hat{\beta}$$\hat{\beta}$

$\lambda$$\lambda=\infty$$(x,y)$$(1)-(2)$$\lambda$$\hat{\beta}|\lambda$

$e()=||y-m(x,\beta)||_p$$p=1$$p=2$$m()$