相互検証の実装は結果に影響しますか?


9

ご存じのように、クロス検証には2つの一般的なタイプがあります。K-foldとランダムサブサンプリングです(Wikipediaで説明)。それにもかかわらず、KフォールドCVとして記述されているものが実際にランダムなサブサンプリングである論文を作成し、出版している研究者がいることを知っています。そのため、実際には、読んでいる記事の内容が実際にはわかりません。
通常、違いは目立たないため、私の質問にも当てはまります。あるタイプの結果が別のタイプの結果と大幅に異なる場合の例を考えることができますか?

回答:


4

異なる例でトレーニングするだけで、確かに異なる結果を得ることができます。2つの結果が予測可能な方法で異なるアルゴリズムまたは問題領域があることは、私には非常に疑わしいと思います。


大幅に異なる結果を意味しました。また、少なくとも実際の例では、何もないと思います。それでも、もう少し待つと思います。

3

通常、違いは目立たないため、私の質問にも当てはまります。あるタイプの結果が別のタイプの結果と大幅に異なる場合の例を考えることができますか?

違いがまったく気付かず、その場限りの例でのみそれが顕著になるかどうか、私にはまったくわかりません。相互検証とブートストラップ(サブサンプリング)の両方の方法は、設計パラメーターに大きく依存しており、この理解はまだ完全ではありません。一般に、k分割交差検証内の結果、分割数に大きく依存するため、サブサンプリングで観察した結果とは常に異なる結果を期待できます。

適例:固定数のパラメーターを持つ真の線形モデルがあるとします。k分割交差検証を使用し(与えられた固定kを使用)、観測数を無限大にすると、k分割交差検証はモデル選択に関して漸近的に矛盾します。つまり、 0より確率も大きくはこの驚くべき結果は、「クロスバリデーションによる線形モデルの選択」6月少によるものであるアメリカの統計学会誌88、486から494(1993)が、より多くの論文が、この調子で見つけることができます。

一般に、結果が不変ではないため、立派な統計論文は交差検証プロトコルを指定します。大規模なデータセットに対して多数の折り畳みを選択する場合、モデルの選択におけるバイアスを指摘し、修正しようとします。


いいえ、いいえ、いいえ、それはモデル選択ではなく機械学習についてです。

1
興味深い区別。用語のほとんどすべての意味において、モデルの選択が機械学習の中心であると思いました。
ギャップのある

パラメーターがほとんどなく、yとxがあり、y = x ^ 2かyかを確認したい場合など、パラメーターをデータに当てはめてそれについて何かを説明したい場合は、これらすべてが簡単な(ほとんど線形)モデルで機能します。 = x。ここでは、SVMやRFなど、数千のパラメーターを持つ可能性があり、複雑なヒューリスティックが原因で過剰適合にならないモデルの誤差の推定について説明します。

これらの結果は、任意の数の独立変数を持つ一般的な線形モデルの回帰に有効です。変数は任意の学習者にすることができます。重要な仮定は、観測数が無限大になると、真のモデルを記述する学習者の数は有限のままであることです。これはすべて回帰で機能するので、あなたのような分類タスクでは、それが役立つとは思いません。
ギャップのある

ありません。GLMは機械学習ではありません。真の機械学習手法は、オブジェクトの数の増加とは無関係に、その複雑さのレベルを保持するのに十分賢明です(もちろん、それで十分であれば)。線形モデルであっても、収束が悪いため、この理論全体は非常にうまく機能しません。
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.