Kaggleコンペティションは偶然に勝っただけですか？

Kaggleコンペティションでは、実施済みのテストセットに基づいて最終ランキングを決定します。

保留テストセットはサンプルです。モデル化されている母集団を代表していない場合があります。各提出は仮説のようなものであるため、競争に勝ったアルゴリズムは、偶然にも、他のアルゴリズムよりもテストセットによく一致する可能性があります。つまり、別のテストセットが選択され、競争が繰り返された場合、ランキングは同じままになりますか？

スポンサー企業にとって、これは実際には重要ではありません（おそらく、上位20件のサブミッションがベースラインを改善するでしょう）。皮肉なことに、彼らはより悪い最初のランクのモデルを使用することになりますは他のトップ5よりもなります。しかし、競争の参加者にとって、Kaggleは最終的にはチャンスのゲームだと思われます。正しいソリューションにつまずくために運は必要ありません。テストセットに一致するものにつまずく必要があります。

統計的に区別できない上位チームがすべて勝つように競争を変更することは可能ですか？または、このグループで、最もpar約的または計算的に安価なモデルが勝つことができましたか？

はい、あなたの推論は正しいです。別のテストセットが選択され、競争が繰り返された場合、ランキングは実際に変更されます。次の例を考えてみましょう。バイナリラベルを使用したKaggleコンテストへのすべてのエントリは、出力を予測するためにランダムに（たとえば、独立して）推測するだけです。偶然にも、予測が行われていない場合でも、そのうちの1人は他の人よりも抵抗に同意します。

これは少し工夫されていますが、提出物の各モデルの分散は、多くのそのようなエントリを適用することが実際にホールドアウトセットのノイズに適合することを意味することがわかります。これは、（個々のモデルの分散に応じて）上位Nモデルがおそらく同じことを一般化することを示しています。これは分岐パスの庭です。ただし、「研究者」は同じではありません（ただし、それは重要ではありません）。

テストセットのトップパフォーマンスと統計的に区別できないすべてのチームが勝つように、競争を変更することは可能ですか？

確かに。

• 1つのアプローチ（実際的ではありません）は、各エントリで特定のモデルの分散を明示的に計算することです。これにより、ホールドアウトパフォーマンスに関するCIが得られます。
• 別のアプローチは、多くの計算を必要とする可能性がありますが、トレーニングおよびテストAPIをすべてのモデルに公開することにより、ホールドアウトパフォーマンスでCIをブートストラップすることです。

Kaggleには他のタイプの競技会にはチャンス要素がありません。たとえば、これはStanta's Stolen Sleighです。

これは離散的な最適化の問題であり、プライベートリーダーボードさえありません。パブリックリーダーボードに表示されるのは最終結果です。

多くの人にとって簡単に始められる教師あり学習と比較すると、この種の競争は本質的に「ハード」です。