ランダムなフォレスト回帰でシードを設定して最高の精度を生み出すことは「公正」ですか？

私はsklを使用して構築されたランダムフォレスト回帰を持っていますが、ランダムシードを異なる値に設定すると異なる結果が得られることに注意します。

LOOCVを使用してどのシードが最適に機能するかを確認する場合、これは有効な方法ですか？

cross-validation random-forest

— user2723494
ソース

人々はそれを競技会で行います。しかし、それを正当化するのが難しい学界にとっては。

— Firebug

極端なケースのシナリオについて考えてみましょう。私たちはゲームをプレイします。2つのサイコロを振って、高い額のサイコロを獲得した人が勝ちます。しかし、実際には私は2回サイコロを振ることが許可されています。それはあなたのことですか？ランダムシードの設定は再現可能な研究の不可欠な部分であり、常に実行する必要があることを指摘しておきます。ただし、「好ましいシード」が見つかるまで、さまざまなシードを試す必要があるという意味ではありません。

— usεr11852

@usεr11852現在受け入れられている回答に対する私のコメントをどう思いますか？これがkmeansのようなランダムな再起動と異なるかどうかはわかりません。ランダムな再起動がRの標準関数に組み込まれるまでは、最初の実行を強制的に受け入れる必要があるとは誰も考えていません。モデルではなく、モデルがkmeansを100回実行していると考えない限り単一の最高のクラスタリングである

— jld 2018

いいえ、それは実際のランダム性に対する過剰適合のまさに定義のようです。

— マークホワイト

@シャコンヌ：適切な検証の必要性についてのあなたの主張を完全にサポートします。とは言っても、2つのユースケースには大きな違いがあると思います。k平均（または一般に確率的最適化）の場合、パラメーターの「最適なセット」を探し、CVの場合は「代表的なセット」を考慮します。」初期のケースでは、「どれほど良いことができるか」を示すように努めていますが、後者のケースでは「どのくらい良いか」を示しています。

— usεr11852

答えはノーです。

モデルによって、使用するシードごとに異なる結果が得られます。これは、モデルの非決定的な性質の結果です。検証セットのパフォーマンスを最大化する特定のシードを選択することは、このセットに最適な「配置」を選択したことを意味します。ただし、これは、このシードを持つモデルが別のテストセットでより適切に実行されることを保証するものではありません。これは単に、検証セットでモデルをオーバーフィットしたことを意味します。

この影響が、公開テストセットの競争（たとえば、カグル）で上位にランクされている多くの人々が、隠されたテストセットで落ちる理由です。このアプローチは、決して正しいアプローチとは見なされていません。

— Djib2011
ソース

はい。これが、交差検証が非常に強力な手法である理由であり、検証とテストセットの両方を使用する理由でもあります（1つはモデル選択に基づいて、もう1つは公平な評価を得るためです）。

— Djib2011

私は確信していません。非凸最適化では、シードが異なるとモデルパラメーターの推定値が大きく異なる可能性があるため、ランダムに再起動するのが一般的です。たとえばkmeansの場合、これはよく知られています。偶然にランダムフォレストがあると、モデルが多すぎる準分割を行ってしまう可能性があります。異なる実行が異なるモデルパラメーター推定につながり、実際には他よりも一般化する可能性があることを認識するのは、適切なノイズではないと思います。もちろん、これはすべて、サンプルのパフォーマンスを適切に評価することを条件としています。

— jld

@ user2723494これは、一般化のコストをかけずにパフォーマンスを向上させることを期待しているハイパーパラメータに有効です。ただし、検証セットでパラメーターを何度も微調整しても、私が説明したのと同じ効果が得られます（検証セットにオーバーフィットします）。ランダムシーディングはその性質上確率的であるため、実際により優れたモデルを作成した場合よりも、過剰適合によりパフォーマンスが向上する可能性がはるかに高くなります。

— Djib2011

@シャコンヌそれは不可能だとは言わなかった。しかし、この手順では、種を選択することがはるかに可能性があること、実際に...より良いモデルを作成するよりもoverfits

— Djib2011

正直なところ、私はMLアルゴリズムのシード（およびそれらの確率論的性質からの剥奪）を良い習慣と見なしたことはありません。OPはこれだけを尋ねる新しい質問を作成しました。あなたの返事を読んでみたいです！

— Djib2011