ネストされた相互検証後に最適なハイパーパラメーターを取得するにはどうすればよいですか？

一般的に、大きなデータセットがある場合は、（1）トレーニング、（2）検証、（3）テストに分割できます。検証を使用して相互検証（SVMのCなど）で最適なハイパーパラメーターを特定し、トレーニングセットで最適なハイパーパラメーターを使用してモデルをトレーニングし、トレーニングされたモデルをテストに適用してパフォーマンスを取得します。

データセットが小さい場合、トレーニングとテストセットを作成できません（サンプルが不十分）。したがって、モデルのパフォーマンスを評価するために、交差検証（k-fold、leave-one-outなど）を行います。

ネストされた交差検証（繰り返しまたは層別）が小さなデータセットの設定で使用されていることを確認しました。つまり、パラメーター選択を最適化しながら一般化モデルのパフォーマンスを生成します。私の質問は、ネストされた交差検証で最高のハイパーパラメーターを取得するにはどうすればよいですか（繰り返される/繰り返されない）？ 可能であれば、scikit-learnでこれを行うことに興味があります。私はそれを行う方法について少し混乱しています。

私はいくつかのリソースを読みましたが、この質問に対する明確な答えはありませんでした。

モデル選択のためのネストされた相互検証

入れ子の交差検証と機能選択：機能選択を実行するタイミング？

概観

以下のよう@RockTheStarが正しく論評で締結し、ネストされたクロスバリデーションは、モデルのパフォーマンス推定値にアクセスするためにのみ使用されます。それとは切り離されており、最適なハイパーパラメーターを見つけるために、データ全体を相互検証して簡単な調整を行う必要があります。

詳細に：

調整と検証（内部および外部の再サンプリングループ）

ハイパーパラメーター調整を実行する内部ループでは、モデルはトレーニングデータでトレーニングされ、検証データで検証されます。最適なパラメーターを見つけ、内部ループデータ全体でモデルをトレーニングします。検証データのパフォーマンスを最適化するようにトレーニングされていますが、評価は偏っています。

したがって、このモデルはテストデータを使用してテストされるので、できればバイアスがなく、パフォーマンスの見積もりが得られます。

最終モデル

モデルの予想されるパフォーマンスがわかったので、すべてのデータでモデルをトレーニングする必要があります。ただし、モデルは単なるアルゴリズムではなく、モデル構築プロセス全体です。

したがって、すべてのデータと内部ループの同じ仕様でハイパーパラメーター調整を実行します。最適なハイパーパラメータを使用して、データ全体で最終モデルをトレーニングします。この最終モデルの期待されるパフォーマンスは、ネストされた交差検証で以前に評価したものです。

繰り返しになりますが、最終モデルのハイパーパラメーターは、チューニングと検証のステップで見つけたパフォーマンスを期待できるものです。