モデル構築プロセスがインタラクティブだった場合のバックテストまたは相互検証

パフォーマンスをバックテストしたい予測モデルがいくつかあります（つまり、データセットを取得し、それを前の時点に「巻き戻し」、モデルがどのように予測的に実行されたかを確認します）。

問題は、私のモデルの一部がインタラクティブなプロセスを介して構築されたことです。たとえば、フランクハレルの回帰モデリング戦略のアドバイスに従って、1つのモデルで制限された3次スプラインを使用して、機能と応答の間の可能な非線形の関連付けを処理しました。ドメインの知識と関連の強さの一変量の測定値の組み合わせに基づいて、各スプラインの自由度を割り当てました。しかし、モデルに許可したい自由度は、データセットのサイズに明らかに依存します。これは、バックテスト時に大幅に変化します。モデルがバックテストされるたびに自由度を個別に選択したくない場合、他のオプションは何ですか？

別の例として、私は現在、高いレバレッジでポイントを見つけることによる外れ値の検出に取り組んでいます。手作業でこれを実行できた場合は、レバレッジの高い各データポイントを確認し、データがクリーンであることをサニティチェックして、フィルターで取り除くか、手動でクリーンアップします。しかし、これは一連のドメイン知識に依存しているため、プロセスを自動化する方法がわかりません。

（a）モデル作成プロセスのインタラクティブな部分を自動化する一般的な問題に対するアドバイスと解決策、または（b）これら2つのケースに対する特定のアドバイスの両方をいただければ幸いです。ありがとう！

ちなみに、これはSE.DataScienceに適しているかもしれませんが、とりあえずここでは答えます。

ソリューションを実装するスクリプトを書く以外に選択肢がない状況にいるようです。スプラインで作業したことがないので、私のスプラインに関する知識は厳密に理論的なものであるため、ご容赦ください。また、表示されていないものがある場合はお知らせください。

大まかに言えば、これを実装するために解決する必要があるいくつかの異なる項目があるようです。

1.）動的な方法でモデルパラメータを決定する。ドメインの知識と単変量の測定値の組み合わせを使用したと以前に述べました。これは、ヒューリスティックに処理できるように思えます。プログラムで実装する一連のルールについて、最初に同意する必要があります。これらのルールの潜在的な影響についていくつかのハードな思考を行う必要があるため、これは簡単なタスクかもしれません。これには、プロセスのすべてのステップを再検討し、決定だけでなく、それらの決定の背後にある理由もカタログ化する必要がある場合があります。

2.）実際にプログラムを実装する。今後、パフォーマンステストを適切に動的にし、保守と変更を容易にするためには、それをどのように構成するかについて考える必要があります。メインモデルの予測パフォーマンスの見積もりには、ある種のループを使用することをお勧めします。できれば、将来の柔軟性を高めるために、ユーザー定義可能な長さを使用することをお勧めします。また、プログラムで実行するアクションごとに個別の関数を作成することもできます。これにより、機能のテストが容易になり、プログラムの保守と変更が容易になります。少なくとも、データセットの選択（つまり、バックテストの時点で「過ぎた」期間のみ）、クリーニング、および検証（実際に考慮する必要がある）の機能が必要になる可能性があります。

外れ値の検出と処理に関するあなたの質問も、これら2つの懸念に該当します。私は、メインプログラムループ内に小さなループを作成して実装を開始します。それ（繰り返しますが、自分で定義する必要があります）。

これが大きな仕事のように聞こえるなら、それはそれが理由です。この種のタスクを実行するために、人々はソフトウェアライブラリ全体を（時には非常に有利に）作成しました。それを超えて、プロセス、データ構造、これまでに作業を行ったプログラミング言語についての知識がなければ、より具体的なアドバイスを提供することは困難です。

これがあなたにとって便利なものであり、あなたが私にそれを拡張して欲しいと思ったら、コメントして私に知らせてください。そうすれば私はそうするのがうれしいです。

手動のモデル調整作業を自動化する方法を理解しようとするのではなく、モデルバイアスの増加を犠牲にしても、はるかに少ない調整を​​必要とする低分散学習者を調査することで、この問題をすべて回避します。バックテストの結果に自信があり、これは主に予測のサンプリング変動が低いことに帰着します。すでにサンプリング変動自体がある学習者の上にいくつかの自動チューニングプロセスを導入することは、その目標に反しています。尾が犬をここで振っているように見えるかもしれませんが、多くの注意深い調整（手動または自動）を必要とするものは、本当に正直なバックテスト環境IMOにはあまり適していません。