本番環境の機械学習モデル

利用可能なラベル付きデータを使用して、モデルが日付にトレーニングされ、トレーニングとテストに分割されたとしましょう。すなわち、t r a i n d t 1、t e s t d t 1です。次に、このモデルが本番環境にデプロイされ、新しい受信データを予測します。一部のX日通過との間に収集された標識されたデータの束が存在するD 、T 1及びD T 1 + X日は、それを呼び出すことができますD A T A $dt1$$train_{dt1}$$test_{dt1}$$X$$dt1$$dt1 + X$$Data_x$。私の現在のアプローチでは、私は外のランダムなサンプルを取る （80/20スプリットを例えばのために取ります）、$DATA_x$

したがって、 のD A T A x = t r a i n x（d t 1でトレーニングされた既存のモデルを微調整するために使用される新しいデータ） 20 ％のD A T A x = t e s t x（新しいt e s t d t 1に追加されたデータ）$80\%$$DATA_x$$train_x$$dt1$$20\%$$DATA_x$$test_x$$test_{dt1}$

この微調整のプロセスは、時間の経過とともに繰り返されます。

これを行うことで、テストセットを拡大し、モデル全体の再トレーニングを回避します（基本的に、モデルが学習した古いデータを破棄できます）。生成された新しいモデルは、古いモデルを微調整したバージョンです。

このアプローチに関して、いくつか質問があります。

1. これを行うことには明らかな欠点がありますか？
2. しばらくすると、モデルを完全に再トレーニングする必要がありますか（以前に学習したことをすべて無視し、新しいトレーニング/テストスプリットでモデルをトレーニングします）、または上記のアプローチを無期限に継続できますか？
3. 既存のデプロイ済みモデルを新しく微調整したモデルと交換するための条件は何ですか？

これは一般的に良いアプローチだと思います。しかしながら：

• モデルの微調整（オンライン学習）は、アルゴリズムとモデルがどれほどうまく機能するかに大きく依存します。アルゴリズムによっては、全体を再トレーニングするのが賢明かもしれません

• サンプルスペースは時間の経過とともに変化する可能性があります。十分なデータがある場合は、数年/週/月ごとに、昨年のデータのみを再トレーニングする方がよいでしょう。古いサンプルが現在の状況を表していない場合、それらを含めると、追加のサンプルよりもパフォーマンスが低下する可能性があります

• 最大の条件は、テストした場合とそれに伴うダウンタイムの程度ですが、一般的にはスワッピングの回数が多いほどよく、これは自動化できます。

それは主に、mlアルゴリズムが行う学習の種類に依存します。オフライン学習の場合：一部のアルゴリズムでは、より良い仮定を生成するために完全なデータが必要になるため、全体を再トレーニングするのが賢明です。オンライン学習：データが到着したときにモデルを更新することで、最新または最新のデータにモデルを微調整できます。