「自己敗北」予測モデルの処理方法

私は大手小売業者のMLスペシャリストによるプレゼンテーションを見ていました。そこでは、在庫切れイベントを予測するモデルを開発していました。

しばらくの間、彼らのモデルが非常に正確になったと仮定しましょう。それはどういうわけか「自己敗北」ではないでしょうか？つまり、モデルが本当にうまく機能していれば、在庫切れイベントを予測して回避することができ、最終的に在庫切れイベントがほとんどまたはまったくない状態になります。しかし、その場合、モデルを実行するのに十分な履歴データがないか、モデルが脱線します。これは、在庫切れイベントを示すために使用されていたのと同じ要因がもはや実行されないためです。

そのようなシナリオに対処するための戦略は何ですか？

さらに、反対の状況を想定することもできます。たとえば、2つのアイテムが実際にはそうでなくても、リコメンダーシステムは、リコメンダーシステムの出力によって駆動されるアイテムペアの売上の増加とともに「自己実現予言」になる場合があります関連。

どちらも、予測子の出力とそれに基づいて実行されるアクションの間で発生する一種のフィードバックループの結果であるように思えます。このような状況にどのように対処できますか？

在庫切れ（OOS）検出モデルが自己破棄する可能性がある2つの可能性があります。

1. 入力とOOSの関係は時間とともに変化する可能性があります。たとえば、プロモーションはOOSの増加につながる可能性があります（プロモーション販売は通常の販売よりも予測が困難です。これは、平均売上の増加だけでなく、売上の分散もあり、「予測困難」はしばしばOOSに変換されるためです）しかし、システムとそのユーザーはこれを学び、プロモーションのために追加の在庫を置くかもしれません。しばらくすると、プロモーションとOOSの間の元の関係は保持されなくなります。

   これはしばしば「モデルシフト」または類似の方法と呼ばれます。モデルを調整することで、それを克服できます。最も一般的な方法は、入力に異なる重みを付けて、古い観測の重みを小さくすることです。

2. 予測変数とOOSの関係が変わらない場合でも、予測変数の分布は変わる可能性があります。たとえば、特定の在庫管理単位（SKU）の販売がゼロの複数の日がOOSを通知する場合がありますが、モデルのパフォーマンスが良好な場合、OOSは全面的に削減され、ゼロ販売のシーケンスはそれほど多くない可能性があります。

   予測変数の分布の変更は問題になりません。モデルでは、OOSの確率が低くなるだけです。

最終的には、おそらくあまり心配する必要はありません。OOSがゼロになることはありません。上記のようなフィードバックメカニズムは発生しますが、OOSが完全に根絶されるまで機能しません。

• 保留中のOOSの中には、単に回避できないものもあります。「私は棚に1つのユニットがあり、おそらく来週に5台の需要に直面するでしょうが、次の配達は今日から1週間だけです。」
• 一部のOOSは、たとえそれらが時間内に知られていれば、たとえ回避可能であっても、予測が非常に困難になります。「フォークリフトからパレットを降ろし、すべての製品を破壊することがわかっていた場合、別の製品を注文していました。」
• 小売業者は、高いサービスレベルを目指す必要があることを理解していますが、100％を達成することはできません。人々が来て、特定の製品の在庫全体を買います。これは予測するのが難しく（上記を参照）、非常にまれであるため、これが発生する可能性のあるチャンスで棚をいっぱいにしたくありません。パレートの法則を比較してください。80％（または90％）のサービスレベルを達成するのは非常に簡単ですが、99.9％ははるかに困難です。一部のOOSは意識的に許可されています。
• ムーアの法則に似たものがあります：MLが良くなればなるほど、より多くの期待が増加し、より困難な人々がモデルのために命を作ります。OOS検出（および予測）アルゴリズムは改善されますが、小売業者は忙しく、私たちの生活をより困難にします。
  • たとえば、バリアントの増殖を通じて。20種類のフレーバーよりもヨーグルトの4つのフレーバーでOOSを検出する方が簡単です。どうして？人々はヨーグルトを5倍も食べないからです 代わりに、ほぼ変わらない合計需要が5倍のSKUに分散され、各SKUの在庫は以前の5分の1になりました。ロングテールは拡大しており、信号は弱くなっています。
  • または、独自のデバイスを使用してモバイルチェックアウトを許可します。これにより、万引きに対する心理的障壁が低くなる可能性があります。そのため、システムインベントリは以前よりもさらに悪化します。もちろん、システムインベントリはおそらくOOSの最適な予測因子であるため、オフの場合、モデルは劣化します。

私はたまたま小売販売の予測に12年以上携わっているので、このような開発について少し考えています。

私は悲観的かもしれませんが、OOS検出以外の他のMLユースケースでも非常によく似た効果が働いていると思います。あるいは、これは悲観的ではないかもしれません。つまり、問題が「解決」されることはほとんどないということです。そのため、数十年後もまだ私たちのために仕事があります。

システムへの介入に関する決定をサポートするためにモデルを使用している場合、論理的には、モデルは特定の介入を条件とする結果を予測しようとする必要があります。次に、個別に最適化して、最良の結果が得られる介入を選択する必要があります。自分の介入を予測しようとはしていません。

この場合、モデルは需要（ユーザーが直接制御しない変数）を予測できます。これは、在庫選択と組み合わせて、在庫切れイベントが発生するかどうかを決定します。これは仕事であるため、需要を正しく予測するために、モデルは引き続き「報酬」を受け取るべきです。在庫切れイベントは、在庫の選択とともにこの変数に依存します。

おそらく、補充イベントがいつ発生するかを追跡できます。次に、在庫を補充するためにモデルが使用されていなかった場合、在庫がいつ枯渇するかを計算するのは、単に計算の問題です。

これは、プラスの在庫レベルが販売レベルに依存しないことを前提としています。コメント者は、この仮定は現実には成り立たないと言っています。私はどちらの方法も知らない-私は小売データセットで仕事をしていません。しかし、簡略化として、私の提案するアプローチでは、反事実的推論を使用して推論を行うことができます。この単純化が意味のある洞察を与えるには非現実的すぎるかどうかはあなた次第です。

あなたのシナリオは、経済学におけるルーカス批評とよく似ています。機械学習では、これは「データセットシフト」と呼ばれます。

@Sycoraxが言うように、明示的にモデル化することでそれを克服できます。

覚えておくべきことの1つは、MLが手段的な目標であることです。最終的に、在庫切れイベントを予測するのではなく、在庫切れイベントを防止する必要があります。在庫切れイベントの予測は、そのための手段にすぎません。したがって、タイプIIエラーに関する限り、これは問題ではありません。OOSEを引き続き使用します。この場合、モデルをトレーニングするためのデータがあります。そうでない場合は、対処するためにモデルが作成された問題が解決されています。問題になる可能性があるのは、タイプIエラーです。クマのパトロールに陥りやすい誤acy、Yを防止するために構築されたシステムXがある場合、Yは表示されないため、XがYを防止すると結論付け、Xをシャットダウンしようとする試みは「しかし、それは非常に良い仕事をしている」 Yを防ぐ！」組織が高価なプログラムに閉じ込められる可能性があるのは、Yが戻ってくるリスクを誰も望んでおらず、その可能性を許さずにXが本当に必要かどうかを見つけるのが難しいからです。

それは、コントロールグループを取得するために、（モデルに応じて）準最適な動作にときどき従事する意思の程度のトレードオフになります。それは積極的な調査の一部です。効果があると思う薬物がある場合、実際に効果があることを確認するために薬物を摂取していない対照群が必要です。