興味深い質問。これは実際には答えではありませんが、コメントするには長すぎます。
これらの理由により、実験デザインに課題があると思います。
1)これは、実際の在庫ピッキングが「現実の世界」で評価される方法を反映していません。極端な例として、ストックピッカーAが1000%上昇した株式を1つ選択し、9%が1%下落し、ストックピッカーBがすべて1%上昇した10株を選択したとします。これらのストックが実際にインデックスの構築に使用された場合、明らかにAはパフォーマンスが優れていますが、Bは実験ではるかに優れています。より経済的に興味深い課題は、ポートフォリオを構築し、そのパフォーマンスをS&P 500のパフォーマンスと比較することです。次に、そのようなパフォーマンスを評価するために一般的に使用される機械があります。 S&Pのポートフォリオに対するポートフォリオの比較。インターセプト用語(「アルファ」と呼ばれることが多い)は、「市場を超える」平均パフォーマンスを測定します。これは線形回帰の係数であるため、必要に応じて95%の信頼区間を構築するのは簡単なことです。次に、これを彼女の銀行がこのサービスに対して請求する料金と比較します。
2)1を無視して、あなたとあなたの両方がすでに実験の形式に同意しているように聞こえるので、これをどのようにゲームするか考えてください。今から1か月後に各株式が現在の価格を上回る確率を教えてくれる魔法の神託があるとします(たとえば)。そうすれば、そのような確率が最も高いn個の銘柄を選ぶことができ、おそらくそれらの50%以上が実際に上昇するでしょう。現在、このような確率はさまざまなオプション価格で(不完全に)エンコードされています。たとえば、いわゆる「バイナリオプション」を購入できます。これは、基本的に「株式Xは日付Zで価格Yを超えます」というイベントでのギャンブルです。このような価格設定は、このイベントの確率を意味します(より近い日付Zが現在に近いものの、これは信頼性が低くなります)。「群衆の知恵」を盲目的にフォローするのに特別な専門知識は必要ないので、このような戦略のパフォーマンスは、特定の実験の「チャンスレベル」と見なされるべきだと主張します。または、選択した銘柄のリストを彼女に提示し、それぞれの予測に対する自信とともに、それぞれが上昇するか下降するかを彼女に示すように指示します。次に、信頼レベルごとにすべての回答をグループ化し、それらがどれだけ密接に一致しているかを確認します(つまり、彼女が90%自信を持っていた株の90%を正しく予測しましたか?)。これを定量化する標準的な方法があります。私はそれが何と呼ばれているかを覚えていませんが、Phil TetlockによるSuperforecastersでそれについて読むことができます。それぞれの予測に対する自信とともに、それぞれが上向きになるか下向きになるかを彼女に示してもらいます。次に、信頼レベルごとにすべての回答をグループ化し、それらがどれだけ密接に一致しているかを確認します(つまり、彼女が90%自信を持っていた株の90%を正しく予測しましたか?)。これを定量化する標準的な方法があります。私はそれが何と呼ばれているかを覚えていませんが、Phil TetlockによるSuperforecastersでそれについて読むことができます。それぞれの予測に対する自信とともに、それぞれが上向きになるか下向きになるかを彼女に示してもらいます。次に、信頼レベルごとにすべての回答をグループ化し、それらがどれだけ密接に一致しているかを確認します(つまり、彼女が90%自信を持っていた株の90%を正しく予測しましたか?)。これを定量化する標準的な方法があります。私はそれが何と呼ばれているかを覚えていませんが、Phil TetlockによるSuperforecastersでそれについて読むことができます。