データマイニングの新しい革新的な方法は？

次の抜粋は、一貫して成功しているヘッジファンドマネージャーのJaffray WoodriffとのインタビューであるSchwagerのHedge Fund Market Wizzards（2012年5月）からのものです。

「データマイニングで発生する最悪のエラーにはどのようなものがありますか？」：

多くの人は、トレーニングにサンプル内データを使用し、テストにサンプル外データを使用するため、大丈夫だと考えています。次に、サンプル内のデータで実行した方法に基づいてモデルを並べ替え、サンプル外のデータでテストするのに最適なモデルを選択します。人間の傾向は、サンプル外のデータで引き続き成功するモデルを採用し、それらのモデルを取引用に選択することです。このタイプのプロセスは、サンプル外のデータをトレーニングデータの一部に単純に変換します。これは、サンプル外の期間で最高の結果が得られたモデルを選択するためです。これは、人々が犯す最も一般的なエラーの1つであり、通常適用されるデータマイニングがひどい結果をもたらす理由の1つです。

インタビュアーは、「あなたは代わりに何をすべきですか？」

平均して、サンプル外のすべてのモデルが引き続き良好に機能するパターンを探すことができます。サンプル外モデルの平均がサンプル内スコアのかなりの割合である場合、あなたはうまくやっていることがわかります。一般的に、サンプル外の結果がサンプル内の50％を超える場合、実際にどこかに到達しています。SASとIBMが優れた予測モデリングソフトウェアを構築していた場合、QIMのビジネスモデルは機能しませんでした。

私の質問
これは理にかなっていますか？彼はどういう意味ですか？あなたは手がかりを持っていますか？あるいは提案された方法といくつかの参考文献の名前さえありますか？または、この男は誰も理解していない聖杯を見つけましたか？彼はこのインタビューで、彼の方法は潜在的に科学に革命をもたらす可能性があるとも述べています...

これは理にかなっていますか？部分的に。

彼はどういう意味ですか？彼に聞いてください。

あなたは手がかりを持っていますか？あるいは提案された方法といくつかの参考文献の名前さえありますか？

相互検証。http://en.wikipedia.org/wiki/Cross-validation_(statistics）

または、この男は誰も理解していない聖杯を見つけましたか？いや

彼はこのインタビューで、彼の方法は科学に革命をもたらす可能性があるとさえ述べています。

他の「保証」応答があるかどうかはわかりませんが、ここにあります。

相互検証は決して「新しい」ものではありません。さらに、分析ソリューションが見つかった場合、相互検証は使用されません。たとえば、ベータの推定にクロス検証を使用せず、OLSまたはIRLSまたはその他の「最適な」ソリューションを使用します。

引用文の明白に明らかなギャップとして私が見るものは、それらが意味をなすかどうか見るために「最良の」モデルを実際にチェックするという概念への言及ではありません。一般に、優れたモデルは直感的なレベルで意味をなします。CVはすべての予測問題に対する特効薬であるという主張のようです。モデル構造のより高いレベルでの設定をオフ何の話もありません-私たちが使うのですSVM、回帰木、ブースト、バギング、OLSを、GLMS、GLMNS。変数を正規化しますか？もしそうならどのように？変数をグループ化しますか？スパース性に対する堅牢性が必要ですか？外れ値はありますか？データ全体をモデル化するのか、それとも断片化するのか？CVに基づいて決定するにはあまりにも多くのアプローチがあります。

そして、もう1つの重要な側面は、どのコンピューターシステムが利用可能かということです。データはどのように保存および処理されますか？欠落があります-これをどのように説明しますか？

そしてここに大きなものがあります：良い予測をするのに十分なデータがありますか？データセットにない既知の変数はありますか？データは予測しようとしているものを代表していますか？

$K$$K-2$

$n$$p$$n$$p$$n$$p$

データマイニングの一般的なエラーについての彼の説明は賢明なようです。彼がしていることの彼の説明は意味をなさない。「一般的に言えば、サンプル外の結果がサンプル内の50％を超える場合、実際にどこかに到達している」と言うとき、彼は何を意味しますか？そして、口の悪いSASとIBMは、彼をあまり賢く見せません。人々は統計を理解しなくても市場で成功することができ、成功の一部は運です。成功したビジネスマンを予測の第一人者として扱うのは間違っています。

平均して、サンプル外のすべてのモデルが引き続き良好に機能するパターンを探すことができます。

ここでの単語パターンの私の理解は、彼は異なる市場条件を意味するということです。素朴なアプローチでは、利用可能なすべてのデータを分析し（すべてのデータが優れていることを知っています）、最適な曲線近似モデルをトレーニングし、すべてのデータで実行し、常に取引します。

より成功したヘッジファンドマネージャーとアルゴリズムトレーダーは、市場の知識を使用します。具体的な例として、取引セッションの最初の30分はより不安定になる可能性があります。そのため、彼らはすべてのデータでモデルを試してみますが、最初の30分間だけで、すべてのデータでモデルを試しますが、最初の30分間は除外します。最初の30分で2つのモデルがうまくいくことを発見するかもしれませんが、そのうち8つはお金を失います。一方、最初の30分を除外すると、7人のモデルがお金を稼ぎ、3人がお金を失います。

しかし、これらの2つの勝利モデルを取り、取引の最初の30分でそれらを使用するのではなく、彼らは言う：それはアルゴリズム取引にとって悪い時間であり、私たちはまったく取引するつもりはない。残りの時間は、7つのモデルを使用します。つまり、当時の機械学習では市場の予測が容易であるように思われるため、これらのモデルは今後も信頼できる可能性が高くなります。（時刻が唯一のパターンではありません。他のものは通常、ニュースイベントに関連しています。たとえば、主要な経済指標が発表される直前の市場はより不安定です。）

それが彼の言っていることの私の解釈です。それは完全に間違っているかもしれませんが、私はそれが誰かのための思考のためにまだ有用な食べ物であることを願っています。

財務の専門家として、私は声明が曖昧さを提示しないように十分なコンテキストを知っています。金融時系列は、多くの場合、政権交代、構造の破綻、概念のドリフトによって特徴付けられるため、他の業界で実践されているような相互検証は、金融アプリケーションでは成功していません。2番目の部分では、MSEやその他の損失関数ではなく、シャープレシオに対する投資収益率（分子のリターン）のいずれかの財務指標を参照しています。サンプル内戦略が10％のリターンを生み出す場合、実際の取引では、現実的には5％しか生み出さない可能性があります。「革命的な」部分は、引用にではなく、彼独自の分析アプローチに関するものであることは間違いありません。