予測パフォーマンスは、方法よりもデータアナリストの専門知識に依存していますか？

予測モデルのパフォーマンスは、メソッドの選択よりも、選択したメソッドを使用するデータアナリストの専門知識に依存しているという調査結果があるという噂があります。
言い換えれば、データ分析者が選択された方法に精通していることが、より理論的な観点から問題に対してどのように「適切」に見えるかよりも重要であるという主張です。

これはケモメトリックスのコンテキストで言及されており、通常、多くの変量（100から1000 s）、多重共線性、そしてもちろんサンプルが少なすぎるという問題を伴います。予測は分類または回帰である可能性があります。

私の個人的な経験は、これはもっともらしいことを示唆しているが、研究が言及された（私はそれを電子メールでそれを言及した人に素早くしかし失敗した検索の後に尋ねたが、何の答えも受け取らなかった）。しかし、より精巧な検索でも、論文を追跡することはできませんでした。

誰もそのような発見を知っていますか？そうでない場合、ここのBig Guysの個人的な経験は何を言いますか？

実際、私は人間の傾向がバイアスを犠牲にして分散を最小化することであるため、まともな学習マシンは通常エキスパートよりも優れているという噂を聞きました（過剰な平滑化）。これにより、新しいデータセットの予測パフォーマンスが低下します。マシンはMSEを最小化するように調整されているため、新しいデータセットでの予測に関してはより良い結果をもたらす傾向があります。