専門家は有害ですか？

「人工知能研究におけるチェスの役割」（pdf）を読んでいて、興味深いことに、

経験[...]は、チェスの専門家からの入力は、一般的には有用ですが、完全には信頼できないことを示唆しています。

これの良い例は、Deep Thoughtの評価関数です。有能な人間のチェスの専門家によるいくつかの変更は、大幅な改善に失敗し、マシンのパフォーマンスに悪影響を与えることさえありました。

ここでは、人間の専門家が彼らの専門知識と一緒に、彼ら自身の偏見をプログラムに導入しました。この問題を解決する1つの方法は、プログラムに許可されるエキスパート入力のタイプと量を制限することです。他の人はほとんど「知識のない」マシンを持っています。

• 現代の研究と実践において、それはどの程度真実ですか？
• それは大きな問題ですか、それともチェスのゲームに特有の何かですか？

これは、エンジニアリングの問題解決に関するものだと思います。成功するエンジニアリングプロジェクトのほとんどは、専門家の推論や専門家の性質を正確に再現するものではありません。彼らは別の方法で問題を解決しました。

たとえば、洗濯機は人間とは異なる手法を使用し、飛行機は鳥とは異なる動力学を使用します。

Expert Reasoningを複製する場合、その入力はすべてです。ただし、異なる手法（高速検索、大量のメモリなど）を使用して同じ問題を解決している場合、それらの入力は役に立ちます。

このような問題は、判断が必要なさまざまな分野で一般的です。

Makridakis、Wheelwright、Hindman Forecasting：Methods and applicationsの「判断の予測と調整」の章には、専門家の判断が時として非常に単純なシステムでさえ不十分であるという同様の話があります。

「Dawes et al（1989） "Clinical vs Actuarial Judgement" Science、Vol 243、No 4899、p1668-74」では、「保険数理」手法と呼ばれる方法に対する医療分野の専門家の判断の失敗について説明しています。統計モデル。

一方、専門家の判断が実務家によって最も重要であると見なされることが多いその分野の特定の問題における専門家の判断の「うるささ」と一貫性については、保険数理文献に論文があります。

Makridakisらは、予測に関連する多くの分野での専門家の判断の失敗について議論しており、かなりの貴重なアドバイスを含んでいます。

などなど。認知バイアスがたくさんあると、人間の専門家は他の皆と一緒に彼らに苦しみます。

専門家が有害であるかどうかの問題は、チェスのゲームに限定される問題ではないことは確かです。

金融政策委員会（MPC）の最適設計に関する文献の興味深い質問は、委員会に中央銀行の正社員ではない外部専門家を含めるべきかどうかです。

これを見通しに入れるために、最初にイングランド銀行のMPCを検討してください。これは、銀行の5人の内部執行メンバーと4人の外部専門家で構成されています。一方、連邦準備銀行は銀行員のみで構成される委員会を採用しています。

イングランド銀行のMPCには、イングランド銀行内部で得た専門知識と追加情報をもたらすと考えられている外部専門家メンバーが含まれています。

それでは、どのMPC設計が優れていますか？専門家ですか、それとも専門家ですか？

さて、この分野の研究はまだ活発であり、ハンセンとマクマホン（2010）によって最近調査されました。「専門家委員会」のこの問題についてさらに読むには、このペーパーで言及されている参考文献を参照することをお勧めします。

これは大きな（重要な）問題ですか？MPCの決定が経済に与える影響を考慮すると、これは非常に重要な問題だと思います！

最後に、理論的には、金融政策の決定をコンピューターに委任できることに言及する必要があります。たとえば、コンピューターは、たとえば単純な金融政策ルールを実装するようにプログラムできます。たとえば、コミットメントの1つ。これにより、金融政策ルールがコンピューターにプログラムされた後、専門家の入力が削除されます。金融政策におけるコンピューターの使用については、Svensson（1999）で言及されています。

参照：スティーブン・エリオット・ハンセンとマイケル・マクマホン、2010年。「外部専門家は委員会に何をもたらすか？イングランド銀行からの証拠」、経済学ワーキングペーパー1238、経済学部、ポンペウ・ファブラ大学。

Lars EO Svensson、1999。「物価安定の時代に金融政策をどのように実施すべきか」、Proceedings、カンザスシティ連邦準備銀行、195〜259ページ。

キーは一貫性だと思います。専門家は、特定の知識だけでなく、その知識が機能するシステムも持っています。彼らには、全体的な戦略であるペルソナがあり、その中に戦術が存在し進化しています。

ある意味では、チェスをするコンピュータープログラムは、さまざまな体（プログラマー、専門家など）のマッシュアップから作成されたフランケンシュタインのモンスターです。したがって、ある専門家のアドバイスが既存のシステムにうまく適合しないことは驚くことではありません。

私は、専門家が彼らが何をするかを知らないかもしれないという他のコメントに同意します。その場合、人間である彼らの意識は、特定の決定に至った理由に関するもっともらしい話を構成します。しかし、プログラミングチームへの専門家のアドバイスは常に文脈から外れている（つまり、プログラムの設計と歴史の文脈と矛盾する）と私は考えています。

編集：ここにも強化バイアスがあるかもしれません。私は強化バイアスを説明する良いリンクを見つけることができませんが、用語を理解する方法は、モデルの以前の結果（通常は間接的に）をターゲットとして使用して、教師ありモデルを更新（修復）するときに得られる効果です。これは確認バイアスに似ていますが、ある程度の間接性を伴います。人間の専門家は、物事に影響を与える可能性のある強化バイアスを持っています。