「ユージングーストマン」は本当にチューリングテストに合格しましたか?


18

13歳の少年をシミュレートするために開発されたコンピュータープログラムである「Eugene Goostman」は、裁判官の33%が人間であることを納得させ、チューリングテストに合格したと言われています。

チャットボットとも呼ばれるコンピュータープログラムは、英語が第二言語である13歳のウクライナ人のふりをしていました。

私にとって、Eugeneは平凡なチャットボットとまったく同じように聞こえます。反復的で、無意味で、非セキットルが散らばっています。私はそれが裁判官をどのように納得させたのかわかりません(これは専門家ではないようです)。

多くの人々は、「それはナンセンスだ」と「チューリングテストに合格していない。近づいてさえいない」と言ったステバン・ハーナッド教授のようにユージンを批判している。

意見は異なりますが、正式にテストに合格したかどうかを知りたいですか?

それはまた言われています:

一度も受賞したことのない2回限りの賞。25Kは、ジャッジが本物の人間と区別できず、人間がコンピュータープログラムであるとジャッジに納得させることができる最初のチャットボットに提供されます。100,000ドルは、テキスト、視覚、聴覚入力の解読と理解を含むチューリングテストで、裁判官が本物の人間と区別できない最初のチャットボットに対する報酬です。これが達成されると、年次大会は終了します。

Eugeneが25,000ドルを獲得したということですか?


2
ジャッジが自分が状況にあることを知ることは非常に重要です。
するThorbjörnRavnアンデルセン

3
審査員の2/3は、この「ボットは人間ではない」と考えていました。私には、この相互作用の人為的な性質は大多数の裁判官に明らかであったと言っています。これを明確な失敗と呼びます。(さらに「ユージン」「ウォン」の場合-どのように人工の人コレクト実質のお金のビットコイン:-)ん?
ボブ・ジャービス-復活モニカ

サンプルの会話を提供できますか?私は毎日ウクライナ人と交流していますが、彼らが英語を話す方法は簡単に認識できます。
ステファンBijzitter

回答:


18

「公式のチューリングテスト」はないため、「公式にテストに合格する」という概念はありません。チューリングは、人工知能を評価するために使用できる方法論を説明しました。Eugene Goostmanが勝ったイベントの主催者は、特定の方法でその方法論を実装し、プログラムは主催者が選択した基準を満たしました。その意味で、テストに合格しました。

何の「公式チューリングテスト」が存在しないので、ユージンGoostmanが渡されたと言うことは、より適切かもしれないチューリングテストをあるいはチューリングスタイルのテストに合格しました。これは、特にチューリングの名声と「のアイデアを考えると、メディアは、このような機微に拾うとは考えにくいのです公共の良心でチューリングテスト」。


3
それに加えて、ユージン・グーストマンは、チューリングの最初の模倣ゲームでゴミになるでしょう;-)
スティーブ・ジェソップ

9

あなたが言及している賞品はローブナー賞だと思います。ウィキペディアのページ(以前のリンクを参照)によると、2014年の勝者はブルースウィルコックスの「バラ」です。そのプログラムは、1回限りの賞の1つを獲得しませんでしたが、賞金4,000ドルを獲得しました。「Eugene Goostman」は2005年と2008年に出場し、2回ともフィニッシュしました。

「Eugene Goostman」が受賞したコンペティションは、コベントリー大学のケビン・ウォーウィックが主催し、アラン・チューリングが亡くなってから60年を迎えます。賞金については知りません。

競争と問題のプログラムの両方に対するRay Kurzweilの見解をチェックしてください。抜粋:

ワーウィック教授は、このテストは「無制限」であると主張しています。しかし、チャットボットが13歳の子供であり、英語が第一言語ではない子供であると主張することは、事実上制限です。さらに、伝えられるところによると、相互作用はそれぞれ5分に制限されていました。このような短期間でナイーブな裁判官をだましてしまう可能性が高くなります。

私はチャットボットEugene Goostmanとチャットしましたが、感銘を受けませんでした。ユージーンは会話を追跡せず、単語ごとに自分自身を繰り返し、多くの場合、典型的なチャットボットの非セキットルで応答します。

また、これは素晴らしい解説であることがわかりました:WIRED--そのコンピューターは、実際にチューリングテストでFを獲得しました


1
Wiredビットも好きでした。特に「1991年のコンテストでは、PCセラピストというボットが10人中5人の裁判官に人間だと信じさせることができました。」また、「特別な」30%を超えるだましのしきい値について:「チューリングテストの父は、これを知性のしきい値として使用していませんでした。彼は、コンピューターが今後50年になると予測したことを単純に述べていました。 」
フィズ

10
要約すると、Eugeneボットは人間の知性をシミュレートするのではなく、人間の愚かさをシミュレートすることでこのテストに「合格」しました。
夕暮れwuff

2

「元の」チューリングテストの詳細については、Wikipediaリンクを追加します。「チューリングテスト」と呼ばれる多くのテストがあります。ウィキペディアは「少なくとも3つのプライマリバージョン」に言及しています。Eugeeneがパスしたテストは、これらの3つではありません。Eugeeneがパスしたテストは、Alan Turingによって考案されたものではありませんが、Alan Turingに触発されたTuringテストと呼ばれるテストでした。

チューリングテストの少なくとも3つの主要バージョンに言及している部分:

Saul Traigerは、チューリングテストには少なくとも3つの主要なバージョンがあり、そのうち2つは「Computing Machinery and Intelligence」で提供され、もう1つは「Standard Interpretation」と説明していると主張します。「標準解釈」がチューリングによって記述されたものであるか、彼の論文の誤読に基づいたものであるかについていくつかの議論がありますが、これらの3つのバージョンは同等と見なされず、長所と短所は明確です。

バージョン1

チューリングの元のゲームは、3人のプレーヤーが関与する単純なパーティーゲームについて説明しました。プレーヤーAは男性、プレーヤーBは女性、プレーヤーC(尋問の役割を果たす)はどちらの性別でもあります。模倣ゲームでは、プレーヤーCはプレーヤーAまたはプレーヤーBのいずれも見ることができず、書面によるメモを通してのみコミュニケーションをとることができます。プレーヤーAとプレーヤーBに質問することにより、プレーヤーCは、どちらが男性でどちらが女性かを判断しようとします。プレーヤーAの役割は、質問機をだまして誤った決定を下すことであり、一方、プレーヤーBは、質問機が正しい判断を下すのを支援しようとします。

バージョン2

2番目のバージョンは、後でチューリングの1950年の論文に登場しました。オリジナルの模倣ゲームテストと同様に、プレーヤーAの役割はコンピューターによって実行されます。ただし、プレーヤーBの役割は、女性ではなく男性によって実行されます。[...]このバージョンでは、プレーヤーA(コンピューター)とプレーヤーBの両方が、質問機をだまして誤った決定を下そうとしています。

バージョン3

一般的な理解では、チューリングテストの目的は、コンピューターが質問機をだまして人間であると信じることができるかどうかを判断することではなく、コンピューターが人間を模倣できるかどうかを判断することではないということです。この解釈がチューリングによって意図されたものであるかどうかについて若干の論争がありますが、ストレートはそれがそうであると信じており、したがって、第二のバージョンをこれと混同しますが、トレーガーなどの他のものはそうではありません-それにもかかわらず、「標準解釈。」このバージョンでは、プレーヤーAはコンピューターであり、プレーヤーBはどちらの性別の人でもあります。質問機の役割は、どちらが男性でどちらが女性であるかを判断することではなく、どちらがコンピュータであり、どちらが人間であるかを判断することです。標準的な解釈の基本的な問題は、質問機がどの応答者が人間で、どの応答者が機械であるかを区別できないことです。期間については問題がありますが、標準的な解釈では一般に、この制限を合理的なものと見なしています。

対照的に、Eugeeneが合格したテストでは、人間の裁判官がチャットボットと5分間チャットし、その後、ボットかどうかを判断する必要がありました。


0

はい、Alan Turingの元の記述に可能な限り忠実に準拠した「a」チューリングテストを獲得しました。
しかし、これは、アラン・チューリングの説明と仕様が異なるローブナー賞である25000ドルの賞金バージョンではありませんでした。
さらに重要なことは、Alan Turing が最初にこれを本物のテストとすることを意味しなかったため、結果が知性の証明ではないということです。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.