画像の認識と分解（国境の顔、自動車のストリートシーン、不確実な/複雑な状況での意思決定、または部分的なデータによる）など、NNベースのアプローチが多くのAI領域で非常に強力なツールになっていると言うことは、かなり議論の余地がないようです。ほとんどの場合必然的に、これらの使用の一部は、NNベースのAIが人間の負担の一部またはすべてを引き受ける状況に発展し、一般的に人々が一般的に行うよりも優れています。
例としては、自動運転車、医療診断、人間/身元の検証、回路/設計の検証、疑わしいトランザクションアラートのステップとして仮想的に使用されるNNが含まれる場合があります。次の10年かそこらでおそらく多くの分野。
これが発生し、一般的には成功していると見なされているとします（たとえば、人間の医師の65％などに対して診断が80％正しく行われるか、またはNNコンポーネントを含むAIを備えた車が人間が運転する車や代替車よりも8％少ないクラッシュ、または何でも）。
さて-これらの1つが異常にそして真剣に1つのケースで何か非常に間違っていると仮定します。どうすればそれに取り組むことができますか？正式な論理ステップを使用すると、正式な決定プロセスを追跡できますが、NNを使用すると、正式なロジックがない場合があります。特に、それが十分に複雑になると（数十年で）、200億のニューラルプロセッサとそのI / Oの重みしかありません。と接続、命が失われた場合でも、いくつかの事件の原因を特定することができない場合があります。また、システムが継続的に学習する以上のことを言うことは不可能であり、そのような事件はまれです。
私はまた、NNで「ブラックボックス」または同等のフライトレコーダーを実行する意味のある方法を聞いたことがありません。製品の欠陥に対する他の対応とは異なり、イベント後にこのようなケースを修正するためにNNをトレーニングできたとしても、新しいNN設定によって問題が修正されたか、またはそうすることにおける他の問題のリスクとバランス。非常に不透明です。それでも、明らかに、AIアプローチとしては非常に価値があります。
20年後、NNが飛行機の飛行または航空機の設計における（安全で成功したと認められた）コンポーネントであるか、緊急事態を監視するため、または銀行で詐欺を発見するために病院システムに組み込まれ、通常どおり規制および市場の要求が存在し、一般的な市場での年間の良い記録で行われ、可能性があると、その後1ケースでは、そのようなシステムいくつかの時間後に1つの機会にはっきりmisacts -それは危険な誤読道路、生活損傷薬または露骨に誤診を推奨していますか送金される前に偶然に捕まった清算銀行で、2億ポンドのあからさまな不正取引を清算します。
製造業者は、公衆または市場の懸念に対処するために、または事件を説明するために何ができますか？取締役会から「これはどのようにして起こり、修正されたことを確認したのですか」と言われたとき、技術チームは何をしますか？どのような意味のあるログを保持できますか？社会は、不確実性と時折の風変わりな行動が固有である可能性があることを受け入れなければならないでしょうか？または、NNにより適したロギング/デバッグ/決定アクティビティにアプローチするより良い方法はありますか？