機械学習モデルがブラックボックスと呼ばれるのはなぜですか？

私は、金融界がAIのブラックボックスを開きたいというタイトルのこのブログ記事を読んでいました。著者はMLモデルを「ブラックボックス」と繰り返し呼んでいます。

MLモデルを参照する場合、いくつかの場所で同様の用語が使用されています。なぜそうですか？

MLのエンジニアがニューラルネットの内部で何が起こっているのかを知らないわけではありません。すべてのレイヤーは、使用するアクティベーション関数、そのタイプのレイヤーが何をするか、エラーがどのように伝播されるかなどを知っているMLエンジニアによって選択されます。

ブラックボックス事は（観客がヒトである限り）観客の専門知識のレベルとは何の関係もありませんが、とexplainability機械学習アルゴリズムによってモデル化された機能の。

ロジスティック回帰では、入力と出力の間に非常に単純な関係があります。特定のサンプルが誤ってカタログ化された理由を理解できる場合があります（入力ベクトルの特定のコンポーネントの値が低すぎるなど）。

デシジョンツリーにも同じことが当てはまります。ツリーによって適用されるロジックに従って、特定の要素が1つのクラスまたは他のクラスに割り当てられた理由を理解できます。

ただし、ディープニューラルネットワークはブラックボックスアルゴリズムの典型的な例です。誰も、世界で最も専門的な人でさえ、ニューラルネットワークを訓練することによって実際にモデル化される機能を理解していません。これについての洞察は敵対的な例によって提供できます：トレーニングサンプルのわずかな（そして人間には気付かない）変化は、ネットワークをまったく異なるラベルに属していると考えるように導く可能性があります。敵対的な例を作成する手法と、それらに対する堅牢性を向上させる手法があります。しかし、ネットワークによってモデル化されている関数のすべての関連プロパティを実際に誰も知らない場合、それらを作成する新しい方法を見つけることは常に可能です。

人間もブラックボックスであり、敵の例にも敏感です。

ほとんどのポイント（+1）でncasasの回答に同意しますが、いくつかの点で異なるようにお願いします：

• デシジョンツリーは、ブラックボックスモデルとしても使用できます。実際、ほとんどの場合、ブラックボックスモデルとして使用されています。10,000の機能と50の深さのツリーがある場合、人間がそれを理解することを合理的に期待することはできません。
• ニューラルネットワークを理解できます。多くの分析手法があります（モデルの改善を目的とするものについては、私の修士論文の2.5章を参照してください）。特にオクルージョン分析（図2.10）、フィルターの視覚化（図2.11）。また、なぜあなたを信頼する必要がありますか？紙（私のメモ）。

ファンシーオクルージョン分析によるブラックボックスモデルの予測の説明（「なぜあなたを信頼する必要があるのか​​？」）：

私はモデル解釈の神話を指摘したいと思います。解釈可能性に関するいくつかのアイデアを簡潔に定式化します。

あなたの質問

機械学習モデルがブラックボックスと呼ばれるのはなぜですか？

人々がそれを使用する方法：彼らは、人間が与えられた入力に対して何が起こるかを直接言うことを可能にする方法で問題をモデル化しないからです。

個人的な考え

この「ブラックボックスモデル」の概念はあまり意味がないと思います。たとえば、天気予報を考えます。データが与えられた場合に、どの天気が予測されるかを人間が言うことを期待することはできません。しかし、ほとんどの人は、物理的な気象モデルがブラックボックスモデルであるとは言いません。それで、違いはどこにありますか？1つのモデルがデータを使用して生成され、もう1つのモデルが物理学への洞察を使用して生成されたという事実だけですか？

人々がブラックボックスモデルについて話すとき、彼らは通常それが悪いことであるかのようにそれを言います。しかし、人間もブラックボックスモデルです。私がここで見る重大な違いは、人間が犯すエラーのクラスは人間にとって予測しやすいことです。したがって、それはトレーニングの問題（NN側の副次的な例）および教育の問題（NNの仕組みを人間に教える）です。

「ブラックボックスモデル」という用語の使用方法：私にとってより理にかなっているアプローチは、問題を「ブラックボックス問題」と呼ぶことです。これは、user144410（+1）の記述と同様です。したがって、問題をブラックボックスとして扱うだけのモデル（つまり、入力を入れて出力を得ることができるもの）は、ブラックボックスモデルです。問題についての洞察（仮定するだけではない！）を持つモデルは、ブラックボックスモデルではありません。洞察の部分はトリッキーです。すべてのモデルは、モデル化できる機能に制限を設けます（はい、普遍的な近似問題について知っています。固定サイズのNNを使用している限り、適用されません）。問題を突き出さずに（データを見ずに）入力と出力の関係について何かを知っていれば、何かが問題に対する洞察だと思います。

これから何が続きます：

• ニューラルネットワークは非ブラックボックス（ホワイトボックスですか？）
• ロジスティック回帰はブラックボックスモデルにすることができます。
• モデルに関するものではなく、問題とそれに関するあなたの洞察に関するものです。

モデルの解釈可能性と説明可能性に帰着します。より単純なモデルの出力が与えられると、各入力がどのようにモデル出力に貢献するかを正確に特定することができますが、モデルが複雑になるにつれてそれはより難しくなります。たとえば、回帰では係数を指定でき、決定木では分割を識別できます。また、この情報を使用して、モデルの動作を説明するルールを導出できます。

ただし、モデルパラメーターの数が増えると、入力のどの組み合わせが最終的なモデル出力につながるかを正確に説明したり、モデルの動作からルールを導出したりすることがますます難しくなります。COOがやって来て、「だから、なぜあなたの高頻度取引のアルゴリズムが経済を壊したのか」と尋ねたとき、金融業界で言ってください。モデルがどのように構築されたかを述べることは可能ですが、入力としてモデルが受け取った要因のどの組み合わせが出力につながったかを説明することは不可能かもしれません。それが人々がブラックボックスについて話している理由です。

ブラックボックスモデルとは、物理法則や科学法則に依存することなく、可能な限り一般的かつ柔軟になるように方程式が選択された数学モデルを指します。

グレーボックスモデルは、方程式の一部（数学関数）が物理的な既知の法則に由来する数学モデルですが、残りの部分は、説明されていない部分を補う一般的な関数と見なされます。

ホワイトボックスモデルは、物理的な法則とシステムの理解に基づいて完全に構築された数学モデルであり、たとえば機械的運動の法則（航空機のモデルなど）

参照：https : //en.wikipedia.org/wiki/Mathematical_model#A_priori_information

ブラックボックスは、ご存知かもしれませんが、入力と出力のシグネチャは知っているが、入力から出力を決定する方法がわからない関数を指します。

この場合、用語の使用は不正確にバズワード化されています。作家/著者のMLモデルを知り理解する意欲や能力を超えているかもしれませんが、それは他の人の意欲や能力を超えているという意味ではありません。各MLモデルを作成するエンジニアは、それがどのように機能するかを正確に知っており、意思決定ツリーを自由に引き出してそれを歩くことができます。誰かが怠けすぎたり、そうするのに時間がかかるからといって、その情報がすぐに利用できないわけではありません。

MLモデルはブラックボックスではなく、本当に大きなクリアボックスです。

MLエンジニアは、ニューラルネットの内部で何が起こっているのかわかりません

矛盾してすみませんが、本当です。彼らはニューラルネットワークがどのように学習するかを知っていますが、与えられたニューラルネットワークが何を学んだかを知りません。ニューラルネットワークによって学習されたロジックは、悪名高く知られています。

機械学習を使用するポイントは、通常、プログラマーまたはドメインエキスパートが考えないルールを学習することです。これを理解することは本質的に困難です。

これは、1文字の変数名、コメントなし、明確な構造なしで、あいまいな数学を使用して、現在は死んでいる誰かが書いた従来のコンピュータープログラムに似ています。デバッガでステップスルーできますが、それがどのように機能するかはまだ明確ではありません。

まれに、誰かがニューラルネットワークの機能を理解するのに苦労します。たとえば、min-conflictsアルゴリズムは、N-queens問題でトレーニングされたニューラルネットワークを分析することで発見されました。しかし、それは多くの作業です。

質問で引用されたブログ投稿では、金融で機械学習モデルを開発する専門家が、顧客（機械学習のトレーニングを受けていない金融業者）にモデルがどのように決定を下すかを説明できないという事実について議論しています。

これは、（例えば、係数はタンパープルーフFPGAで符号化された）とモデル開いていることを本当に秘密情報のブラックボックスであるモデル間の区別をもたらすが、理解しない（係数は知られているという意味で）に特定の聴衆。

後者の種類の「ブラックボックス」は、顧客が構築したモデルが「顔の妥当性」を持っていることを安心させたいと思うため、問題があります。ロジスティック回帰などの他のタイプのモデルでは、係数を見て、期待されるプラス記号またはマイナス記号があることを確認するのは比較的簡単です。数学的に知識のないMBAでもそれを理解できます。

機械学習はブラックボックスと見なすことができ、ニューラルネットワークを使用したXOR問題のソリューションをモデル化できますが、入力の数が増えると、複雑さと次元もモデル化できます。理解して説明するのが複雑すぎる場合、結果を計算できるかどうかにかかわらず、それはブラックボックスです

それらは3次元までしか認識できませんが、3Dモデルを参照点として使用してこれをより高い次元に外挿できるため、これで十分です。局所的な最小値と、部分的に学習されたデータセットの一部を想像できます。

私はしばらくの間このアイデアをいじっていたので、仕事中のニューラルネットワークのアニメーションを作成し、ニューラルネットワークの理解を深めました。私は、1つと2つの隠しレイヤー（3番目はほとんど行われます）を使用してアニメーションを作成し、それらがデータを学習する方法を説明しました。

アニメーションは遅く、上のレイヤーを表示する右上のアニメーションは見る価値があります。必要に応じてYoutubeでアニメーションを高速化できます。 6分で赤のメッシュ、8：20で青、オレンジ、赤のメッシュ。重量変化の方向は明らかに左下のアニメーションにあります

https://www.youtube.com/watch?v=UhQJbFDtcoc

このように使用されるブラックボックスの概念は、ソフトウェアおよびハードウェアの品質保証におけるブラックボックステストに由来すると思います。それは、あなたがテストしないことを選択するか、あるいはテストしているものの内部動作を調べて見ることができない場合です。それには理由があるかもしれません

1. それを覗くのは非現実的または不可能です（密閉された環境にあり、私たちは単にそれを見ることができません）-しかし、それはそうかもしれません

2. なぜなら、内部を見ることができれば、安っぽいテストを書く可能性が大きくなるからです。「合格するように設計されたテストを書く」（意図の有無にかかわらず）リスクが大きくなります。

テスト対象のものに合わせてテストを作成し、実際に何かを見つける可能性を低くします。

熟練したシグナルエンジニアがニューラルネットワークの内部動作を覗き込んで、特定のトレーニングシーケンスでどの機能が選択されているかを確認することは完全に可能です。

ブラックボックスメソッドは、「未経験者」に説明するのが困難です。金融やその他の分野の誰でも、回帰の基本や決定木さえも把握できます。サポートベクターマシンハイパープレーンとニューラルネットワークシグモイド関数について話し始めると、ほとんどの聴衆を失います