ブラックボックスとしてのニューラルネットワークの意味？

私はよく、人々がニューラルネットワークを、それが何をするのか、または何を意味するのか理解していないブラックボックスのようなものとして話しているのを聞きます。私は実際、それが何を意味するのか理解できません！バックプロパゲーションがどのように機能するかを理解している場合、それはどのようにブラックボックスですか？

それらは、どのように重みが計算されたのか、何を理解していないのか？

ニューラルネットワークは、任意の関数を近似できますが、その構造を研究しても近似される関数の構造に関する洞察は得られないという意味で、ブラックボックスです。

例として、銀行業でのニューラルネットワークの一般的な使用法の1つは、「良い支払人」と「悪い支払人」に貸し手を分類することです。入力特性$C$（性別、年齢、収入など）のマトリックスと結果Rのベクトル$R$（「デフォルト」、「デフォルトなし」など）があります。ニューラルネットワークを使用してこれをモデル化する場合、数学関数の適切な意味で関数f（C）= Rがあると仮定してい$f(C)=R$ます。この関数fは任意に複雑にすることができ、ビジネスの進化に応じて変化する可能性があるため、手動で導出することはできません。

次に、ニューラルネットワークを使用して、アプリケーションで許容できるエラー率を持つ近似値を作成します。これは機能し、精度は任意に小さくすることができます。ネットワークを拡張し、トレーニングパラメータを微調整し、精度が目標に達するまでより多くのデータを取得できます。$f$

ブラックボックスの問題は次のとおりです。ニューラルネットワークによって与えられる近似では、fの形式に関する洞察が得られません。重みと近似される関数の間に単純なリンクはありません。どの入力特性が無関係であるかの分析でさえ、未解決の問題です（このリンクを参照）。

さらに、従来の統計の観点から見ると、ニューラルネットワークは識別不可能なモデルです。データセットとネットワークトポロジを考えると、異なる重みと同じ結果を持つ2つのニューラルネットワークが存在する可能性があります。これにより、分析が非常に難しくなります。

「非ブラックボックスモデル」または「解釈可能なモデル」の例として、回帰式と決定木があります。最初の要素は、各要素の重要性が明確なfの閉形式近似を提供し、2番目の要素は、いくつかの相対リスク/オッズ比のグラフィカルな説明です。

GoogleはInception-v3を公開しました。これは、画像分類アルゴリズム（猫を犬から話す）のニューラルネットワーク（NN）です。

論文では、彼らは画像分類の現在の状態について話しています

たとえば、GoogleNetが使用したパラメーターは500万個のみであり、6000万個のパラメーターを使用した前のAlexNetに比べて12倍の削減になりました。

そして、それが基本的にブラックボックスのNNを呼び出す理由です。1000万のパラメーターを使用して画像分類モデルをトレーニングし、それをあなたに渡します。それで何ができますか？

あなたは確かにそれを実行し、画像を分類することができます。うまくいきます！ただし、すべての重み、バイアス、およびネットワーク構造を調べても、次の質問に答えることはできません。

• このネットワークは、プードルからハスキーに伝えることができますか？
• アルゴリズムで分類しやすいオブジェクトと、難しいオブジェクトはどれですか？
• 犬のどの部分が正しく分類できるかについて最も重要ですか？尾か足ですか？
• 犬と猫の頭をフォトショップで撮った場合、どうなりますか？

NNを実行して結果（ブラックボックス）を表示するだけで質問に答えることができますが、エッジケースで動作する理由を理解するための変更はありません。