科学者や研究の専門家は、少なくとも数百万の接続が瞬時に発火する複雑な「ディープ」ニューラルネットワークの内部で何が起こっているかを台所から知っていますか？彼らはこの背後にあるプロセスを理解していますか（例えば、内部で何が起こっているのか、どのように正確に機能するのか）、それとも議論の対象ですか？
たとえば、この調査では次のように述べています。
ただし、それらがなぜそれほどうまく機能するのか、またはどのように改善されるのかについての明確な理解はありません。
それで、これは科学者が実際に複雑な畳み込みネットワークモデルがどのように機能するかを知らないことを意味するのでしょうか？
回答:
訓練されたニューラルネットワークをより解釈しやすく、「ブラックボックス」のようにならないようにすることを目的とする多くのアプローチがあります。具体的には、前述の畳み込みニューラルネットワークです。
アクティベーションの視覚化は、最初の明白でわかりやすいものです。ReLUネットワークの場合、通常、アクティベーションは比較的にぎやかで密集しているように見えますが、トレーニングが進むにつれて、アクティベーションは通常より疎になり（ほとんどの値はゼロ）、ローカライズされます。これは、画像を見たときに特定のレイヤーが正確に焦点を合わせていることを示す場合があります。
私が言及したい活性化に関する別の素晴らしい仕事は、プーリング層や正規化層を含む各層のすべてのニューロンの反応を示すディープビスです。彼らがそれをどのように説明するかは次のとおりです。
要するに、ニューロンが学習した機能を「三角測量」できるようにするいくつかの異なる方法を集めました。これは、DNNの仕組みをよりよく理解するのに役立ちます。
2番目の一般的な戦略は、重み（フィルター）を視覚化することです。これらは通常、生のピクセルデータを直接見る最初のCONVレイヤーで最も解釈しやすくなりますが、ネットワーク内でフィルターの重みをより深く表示することもできます。たとえば、最初のレイヤーは通常、基本的にエッジとブロブを検出するガボールのようなフィルターを学習します。
これがアイデアです。ConvNetが画像を犬として分類するとします。背景やその他のさまざまなオブジェクトからの文脈上の手がかりとは対照的に、画像内の犬を実際に拾い上げていることをどのように確認できますか？
分類予測が画像のどの部分に由来するかを調べる1つの方法は、対象クラス（犬のクラスなど）の確率をオクルーダーオブジェクトの位置の関数としてプロットすることです。画像の領域を反復処理し、すべてゼロで置き換えて分類結果を確認すると、特定の画像のネットワークにとって最も重要なものの2次元ヒートマップを作成できます。このアプローチは、Matthew Zeilerの畳み込みネットワークの視覚化と理解（質問で参照）で使用されています。
別のアプローチは、特定のニューロンを発火させる画像を合成することです。これは基本的にニューロンが探しているものです。考え方は、重みに関する通常の勾配の代わりに、画像に関する勾配を計算することです。そのため、レイヤーを選択し、1つのニューロンに1つを除いてグラデーションをすべてゼロに設定し、画像にbackpropします。
Deconvは、実際にはガイド付き逆伝播と呼ばれる処理を実行して、見栄えの良い画像を作成しますが、それは単なる詳細です。
Andrej Karpathyによるこの投稿を強くお勧めします。彼はRecurrent Neural Networks（RNN）で多くの役割を果たしています。最後に、彼は同様の手法を適用して、ニューロンが実際に学習することを確認します。
この画像で強調表示されているニューロンは、URLに非常に興奮しており、URL以外ではオフになっているようです。LSTMはこのニューロンを使用して、URL内にあるかどうかを記憶している可能性があります。
この研究分野での結果のほんの一部に言及しました。それはかなり活発で、ニューラルネットワークの内部の仕組みに光を当てる新しい方法が毎年登場します。
あなたの質問に答えるには、科学者がまだ知らないことは常にありますが、多くの場合、彼らは内部で起こっていることの良い絵（文学）を持ち、多くの特定の質問に答えることができます。
あなたの質問からの引用は、精度の向上だけでなく、ネットワークの内部構造の研究の重要性を強調しているだけです。Matt Zielerがこの講演で述べているように、優れた視覚化により、精度が向上する場合があります。
短い答えはノーです。
モデルの解釈可能性は、現在の研究の非常に活発で過熱した分野です（聖杯などを考えてください）。これは、特にさまざまなタスクでのディープラーニングモデルの（大規模な）成功によって最近もたらされました。これらのモデルは現在ブラックボックスのみであり、私たちは自然にそれを不快に感じています...
以下は、このテーマに関する一般的な（そして2017年12月現在の）リソースです。
Scienceの最近の（2017年7月）記事では、現状と研究の概要を説明しています：AI探偵がどのようにディープラーニングのブラックボックスをクラックしているのか（テキスト内リンクはありませんが、名前と用語はグーグルで報われます）
DARPA自体は現在、Explainable Artificial Intelligence（XAI）でプログラムを実行しています
上のNIPS 2016年のワークショップがありました複雑系のための解釈機械学習、同様に解釈できる機械学習上のICML 2017チュートリアルにより、関係者キム・グーグル脳のは。
そして、より実用的なレベル（コードなど）で：
GoogleのWhat-Ifツール、オープンソースTensorBoard Webアプリケーションの真新しい（2018年9月）機能。ユーザーはコードを記述せずにMLモデルを分析できます（プロジェクトページ、ブログ投稿）
ニューラルネットワークのレイヤー単位の関連性伝搬（LRP）ツールボックス（論文、プロジェクトページ、コード、TF Slim wrapper）
FairML：Cloudera Fast Forward Labsによるブラックボックス予測モデルの監査（ブログ投稿、論文、コード）
独立したPyTorch実装を使用した、Geoff Hintonによる非常に最近（2017年11月）の論文、「Distilling a Neural Network Into a Soft Decision Tree」
Lucid、Googleによるニューラルネットワークの解釈可能性の研究のためのインフラストラクチャとツールのコレクション（コード ;論文：Feature Visualization、The Building Blocks of Interpretability）
SVCCA：深層学習のダイナミクスと解釈可能性のための特異ベクトル正準相関分析（論文、コード、Googleブログ投稿）
TCAV：Concept Activation Vectorsを使用したテスト（ICML 2018論文、Tensorflowコード）
グラッド-CAM：グラデーションベースのローカライズを介したディープ・ネットワークからのビジュアル解説（紙、著者のトーチコード、Tensorflowコード、PyTorchコード、Kerasの例ノート）
ネットワーク解剖：深層視覚表現の解釈可能性の定量化、MIT CSAIL（プロジェクトページ、Caffeコード、PyTorchポート）
GAN解剖：生成的敵対ネットワークの視覚化と理解、MIT CSAIL（プロジェクトページ、ペーパーとコードへのリンク付き）
最近、ディープラーニングニューラルネットのより理論的な基礎の構築を開始することに関心が寄せられています。これに関連して、著名な統計学者および圧縮センシングの先駆者であるデビッド・ドノホはごく最近（2017年秋）、スタンフォード大学で深層学習の理論（STATS 385）のコースの提供を開始しました。強くお勧めします...
更新：
これがあなたが探しているものかどうかはわかりませんが、グーグルはホワイトノイズを与えられたときにネットワークから画像を抽出しました。
Inceptionism：Goinging Deeping into Neural Networks（Google Research Blog）を参照してください。
この種類は、ネットワークが知っていることを表しています。
特定の引用が手に入らないのではないかと思いますが、Andrew NgやGeoffrey Hintonのような専門家による引用を見て、聞いたことがあります。つまり、それらがどのように機能するのかを理解しています（たとえば、逆伝播の背後にある数学）が、なぜ機能するのかは実際にはわかりません。それはちょっとした区別ですが、重要なのは、いや、たくさんの重りから、ボールで遊んでいる猫を認識するまでの正確な道のりの非常に深い詳細を理解していないということです。
少なくとも画像認識に関して言えば、私が聞いた最高の説明は、ニューラルネットワークの連続した層が、以前のレベルのよりきめ細かい特徴で構成される、より洗練された特徴を学習するということです。つまり、最初のレイヤーは「エッジ」または「直線」を認識する場合があります。次のレイヤーは「ボックス」や「トライアングル」などの幾何学的形状を学習し、上位のレイヤーはそれらの以前の機能に基づいて「鼻」または「目」を学習し、それから上位のレイヤーは「顔」を学習します「目」、「鼻」、「顎」などからアップします。しかし、それでも、私が理解しているように、それでも仮説であり、完全に詳細に理解されていません。
以下は、深層学習の背後にある理論とは何かという質問に対するCarlos E. Perezによる回答です。
[...]
ディープラーニングの基礎となる数学は数十年にわたって存在していましたが、今日見られる印象的な結果は、ハードウェアの高速化、データの増加、メソッドの漸進的な改善の結果です。
ディープラーニングは一般に、目的がモデルエラーの関数である最適化問題として組み立てることができます。この最適化問題は、モデルのパラメータ空間（ニューラルネットワークの重み）が非常に高次元の問題につながることを考えると、解決するのが非常に困難です。最適化アルゴリズムは、この領域を探索するのに非常に長い時間がかかる可能性があります。さらに、問題は非凸であり、計算は永久に極小にとどまるという未検証の信念がありました。
[...]
機械が実際にアトラクタに収束する、つまり言い換えると複雑なパターンの認識を学習する理由の理論はまだ不明です。
要約すると、いくつかのアイデアがありますが、私たちはよくわかりません。
科学者は、人工ニューラルネットワークの内部で何が起こっているかを知っていますか？
科学者や研究の専門家は、少なくとも数百万の接続が瞬時に発火する複雑な「ディープ」ニューラルネットワークの内部で何が起こっているかを台所から知っていますか？
「キッチンから知る」とは「詳細に知る」ということですか？
一連のアナロジーを挙げましょう。
悪魔は詳細にありますが、ここで重要な点は、人工構造物に関することです。それらはランダムに表示されません。有用なものを得るには多くの知識が必要です。ニューラルネットワークの場合、重要なアイデア（Rosenblatt perceptron、1957）の公開から最初のアプリケーション（US Postal Service、1989）に約40年かかりました。そこから再び、13年にわたる実に印象的なシステムへの積極的な研究が行われました（ImageNet 2012）。
私たちが非常によく知っているのは、トレーニングの仕組みです。実装する必要があるからです。そのため、非常に小さな構造では、詳細に把握しています。
コンピューターについて考えてください。チップ設計者は、チップの動作方法をよく知っています。しかし、彼らはLinuxオペレーティングシステムがどのように機能するかについて非常に大まかな考えしか持たないでしょう。
別の例は物理学と化学です：物理学は宇宙の中核的な力を説明します。それは彼らが化学についてもすべて知っているということですか？地獄いや！「完璧な」物理学者は、化学のすべてを説明できますが、ほとんど役に立たないでしょう。彼はもっと多くの情報を必要とし、無関係な部分をスキップすることはできません。単に彼が「ズームイン」しすぎたためです-実際には面白くも重要でもない詳細を考慮します。物理学者の知識は間違っていないことに注意してください。たぶん、それから化学者から知識を推測することさえできます。しかし、分子相互作用のこの「高レベル」理解は欠落しています。
これら2つの例から得られる重要な洞察は、抽象化レイヤーです。単純な構造から複雑さを構築できます。
ほかに何か？
私たちは、設計したニューラルネットワークで原則として何が達成できるかをよく知っています。
ああ、もちろん、ニューラルネットワークの分析的アプローチもあります。畳み込みニューラルネットワークアーキテクチャの分析と最適化に関する修士論文を執筆しました。このコンテキストでは、LIME（Local Interpretable Model-Agnostic Explanations）が便利です。
私は何かを追加したかっただけです：
それはあなたが科学者によって何を意味するかに依存します：
私は電気工学の博士課程の学生であり、回帰、予測制御、適応制御、分類の問題など、ANNで非常に多くの研究者が働いているのを見ました。
あなたがスキルをコーディングでの不足が大きな欠点であることに気づく明確にすることができ、そして、彼らは実際にはかなり今私も話ではない、ANN内で何が起こっているか理解していないディープ、彼らはADALINEsとANFISのような単純なものを理解闘争します！あなたが彼らが言うのを聞くことはすべてです：データを与えてください、そして、それは適応します！