回答:
次の2つの理由から、以前の回答とあなたの提案に同意しません。
1）決定木は、より複雑な決定を行うことができる単純な論理決定に基づいています。しかし、あなたの入力が1000の寸法を有し、そして学んだ機能は非常に非直線状である場合、あなたはあなただけのノードを見て、/読み、理解することはできません本当に大きいと重い決定木を取得します。
2）ニューラルネットワークは、学習する機能が非常に小さい場合にのみ理解できるという意味で、ニューラルネットワークに似ています。大きくなるとき、それらを理解するために他のトリックが必要です。@SmallChessが示唆したように、畳み込みニューラルネットワークの特定のケースについて説明する「畳み込みネットワークの視覚化と理解」と呼ばれるこの記事を読むことができます。ホイールではなく、残りのコンポーネント」。
これらの視覚化は、多くの研究者が神経構造の弱点を実際に理解し、トレーニングアルゴリズムを改善するのに役立ちました。
いいえ。ニューラルネットワークは一般に理解するのが困難です。モデルの複雑さの代わりに予測力を使用します。NNの重みをグラフィカルに視覚化することは可能ですが、決定がどのように行われるかを正確に伝えるわけではありません。深いネットワークを理解しようとして頑張ってください。
人気のあるPythonパッケージ（および論文があります）は、NNをより単純なモデルでローカルにモデル化できます。ご覧ください。
https://arxiv.org/abs/1704.02685は、NN固有のローカル説明ツールであるディープリフトを提供します。これは、説明するインスタンスと参照インスタンスとの間のアクティベーションの違いを伝播することにより機能します。参照を取得するのは少し難しいですが、ツールは全体的に解釈可能でスケーラブルなようです。表形式のデータで使用します。