「ディープラーニング」とマルチレベル/階層モデリングの違いは何ですか？

「ディープラーニング」は、マルチレベル/階層モデリングの単なる別の用語ですか？

前者よりも後者の方がはるかに精通していますが、主な違いは定義にあるのではなく、アプリケーションドメイン内での使用方法と評価方法にあります。

典型的な「深層学習」アプリケーションのノードの数は多く、一般的な階層形式を使用するように見えますが、マルチレベルモデリングのアプリケーションは、通常、モデル化される生成プロセスを模倣する階層関係を使用します。適用された統計（階層モデリング）ドメインで一般的な階層を使用することは、現象の「誤った」モデルと見なされますが、ドメイン固有の階層をモデル化することは、一般的な深層学習機械を作成する目的を覆すと見なされる場合があります。

これらの2つのことは、実際には2つの異なる名前の2つの異なる方法で使用される同じ機械ですか？

類似性

基本的に、機械学習アプリケーションの1つの一般的な質問に答えるために、両方のタイプのアルゴリズムが開発されました。

与えられた予測子（因子）パフォーマンスを向上させるためにこの因子間の相互作用を組み込む方法$x_1, x_2, \ldots, x_p$

1つの方法は、新しい予測変数を単純に導入することですしかし、これは膨大な数のパラメーターと非常に特殊な相互作用のために悪い考えです。$x_{p+1} = x_1x_2, x_{p+2} = x_1x_3, \ldots$

マルチレベルモデリングとディープラーニングアルゴリズムの両方が、よりスマートな相互作用モデルを導入することでこの質問に答えます。そして、この観点からは非常に似ています。

差

次に、両者の大きな概念上の違いは何かを理解してみましょう。いくつかの説明をするために、各モデルで行う仮定を見てみましょう。

マルチレベルモデリング：データ構造を反映するレイヤーは、ベイジアン階層ネットワークとして表すことができます。このネットワークは固定されており、通常はドメインアプリケーションからのものです。$^1$

深層学習：データは多くの要因の相互作用によって生成されました。相互作用の構造は不明ですが、階層化された因数分解として表すことができます。高レベルの相互作用は、低レベルの表現を変換することによって取得されます。$^2$

基本的な違いは、ディープラーニングの「相互作用の構造は不明」というフレーズに由来しています。相互作用のタイプについていくつかの事前条件を想定できますが、それでもアルゴリズムは学習手順中のすべての相互作用を定義します。一方、マルチレベルモデリングの相互作用の構造を定義する必要があります（後でモデルのパラメーターを変更するだけです）。

例

たとえば、3つの因子が与えられとを異なるレイヤーとして定義するとします。 { x 1 } { x 2、x 3$x_1, x_2, x_3$$\{x_1\}$$\{x_2, x_3\}$

たとえば、マルチレベルモデリング回帰では、相互作用およびを取得しますが、相互作用取得することはありません。もちろん、結果の一部はエラーの相関関係の影響を受けますが、これは例にとってそれほど重要ではありません。x 1 x 3 x 2 x $x_1 x_2$$x_1 x_3$$x_2 x_3$

ディープラーニングでは、たとえば、2つの隠れ層と線形活性化関数を持つ多層制限付きボルツマンマシン（RBM）で、3以下のすべての可能な政治的相互作用があります。

一般的な長所と短所

マルチレベルモデリング

（-）相互作用の構造を定義する必要がある

（+）通常、結果は解釈しやすい

（+）統計手法を適用できます（信頼区間の評価、仮説の確認）

深層学習

（-）トレーニングには膨大な量のデータが必要です（トレーニングにも時間がかかります）

（-）通常、結果を解釈することは不可能です（ブラックボックスとして提供）

（+）専門知識は不要

（+）十分に訓練された後、通常は他のほとんどの一般的な方法よりも優れています（アプリケーション固有ではありません）

それが役立つことを願っています！

この質問/回答は少しの間存在していましたが、回答のいくつかのポイントを明確にすると役立つかもしれません。最初に、階層的手法とディープニューラルネットワークの主要な区別として挙げられたフレーズ「このネットワークは固定されています」間違っています。階層的な方法は、代替のニューラルネットワークほど「固定」されていません。たとえば、論文「階層的畳み込み因子分析による深層学習」、チェン他を参照してください。等。また、相互作用を定義するための要件も、もはや区別するポイントではないことがわかると思います。階層モデリングでプラスとしてリストされていないいくつかのポイントは、私の経験から、オーバーフィットの問題が大幅に減少し、非常に大きなトレーニングセットと非常に小さなトレーニングセットの両方を処理できることです。簡単な点は、ベイジアン階層法が使用される場合、信頼区間と仮説検定は一般に適用される統計的手法ではないということです。