ニューラルネットワークは効率的なコーディングを使用していますか？

私の質問は、効率的なコーディングに関するウィキペディアのページで概説されている効率的なコーディング仮説とニューラルネットワーク学習アルゴリズムとの関係に関係しています。

効率的なコーディング仮説とニューラルネットワークの関係は何ですか？

効率的なコーディング仮説に明確に触発されたニューラルネットワークモデルはありますか？

それとも、すべてのニューラルネットワーク学習アルゴリズムは、少なくとも暗黙的に効率的なコーディングに基づいていると言えるでしょうか。

つながりができたと主張できると思います。ソースを見つけられなかったため投稿しなかったことをお詫びしますが、これはヒントンが提示した古いスライドからのものです。その中で彼は、機械学習を行う人たちの基本的な考え方の1つは（プレゼンテーションがディープラーニングの一般的な使用に先行していたため）、データを簡単に変換できるようにデータの最適な変換が存在することであると主張しました。学んだ。ニューラルネットの場合、バックプロップを介したデータの「最適な変換」は、効果的なコーディング仮説であると私は信じています。適切なカーネルが与えられたのと同じように、多くの空間は線形モデルで簡単に分類でき、データを変換して保存する適切な方法を学習し、ニューロンを配置してデータを表す方法に類似しています。