ニューラルネットワークのコンテキストで「高密度」および「スパース」という用語は何を意味しますか？

ニューラルネットワーク（NN）のコンテキストで、「密」および「疎」という用語は何を意味しますか それらの違いは何ですか？なぜそう呼ばれるのですか？

数学では、「スパース」と「デンス」は、配列内のゼロ要素と非ゼロ要素の数を指します（例：ベクトルまたは行列）。スパース配列は、ほとんどがゼロで、ゼロ以外のエントリがほとんどない配列です。密な配列には、主に非ゼロが含まれます。

スパースと見なされるものに厳しいしきい値はありません。ゆるい言葉ですが、もっと具体的にすることができます。たとえば、ベクトルは$k$-含まれている場合はまばら $k$ゼロ以外のエントリ。別の言い方をすれば、ベクターの$\ell_0$ 規範は $k$。

ニューラルネットワークのコンテキストでのこれらの用語の使用法は、他の分野での使用法と同様です。たNNの文脈では、疎または密なように記述することができるものが含まれるアクティベーション特定の層内のユニットの、重み、およびデータ。ユニットの小さなサブセットのみが相互に接続されている状況を指す「疎接続」について話すこともできます。これはスパースウェイトと同様の概念です。ウェイトが0の接続は事実上未接続であるためです。

「スパース配列」は、スパースな配列を表すのに効率的なデータ型のクラスを指す場合もあります。これはプログラミング言語のドメイン内の概念です。それは数学の概念と関連していますが、それとは異なります。