ニューラルネットワークのニューロンがアクティブになるとはどういう意味ですか?


10

ニューロンカバレッジの概念を偶然見つけました。これは、ニューラルネットワークにおける活性化ニューロンと総ニューロンの比率です。しかし、ニューロンが「活性化」されるとはどういう意味ですか?アクティベーション関数とは何か知っていますが、たとえばReLUやシグモイド関数の場合、アクティベートされているとはどういう意味ですか?

回答:


10

ニューロンは、その出力がしきい値(通常は0)を超えている場合にアクティブ化されたと言います。

:例については = W Tは X + B > 0

y=Relu(a)>0
a=wTx+b>0

シグモイドまたは他のアクティブ化関数についても同様です。


4

「アクティベート」という用語は、アクティベーション関数への入力が特定のしきい値より大きい場合にのみ値(0を除く)を出力するアクティベーション関数について話すときに主に使用されます。

特にReLUについて説明する場合は、「アクティブ化」という用語を使用できます。ReLUは、出力が0より大きい場合、つまり入力が0より大きい場合に「アクティブ化」されます。

シグモイドなどの他のアクティブ化関数は、常に0より大きい値を返し、特別なしきい値はありません。したがって、「アクティブ化」という用語は、ここではあまり意味がありません。

私たちはそれらについてほとんど知りませんが、脳のニューロンは、ある種の「活性化閾値」を備えた活性化機能に似ているものも持っているようです。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.