バイナリ分類を行うと仮定します（クラスAまたはクラスBに属するもの）。ニューラルネットワークの出力層でこれを行う可能性がいくつかあります。

• 1つの出力ノードを使用します。出力0（<0.5）はクラスAと見なされ、1（> = 0.5）はクラスBと見なされます（シグモイドの場合）

• 2つの出力ノードを使用します。入力は、最高の値/確率（argmax）を持つノードのクラスに属します。

これを議論する（また）書かれた論文はありますか？検索する特定のキーワードは何ですか？

この質問はすでにこのサイトですでに尋ねられています。たとえば、実際の答えのないこのリンクを参照してください。私は選択する必要があります（修士論文）ので、各ソリューションの賛否両論の洞察を得たいと思います。

2番目のケースでは、おそらくsoftmaxアクティベーション機能について書いています。それが本当なら、シグモイドはソフトマックス関数の特別な場合にすぎません。簡単に表示できます。

$$y = \frac{1}{1 + e ^ {-x}} = \frac{1}{1 + \frac{1}{e ^ x}} = \frac{1}{\frac{e ^ x + 1}{e ^ x}} = \frac{e ^ x}{1 + e ^ x} = \frac{e ^ x}{e ^ 0 + e ^ x}$$

ご覧のとおり、シグモイドはsoftmaxと同じです。2つの出力があると考えることができますが、1つはすべての重みがゼロに等しいため、その出力は常にゼロになります。

したがって、バイナリ分類のより良い選択は、2つの出力ユニットを使用するsoftmaxではなく、シグモイドを使用する1つの出力ユニットを使用することです。

ここでは、分類器などの機械学習アルゴリズムは、異なるカテゴリに属する​​入力の確率を決定することにより、入力データを統計的にモデル化します。任意の数のクラスの場合、通常、softmaxレイヤーがモデルに追加されるため、出力は設計により確率的特性を持ちます。

$$\vec{y} = \text{softmax}(\vec{a}) \equiv \frac{1}{\sum_i{ e^{-a_i} }} \times [e^{-a_1}, e^{-a_2}, ...,e^{-a_n}]$$

$$0 \le y_i \le 1 \text{ for all i}$$ $$y_1 + y_2 + ... + y_n = 1$$

ここで、はsoftmaxレイヤーの前のレイヤーのアクティブ化です。$a$

これは2つのクラスに対して完全に有効ですが、出力が次の条件を満たす場合、1つのニューロン（2つではなく）を使用することもできます。

$$0 \le y \le 1 \text{ for all inputs.}$$ これは、上記の条件が満たされるようにをマップ変換（逆伝播のために微分可能/平滑化）が適用される場合に保証されます。シグモイド関数は基準を満たしています。単純な数学的表現以外に特別なことはありませんが、$a$$y$

$$\text{sigmoid}(a) \equiv \sigma(a) \equiv \frac{1}{1+e^{-a}}$$

有用な数学的特性（微分、0〜1の範囲など）、計算効率、最適化のためにネットワークの重みを更新しても出力にわずかではあるが測定可能な変化が生じるような適切な勾配があります。

結論

ソフトマックスとシグモイドを示す@itdxerの推論が有効であれば同等かどうかはわかりませんが、必要なパラメーターと計算が少ないため、バイナリ分類子の2つのニューロンとは対照的に1つのニューロンを選択するのは正しいです。また、「余分なもの」なので、バイナリ分類器に2つのニューロンを使用することで批判されています。