機械学習：バイナリ予測にカテゴリクロスエントロピーまたはバイナリクロスエントロピー損失を使用する必要がありますか？

まず、バイナリ予測を実行する必要がある場合、ワンホットエンコーディングを実行して少なくとも2つのクラスを作成する必要があることに気付きました。これは正しいです？ただし、バイナリクロスエントロピーは、クラスが1つだけの予測に対してのみですか？ほとんどのライブラリ（TensorFlowなど）で通常見られるカテゴリクロスエントロピー損失を使用する場合、大きな違いはありますか？

実際、カテゴリクロスエントロピーとバイナリクロスエントロピーの正確な違いは何ですか？TensorFlowでバイナリクロスエントロピーの実装を見たことがないので、おそらくカテゴリー的なものも同じように機能すると思いました。

二項相互エントロピー損失は、$m=2$場合の多項相互エントロピー損失の特殊なケースです。

$$\begin{align} \mathcal{L}(\theta) &= -\frac{1}{n}\sum_{i=1}^n \left[y_i \log(p_i) + (1-y_i) \log(1-p_i)\right] \\ &= -\frac{1}{n}\sum_{i=1}^n\sum_{j=1}^m y_{ij} \log(p_{ij}) \end{align}$$

ここで、$i$インデックスサンプル/観察及び$j$インデックスクラス、および$y$、サンプルラベル（LSHのバイナリ、RHS上のワンホットベクトル）であり$p_{ij}\in(0,1):\sum_{j} p_{ij} =1\forall i,j$はサンプルの予測です。

バイナリクロスエントロピーはマルチラベル分類用ですが、カテゴリカルクロスエントロピーは、各例が単一のクラスに属するマルチクラス分類用です。

次の3種類の分類タスクがあると思います。

1. バイナリ分類：2つの排他的なクラス
2. マルチクラス分類：3つ以上の排他的なクラス
3. マルチラベル分類：非排他的なクラスのみ

これらから、私たちは言うことができます

• （1）の場合、バイナリクロスエントロピーを使用する必要があります。
• （2）の場合、カテゴリクロスエントロピーを使用する必要があります。
• （3）の場合、バイナリクロスエントロピーを使用する必要があります。マルチラベル分類器は、複数の別々のバイナリ分類器と見なすことができます。ここに10個のクラスがある場合、10個のバイナリ分類子が個別にあります。各バイナリ分類器は独立してトレーニングされます。したがって、サンプルごとにマルチラベルを作成できます。少なくとも1つのラベルを取得する必要がある場合は、分類損失関数が最小のラベルを選択するか、他のメトリックを使用します。

マルチクラス分類はマルチラベル分類に似ていないことを強調したい！むしろ、マルチラベル分類器はバイナリ分類器からアイデアを借ります！