「機能とクラス間でパラメーターを共有する」とはどういう意味ですか

このホワイトペーパーを読むと、「線形分類器はフィーチャとクラス間でパラメータを共有しない」という行があります。この声明の意味は何ですか？ロジスティック回帰などの線形分類器には、相互に独立した機能が必要ということですか？

最も単純な線形分類子の1つであるロジスティック回帰を通じてこの質問に答えようとします。

我々が持っている場合、ロジスティック回帰の最も単純なケースであるバイナリ分類タスク（$y \in\{0,1\})$とだけつの入力機能を（$x \in R$）。この場合、ロジスティック回帰の出力は次のようになります。

$$\hat y = σ(w \cdot x + b)$$ ここで、$w$と$b$は両方ともスカラーです。モデル\ hat y \ in [0,1]の出力は、xがクラス1になる$\hat y \in [0,1]$確率に対応します。$x$$1$

「線形分類器はフィーチャとクラス間でパラメーターを共有しない」というフレーズを2つの部分に分解しようとします。ロジスティック回帰がこれらのタスクのパラメーターを共有しているかどうかを確認するために、複数の機能と複数のクラスのケースを個別に調べます。

線形分類器は機能間でパラメーターを共有しますか？

この場合、それぞれの例で、$y$は（以前と同様に）バイナリ値をとるスカラーであり、$x$は長さN（Nは特徴の数）のベクトルです。ここで、出力は入力フィーチャの線形結合です（つまり、これらのフィーチャとバイアスの加重和）。$N$$N$

X W N xは ⋅ W W 、I X

$$\hat y = σ \left(\sum_i^N{(w_i \cdot x_i)} + b\right) \;\; or \;\; σ( \mathbf w \cdot \mathbf x + b)$$ ここで、およびは長さベクトルです。積はスカラーを生成します。上記からわかるように、各入力フィーチャには個別の重みがあり、これらの重みは必ず独立しています。このことから、機能間でパラメータを共有することはできないと結論付けることができます。$\mathbf x$$\mathbf w$$N$$\mathbf x \cdot \mathbf w$ $w_i$$x_i$

線形分類器はクラス間でパラメーターを共有しますか？

この場合、はスカラーですが、は長さ（はクラスの数）のベクトルです。これに取り組むために、ロジスティック回帰は基本的に、クラスごとに個別の出力を生成します。各出力はスカラーあり、クラス属するの確率に対応します。、Y M M Y J MのY軸J ∈ [ 0 、1 ] X $x$$y$$M$$M$$y_j$$M$$y_j \in [0,1]$$x$$j$

$$\mathbf{ \hat y} = w \cdot \mathbf x + \mathbf b, \;\; where \;\; \mathbf{ \hat y} = {\hat y_1, \hat y_2, ..., y_M}$$

これを考える最も簡単な方法は、それぞれが次の出力を持つ単純な独立したロジスティック回帰としてです。$M$

$$\hat y_j = σ(w_j \cdot x + b_j)$$

上記から、異なるクラス間で重みが共有されないことは明らかです。

マルチ機能とマルチクラス：

上記の2つのケースを組み合わせると、最終的に複数の機能と複数のクラスの最も一般的なケースに到達できます。

Y Mは、xはNのbはMW（N×M

$$\mathbf{ \hat y} = σ( \mathbf W \cdot \mathbf x + \mathbf b)$$ ここではサイズベクトル、はサイズ、のサイズを有するベクトルであり、及びのサイズを有する行列である。$\mathbf{ \hat y}$$M$$\mathbf x$$N$$\mathbf b$$M$$W$$(N \times M)$

いずれの場合でも、線形分類器はフィーチャまたはクラス間でパラメーターを共有しません。

2番目の質問に答えるために、線形分類器には、機能が独立している必要があるという基本的な仮定がありますが、これは論文の著者が言っていることではありません。