ソフトマックスユニットはどのように導出され、どのような意味がありますか？

私はソフトマックス関数がそのように定義されている理由を理解しようとしています：

$\frac{e^{z_{j}}} {\Sigma^{K}_{k=1}{e^{z_{k}}}} = \sigma(z)$

これがデータを正規化し、いくつかの範囲（0、1）に適切にマッピングする方法を理解していますが、重みの確率の違いは線形ではなく指数関数的に変化します。この動作が必要な理由はありますか？

また、この方程式はかなり恣意的であるように思われ、方程式の大規模なファミリーが私たちの要件を満たすことができると私は感じています。私はオンラインで派生物を見たことがないので、それは単なる定義であると想定しています。同じ要件を満たす他の定義を選択してみませんか？

カテゴリー分布は、「発生した結果」の十分な統計量が与えられた場合の「相互に排他的な結果の有限セット」のサポートに関する最小推定分布です。言い換えると、他の分布を使用することは、追加の仮定になります。事前の知識がなければ、このサポートと十分な統計のためにカテゴリ分布を仮定する必要があります。それは指数関数的な家族です。（特定のサポートおよび十分な統計量のすべての最小推定分布は、指数ファミリーです。）

独立した情報に基づいて2つの信念を組み合わせる正しい方法は、密度の個別の積であり、両方の信念にある以前の情報を二重にカウントしないようにします。指数ファミリーの場合、この組み合わせは自然パラメーターの追加です。

期待値パラメーターはの期待値ですここで、は結果を観測した回数です。これは、一連の観測を最尤分布に変換するための正しいパラメーター化です。あなたは単にこの空間で平均します。これは、観測をモデル化するときに必要です。x k$x_k$$x_k$$k$

多項ロジスティック関数は、カテゴリカル分布の自然パラメーターから期待パラメーターへの変換です。この変換は、自然パラメーターに対する対数正規化関数の勾配として導出できます。

要約すると、多項ロジスティック関数は、サポート、十分な統計、および独立した情報の組み合わせを信念とするモデルの3つの仮定から外れます。

私はこれが遅い投稿であることを知っていますが、たまたまここに上陸した人々に何らかの正当化を提供することにまだ価値があると思います。

あなたは完全に間違っているわけではありません。それはある程度恣意的ですが、おそらく任意は間違った言葉です。それはデザインの選択に似ています。説明させてください。

Softmaxは実際にはシグモイド関数の一般化であり、ベルヌーイ（出力0または1）出力単位であることがわかります。

$\begin{equation} [1+\text{exp}(-z)]^{-1} \end{equation}$

しかし、シグモイド関数はどこから来たのかと尋ねるかもしれません。

さて、ベルヌーイ、ポアソン分布、ガウス分布などを含む多くの異なる確率分布は、一般化線形モデル（GLM）と呼ばれるものに従うことがわかりました。つまり、次の用語で表すことができます。

$\begin{equation} P(y;\eta) = b(y)\text{exp}[\eta^TT(y) - a(\eta)] \end{equation}$

これらのパラメーターのすべてについては説明しませんが、これを調査することはできます。

ベルヌーイ分布がGLMファミリにどのように含まれるかについて、次の例を確認してください。

$P(y=1) = \phi\\ P(y=0) = 1 - \phi\\ P(y) = \phi^y(1-\phi)^{1-y} = \text{exp}(y\text{log}(\phi) + (1-y)\text{log}(1-\phi))\\ = \text{exp}(y\text{log}(\phi) + \text{log}(1-\phi)-y\text{log}(1-\phi))\\ = \text{exp}(y\text{log}(\frac{\phi}{1-\phi}) + \text{log}(1-\phi))$

この場合は、

$b(y) = 1\\ T(y) = y\\ \eta = \text{log}(\frac{\phi}{1-\phi})\\ a(\eta) = -\text{log}(1-\phi)$

をで解決するとどうなるかに注意してください。$\phi$$\eta$

$\eta = \text{log}(\frac{\phi}{1-\phi})\\ e^\eta =\frac{\phi}{1-\phi}\\ e^{-\eta} = \frac{1-\phi}{\phi} = \frac{1}{\phi}-1\\ e^{-\eta}+1 = \frac{1}{\phi}\\ \phi = [\text{exp}(-{\eta})+1]^{-1}$

したがって、を取得するには、シグモイドを使用します。（は重み、はデータ）と想定すると、設計の選択が有効になります。どちらもと想定します。この仮定を行うことにより、を近似してを近似できます。$\phi=P(y=1)$$\eta$$\eta = w^Tx$$w$$x$$\in\mathbb{R}^n$$w$$\phi$

Multinoulli分布に対してこれと同じプロセスを実行すると、最終的にsoftmax関数が導出されます。