機械学習におけるロジットとはどういう意味ですか？

「私が犯すであろうよくある間違いの1つは、ロジット出力に非線形性を追加することです。」

ここで「ロジット」という用語は何を意味するのか、それが何を意味するのか？

モデルの非正規化（またはまだ正規化されていない）予測（または出力）と解釈されるロジット。これらは結果をもたらす可能性がありますが、生の値を解釈するのは簡単ではないため、通常ロジットで停止することはありません。

ロジットがどのように生成されるかを理解するために、それらの定義を確認してください。

例で説明しましょう：

1匹の猫または1匹の犬が含まれている写真を使用して、猫と犬を分類する方法を学習するモデルをトレーニングします。モデルを構築し、画像と予測の間のマッピングを概算するために必要なデータをいくつか与えます。次に、新しいデータに対する予測精度をテストするために、目に見えない写真のいくつかをモデルに与えます。分類の問題があるため（各写真を2つのクラスのいずれかに配置しようとしているため）、モデルは各入力画像に対して2つのスコアを提供します。画像に猫が含まれていると思われる可能性のスコアと、画像に犬が含まれているとの考えのスコア。

おそらく、最初の新しいイメージで16.917は、猫と0.772犬のロジット値を取得します。高いほど良い、または（「可能性が高い」）を意味するので、猫が答えです。正解は猫なので、モデルはうまくいきました！

2番目の画像のモデルでは、ロジット値は猫の場合は1.004、犬の場合は0.709と表示されます。つまり、モデルには、画像に猫が含まれていることがわかります。正解はもう一度猫なので、モデルは再び機能しました！

次に、2つの結果を比較します。これを行う1つの方法は、スコアを正規化することです。つまり、ロジットを正規化します。これを行うことで、モデルの信頼性に対する洞察を得ることができます。

softmaxを使用してみましょう。すべての結果が合計さ1れ、確率として考えることができます。

$$\sigma (\mathbf {z} )_{j}={\frac {e^{z_{j}}}{\sum _{k=1}^{K}e^{z_{k}}}} \hspace{20mm} for \hspace{5mm} j = 1, …, K.$$

最初のテスト画像では、

$$prob(cat) = \frac{exp(16.917)}{exp(16.917) + exp(0.772)} = 0.9999$$ $$prob(dog) = \frac{exp(0.772)}{exp(16.917) + exp(0.772)} = 0.0001$$

2番目の画像に対して同じことを行うと、結果が得られます。

$$prob(cat) = \frac{exp(1.004)}{exp(1.004) + exp(0.709)} = 0.5732$$ $$prob(dog) = \frac{exp(0.709)}{exp(1.004) + exp(0.709)} = 0.4268$$

2番目の画像は、50-50に非常に近いため、モデルは本当に確信が持てませんでした。

あなたの質問からの引用の最後の部分は、モデルとしてニューラルネットワークを参照している可能性があります。ニューラルネットワークのレイヤーは、通常、入力データを取得し、そこに学習したいパラメーター（重み）を掛けて、非線形性を適用します関数。モデルに非線形関係を学習する機能を提供します。この非線形性がなければ、ニューラルネットワークは単に、一部の入力データに対して実行される線形演算のリストになります。つまり、線形関係のみを学習できます。これは大規模な制約になります。つまり、モデルは常に基本的な線形モデルに縮小できます。そうは言っても、一般的に最終予測が行われる直前に情報を切り取るため、モデルのロジット出力に非線形性を適用することは役に立たないと考えられます。このスレッドで関連するコメントを探してください。

ロジットは、モデルの正規化されていない最終スコアです。クラスに確率分布を取得するには、softmaxを適用します。