LSTMネットワークのハイパーパラメーターの1つは温度です。それは何ですか？

温度は、softmaxを適用する前にロジットをスケーリングすることで予測のランダム性を制御するために使用されるLSTM（および一般にニューラルネットワーク）のハイパーパラメーターです。たとえば、LensorsのTensorFlowのMagenta 実装では、温度はソフトマックスを計算する前にロジットを分割する量を表します。

温度が1の場合、ロジット（以前のレイヤーのスケールなし出力）でソフトマックスを直接計算し、0.6の温度を使用して、モデルはで計算し、より大きな値になります。大きな値でsoftmaxを実行すると、LSTMの信頼性が高まります（出力レイヤーをアクティブにするために必要な入力が少なくなります）が、サンプルの保守性も高まります（可能性の低い候補からサンプリングする可能性が低くなります）。より高い温度を使用すると、クラス全体の確率分布がよりソフトになり、RNNがサンプルによってより「興奮しやすく」なり、結果として多様性とミスが増えます。$\frac{logits}{0.6}$

ニューラルネットワークは確率ベクトルを生成するために関数を実行することによりロジットベクトルでクラス確率を生成しますここでと他のロジットとを比較します。$\mathbf{z}$$\mathbf{z} =$$(z_1,\ldots,z_n)$$\mathbf{q} = (q_1,\ldots,q_n)$$z_i$

$q_i = \frac{\exp{(z_i/T)}}{\sum_j\exp{(z_j/T)}}\tag{1}$

ここで、温度パラメータであり、通常は1に設定されます。$T$

softmax関数は、ネットワーク出力がすべてのタイムステップで0から1の間になるようにすることにより、指数値に基づいてネットワークの各反復で候補を正規化します。

したがって、温度は、低確率の候補に対する感度を高めます。LSTMでは、候補、またはサンプルは、文字、単語、または音符である場合があります。次に例を示します。

高温（）の場合、すべての[サンプル]はほぼ同じ確率を持ち、温度が低いほど、より多くの期待される報酬が確率に影響します。低温（）の場合、予想される報酬が最も高い[サンプル]の確率は1になる傾向があります。${\displaystyle \tau \to \infty }$${\displaystyle \tau \to 0^{+}}$

- ソフトマックス関数に関するウィキペディアの記事から

参照

ヒントン、ジェフリー、オリオールヴィニャール、ジェフディーン。「ニューラルネットワークで知識を抽出する。」arXivプレプリントarXiv：1503.02531（2015）。arXiv