タグ付けされた質問 「cross-entropy」

次のTensorFlow関数では、最終層の人工ニューロンの活性化をフィードする必要があります。私が理解していること。しかし、それがロジットと呼ばれる理由がわかりませんか？それは数学関数ではありませんか？ loss_function = tf.nn.softmax_cross_entropy_with_logits( logits = last_layer, labels = target_output )

250 tensorflow  machine-learning  neural-network  deep-learning  cross-entropy 

私は最近出会ったtf.nn.sparse_softmax_cross_entropy_with_logitsと私は違いが比較されているものを把握することはできませんtf.nn.softmax_cross_entropy_with_logits。 使用時にトレーニングベクトルyをワンホットエンコードする必要がある唯一の違いはありsparse_softmax_cross_entropy_with_logitsますか？ APIを読んでも、と比較して他の違いを見つけることができませんでしたsoftmax_cross_entropy_with_logits。しかし、なぜ追加の機能が必要なのでしょうか。 ワンホットエンコードされたトレーニングデータ/ベクトルが提供されている場合softmax_cross_entropy_with_logits、と同じ結果を生成するべきではありませんsparse_softmax_cross_entropy_with_logitsか？

111 neural-network  tensorflow  softmax  cross-entropy 

クロスエントロピーとは何かについて多くの説明があることは知っていますが、それでも混乱しています。 損失関数を説明するための唯一の方法ですか？勾配降下アルゴリズムを使用して、損失関数を使用して最小値を見つけることはできますか？

92 machine-learning  cross-entropy 

ロジスティック回帰や多項ロジスティック回帰などの分類問題は、クロスエントロピー損失を最適化します。通常、クロスエントロピー層はソフトマックス層の後に続き、確率分布を生成します。 テンソルフローには、少なくとも1ダースの異なるクロスエントロピー損失関数があります。 tf.losses.softmax_cross_entropy tf.losses.sparse_softmax_cross_entropy tf.losses.sigmoid_cross_entropy tf.contrib.losses.softmax_cross_entropy tf.contrib.losses.sigmoid_cross_entropy tf.nn.softmax_cross_entropy_with_logits tf.nn.sigmoid_cross_entropy_with_logits ..。 どちらが二項分類にのみ機能し、どれがマルチクラス問題に適していますか？sigmoid代わりにsoftmaxいつ使用する必要がありますか？sparse機能は他の機能とどのように異なり、なぜそれだけなのsoftmaxですか？ 関連する（より数学指向の）議論：KerasとTensorFlowのこれらすべてのクロスエントロピー損失の違いは何ですか？。

83 python  tensorflow  neural-network  logistic-regression  cross-entropy