ニューラルネットワークの信頼度の予測

分類または回帰を実行するためにディープニューラルネットワークをトレーニングしたいとしますが、予測の信頼度を知りたいと考えています。どうすればこれを達成できますか？

私の考えは、上のニューラルメーターでの予測パフォーマンスに基づいて、すべてのトレーニングデータのクロスエントロピーを計算することです。次に、2つ目のニューラルネットワークを回帰用にトレーニングします。これは、各データを入力として受け取り、クロスエントロピーを出力（1つの出力ノード）として扱います。次に、実際には両方のネットワークを使用します。1つはラベル/値の予測用で、もう1つは最初のネットワークの信頼度の予測用です。（....しかし、2番目のネットワークの信頼度を予測するために3番目のネットワークが必要になる、など...？！）

これは有効なアイデアですか？また、一般的に使用されている標準的なアイデアですか？そうでない場合、何を提案しますか？

おそらく私は質問を誤解しているかもしれませんが、分類の場合、標準的な方法は、Nクラスごとに出力ニューロンを持つことです。

次に、出力値のNベクトルは[0, 1]、各クラスに属する入力の確率を表すため、取得する「信頼度」として解釈できます。

NN予測の信頼性推定に関心のある人は、ドロップアウトをベイズ近似として見る：ディープラーニングにおけるモデルの不確実性の表現（Gal et al。、2016）を参照してください。簡単に言うと、ドロップアウトが実行される実行の母集団全体でドロップアウトを伴うネットワークの予測の分散を使用して、予測の信頼度を推定する方法を示しています。このアプローチは、分類または回帰用に設計されたネットワークに使用できます。