ニューラルネットワークのクロスエントロピーコスト関数は凸ですか？

私の先生は、クロスエントロピーの2次導関数が常に正であることを証明したので、クロスエントロピーを使用するニューラルネットワークのコスト関数は凸になります。これは本当ですか？私はいつもANNのコスト関数が非凸であることを学んできたので、これについてはかなり混乱しています。誰かがこれを確認できますか？大いに感謝する！ http://z0rch.com/2014/06/05/cross-entropy-cost-function

指数ファミリーの相互エントロピーは常に凸型です。したがって、入力、重み、出力、および損失関数を持つ多層ニューラルネットワークの場合$x$$w$$y$$L$

凸状です。しかしながら、

iamonaboatによって説明されている理由により、中間層のパラメータに対して凸状になることはありません。

@ngiannが言ったこと、そして非公式に、非表示層のニューロンを並べ替え、隣接する層の重みで同じ置換を行う場合、損失は変化しません。

したがって、重みの関数としてゼロ以外のグローバルミニマがある場合、ウェイトの順列が別のグローバルミニマムを与えるため、一意ではありません。したがって、関数は凸ではありません。

すべての2次偏微分（ヘッセ行列）の行列は、正の半正定行列でも負の半定定行列でもありません。2次導関数は行列なので、どちらでもない可能性があります。

あなたは、クロスエントロピー問題のANN最適化問題が非凸であると疑っています。注：ここでは、非表示層に非線形活性化関数を備えたニューラルネットワークについて説明しています。非線形アクティベーション関数を使用しない場合、ANNは線形関数を実装しており、問題は凸になります。

したがって、ANNのクロスエントロピーの最適化が非凸である理由は、ANNの基礎となるパラメータ化によるものです。線形ニューラルネットワークを使用する場合、それを凸型にすることができます（本質的に、凸型の問題であるロジスティック回帰のように見えます）。