ニューラルネットワークのコンテキストでは、平均二乗誤差は常に凸形ですか？

私が言及した複数のリソースは、MSEは凸型であるため優れていると述べました。しかし、特にニューラルネットワークのコンテキストでは、その方法がわかりません。

次のものがあるとします。

• $X$：トレーニングデータセット
• $Y$：ターゲット
• $\Theta$：モデル$f_\Theta$パラメータのセット Θ（非線形性を持つニューラルネットワークモデル）

次に：

なぜこの損失関数は常に凸型になるのでしょうか？これはに依存しない$f_\Theta(X)$？

簡単に言えば、MSEはそれ自体で入力とパラメータが凸型です。しかし、任意のニューラルネットワークでは、活性化関数の形で非線形性が存在するため、常に凸型であるとは限りません。私の答えの出典はこちらです。

凸面

$f(x)$$x ∈ Χ$$x_1 ∈ Χ$$x_2 ∈ Χ$$0 ≤ λ ≤ 1$

$$f(λ x_1 + (1 − λ) x_2) ≤ λf(x_1) + (1 − λ) f (x_2).$$

このような凸型は1つの大域的最小値があることが証明できます。一意のグローバル最小値は、エラー関数の最小化などのグローバル最小値への収束を達成しようとするアルゴリズムで発生する可能性があるローカル最小値によって作成されるトラップを排除します。$f(x)$

エラー関数は、すべての連続的な線形コンテキストと多くの非線形コンテキストで100％信頼できるかもしれませんが、すべての可能な非線形コンテキストのグローバルな最小値への収束を意味するものではありません。

平均二乗誤差

関数所与、理想的なシステムの動作とシステムのモデル記述（パラメータ・ベクトル、行列、立方体、又はハイパーキューブとなる）、合理的又は収束を介して作成（ニューラルネットトレーニングの場合と同様）、平均二乗誤差（MSE）関数は次のように表すことができます。$s(x)$$a(x, p)$$p$$1 ≤ n ≤ N$

あなたが読んでいる資料はおそらくまたはがに関して凸であると主張していないが、はおよびに関して凸である彼らが何であれ。この後者のステートメントは、任意の連続およびで証明できます。 $a(x, p)$$s(x)$$x$$e(β)$$a(x, p)$$s(x)$$a(x, p)$$s(x)$

収束アルゴリズムの交絡

質問が、特定のと、合理的なMSE収束マージン内でa近似するを達成する方法が混乱するかどうかである場合、答えは「はい」です。そのため、MSEだけがエラーモデルではありません。$a(x, p)$$s(x)$$a(x, p)$

概要

要約する最良の方法は、次の知識に基づいて、を定義するか、ストック凸エラーモデルのセットから選択することです。$e(β)$

• システム既知のプロパティ$s(x)$
• 近似モデルの定義$a(x, p)$
• 収束シーケンスで次の状態を生成するために使用されるテンソル

ストックコンベックスエラーモデルのセットには、その単純さと計算の効率のため、MSEモデルが確実に含まれます。