機械学習におけるエネルギー最小化とは何ですか？

私はコンピュータービジョンの不適切な問題の最適化について読んでいて、Wikipediaでの最適化に関する以下の説明に出会いました。私が理解していないのは、コンピュータービジョンでこの最適化を「エネルギー最小化」と呼ぶのはなぜですか？

最適化の問題は、次の方法で表すことができます。

指定：関数集合から実数への$f: A \to R$$A$

求め：要素におけるようにすべてのためにおける （ "最小化"）、またはそのすべてのためにおけるA （ "最大化"） 。$x_0$$A$$f(x_0) ≤ f(x)$$x$$A$$f(x_0) ≥ f(x)$$x$$A$

このような定式化は、最適化問題または数学的プログラミング問題（コンピュータープログラミングに直接関係しないが、たとえば線形プログラミングでまだ使用されている用語-以下の履歴を参照）と呼ばれます。この一般的なフレームワークでは、現実世界および理論上の多くの問題をモデル化できます。物理学およびコンピュータービジョンの分野でこの手法を使用して定式化された問題は、モデル化されているシステムのエネルギーを表す関数fの値といえば、手法をエネルギー最小化と呼ぶ場合があります$f$。

エネルギーベースのモデルは、多くの機械学習アルゴリズムを表現するための統一されたフレームワークです。彼らは推論をエネルギー関数を最小化し、学習を損失関数を最小化すると解釈します。

エネルギー関数は、潜在変数の構成と、例で提供される入力の構成の関数です。通常、推論とは、低エネルギー構成を見つけること、または特定の構成を選択する確率がギブス分布になるように、可能な構成からサンプリングすることを意味します。

損失汎関数は、多くの例が与えられたモデルパラメーターの関数です。たとえば、教師あり学習問題では、損失はターゲットでの合計エラーです。モデルを構成する（パラメーター化された）関数の関数であるため、「関数型」と呼ばれることもあります。

主な論文：

Y. LeCun、S。Chopra、R。Hadsell、M。Ranzato、およびFJ Huang、「エネルギーベースの学習に関するチュートリアル」、構造データの予測、MIT Press、2006年。

参照：

LeCun、Y。、およびHuang、FJ（2005）。エネルギーベースのモデルの識別トレーニングのための損失関数。第10回人工知能と統計に関する国際ワークショップ（AIStats'05）の議事録。http://yann.lecun.com/exdb/publis/pdf/lecun-huang-05.pdfから取得

Ranzato、M.、Boureau、Y.-L.、Chopra、S.、＆LeCun、Y.（2007）。教師なし学習のための統合エネルギーベースのフレームワーク。手続き AIと統計に関する会議（AI-Stats）。http://dblp.uni-trier.de/db/journals/jmlr/jmlrp2.html#RanzatoBCL07から取得

信号検出文献では、信号のエネルギーは、$x_t$のように定義される

一部の機能は、xから何らかの応答yを予測するときに、進行することは非常に一般的かつ簡単な方法は、二乗誤差の和最小化することである