汎用関数近似

普遍近似定理により、単一の隠れ層と任意の活性化関数を持つニューラルネットワークでも、任意の連続関数を近似できることが知られています。

ユニバーサル関数近似器でもある他のモデルは何ですか

machine-learning function approximation

— 選ぶ
ソース

私はこの質問といくつかの答えに賛成するためにこのサイトに参加しました。

— プラサドラガベンドラ

これは、回帰のトピックの下で、統計文献で広く扱われています。ここでの2つの標準的な参照は、Wassermanの本「すべてのノンパラメトリック統計」とTsybakovの「ノンパラメトリック推定の紹介」です。いくつかの標準的なものについて簡単に説明し、統計の範囲外のポインターを与えようとします（これは一般的なトピックであり、異なる分野には異なる文化があります：異なる種類の定理を証明し、異なる仮定を立てます）。

（カーネルリグレッサー。Nadaraya-WatsonEstimatorと呼ばれることもあります。）ここでは、関数を任意のポイントで近くの値の重み付き組み合わせとして記述します。より具体的には、これは統計文献にあるため、通常、いくつかの例がいくつかの分布から引き出され、いくつかのカーネルを修正すると仮定します（これをガウスが、ゼロ平均が最も重要なものである）、およびライト・ $((x_i,f(x_i)))_{i=1}^n$ $K$ ここで（が増加するにつれて、小さな距離に敏感になります）。保証は、として、歪みの確率的基準（sup-normの期待、高確率など）がゼロになることです。（ほとんど何の問題にしない---のように見えるが、それはより多くのあなたが選ぶどのように重要な。）
$\hat{f} （バツ）：= \sum_{私} f （ {バツ}_{私} ）（ \frac{K （ c_{n} （バツ - {バツ}_{私} ））}{\sum_{j} K （ c_{n} （バツ - {バツ}_{j} ））} ）、$ $\hat f(x) := \sum_i f(x_i) \left(\frac{ K(c_n(x-x_i)) }{ \sum_j K(c_n(x-x_j))}\right),$ $c_n\to\infty$ $n$ $n\to\infty$ $K$ $c_n$
$L^2$ $\hat f$ $f$ 。ここでのアプローチの多様性を理解するために、きちんとした論文は、Rahimi＆Rechtの「ランダムな基底を持つ関数の均一な近似」です。おそらく、これらすべての祖父はフーリエ展開であると言うべきでしょう。MallatのWaveletに関する本には、これに関する多くの優れた資料があります。
（ツリーメソッド。）別の方法は、関数をツリーとして見ることです。各レベルで、ドメインのパーティションを操作して、たとえば平均ポイントを返します。（ツリーの各枝刈りもパーティションを提供します。）限界では、このパーティションの細かさは関数を離散化せず、正確に再構築しました。このパーティションを選択する最適な方法は、難しい問題です。（「回帰ツリー」の下でこれをグーグルで検索できます。）
（多項式法。スプラインおよびその他の補間手法も参照してください。）Taylorの定理により、適切に機能する関数に任意に近づけることができることがわかります。これは非常に基本的なアプローチのように見えるかもしれません（つまり、ラグランジュ補間多項式を使用するだけです）が、物事が面白くなるのはいます補間するポイント。これは、数値積分のコンテキストで広範囲に調査されました。「clenshaw-curtis求積法」と「gaussian求積法」のトピックの下で驚くべき数学を見つけることができます。ここで仮定と保証のタイプが上記に表示されているものとは大幅に異なるため、ここにこれを投げています。私はこの分野が好きですが、これらの方法は次元の呪いに本当にひどく苦しんでいます、少なくともこれが以前よりも議論されていない理由だと思います（数学で数値積分を行う場合、単変量領域の求積法を行うと思います、ただし、多変量ドメインのサンプリング手法）。

関数クラスのさまざまな制限を考慮すると、上記をインスタンス化して、他のあらゆる種類の広く使用されているシナリオを取得できます。たとえば、ブール値関数の場合、しきい値（1.）は、最近傍推定器、またはローカルカーネル（ガウス）を持つSVMによく似ています。上記のものの多くは、次元の呪いに苦しんでいます（境界は次元への指数関数的な依存性を示します）。機械学習では、クラスをいくつかのファミリに明示的に制約する（つまり「パラメトリックメソッド」）か、通常は近似の品質をターゲット関数の複雑さに関連付ける何か（つまり、ブースティングにおける弱い学習の仮定）。

$f:\mathbb{R}^d \to \mathbb{R}$

f （ バツ ） = \sum_{j = 0}^{2 d} h_{j} （ \sum_{私 = 1}^{d} g_{j 、 私} （ {バツ}_{私} ） ） 、

$f(x) = \sum_{j=0}^{2d}h_j\left(\sum_{i=1}^d g_{j,i}(x_i)\right),$

g_{j, i} : R \to R

$g_{j,i} : \mathbb{R}\to\mathbb{R}$

h_{j} : R \to R

$h_j:\mathbb{R}\to\mathbb{R}$

g

$g$

h

$h$

Θ (d^{2})

$\Theta(d^2)$

（関数クラスについてのみ尋ねましたが、メソッドにも興味があると思いました。もしそうでなければ..）

— マトゥス
ソース

「1957年から！」、それは1957年の指数関数なのですか、それは未来からですか？！:)

— nbro