任意の分布に対する不可知論的学習

$D$ $\{0,1\}^d\times \{0,1\}$ $C$ $f:\{0,1\}^d\rightarrow\{0,1\}$ $f \in C$

e r r (f, D) = \underset{(x, y) \sim D}{Pr} [f (x) \neq y]

$err(f,D) = \Pr_{(x,y) \sim D}[f(x) \neq y]$

O P T (C, D) = min_{f \in C} e r r (f, D)

$OPT(C,D) = \min_{f \in C}\ err(f,D)$ 言うアルゴリズム agnostically学習する上の任意の分布、いずれかの場合にが確率ででき関数見つけるよう、所定の時間およびおよび多項式で区切られたからのサンプルの数。

A

$A$

C

$C$

D

$D$

2 / 3

$2/3$

f

$f$

e r r (f, D) \leq O P T (C, D) + ϵ

$err(f,D) \leq OPT(C,D) + \epsilon$

D

$D$

d

$d$

1 / ϵ

$1/\epsilon$

質問：関数のどのクラスが、任意の分布で認知的に学習可能であることが知られていますか？ $C$

単純すぎるクラスはありません！単調な接続詞でさえ、任意の分布で不可知論的に学習できることは知られていないので、関数の自明でないクラスを探しています。

reference-request machine-learning lg.learning

— アーロン・ロス
ソース

価値OPT（C、D）> 0が（間違った仮説のクラスを持っている、つまり際にとらわれない学習がケースに焦点を当てていることを、初心者のための指摘

— スレシュヴェンカト

いい視点ね。OPT（C、D）= 0の特別な場合、これはPAC学習であり、はるかに簡単です。不可知論的学習では、OPT（C、D）が何であっても保証は保持されなければなりません。

— アーロンロス

また、OPT（C、D）> 0の「PAC w / Classification Noise」の場合もあります。正しい仮説クラス（実現可能な設定）がありますが、ノイズのためにラベルがランダムに反転されるため、エラーが発生します。さまざまな設定の名前の混乱が少ないことを願っています。

— レフReyzin

その上部OPTに結合した（C、D）ととらわれない学習のような音

— スレシュヴェンカト

分類ノイズモデルではノイズがarbitrary意的であることが許可されていないため、完全ではありません。そのため、不可知論的モデルで学習（または経験的リスクミニマイザーの発見）を困難にする敵対的なノイズパターンがある場合、分類ノイズモデルでは頻繁に発生しない可能性があります（つまり、PACデルタパラメーターに分類されます）。

— レフReyzin

単純すぎるクラスがない場合、ここにいくつかのPAC学習可能クラスがあります。コメントに応答して、多項式的に多くの仮説を持つクラスは消されます：

~~一定の深さの決定木（および多多仮説のみを持つ他のクラス）~~
~~超平面（異なるラベルを生成する仮説のみ） $R^2$ $O(n^2)$~~
区間の和集合（動的プログラミング）
ビットの最初ののいくつかのパリティ（これとこれを参照） $\log(k)\log\log(k)$ $n$
~~低次元設定の他の仮説クラス。~~

それ以外のほとんどすべては、PACを学習する（少なくとも適切に）NP困難です。

不可知論学習に関するAdam Kalaiのチュートリアルも興味を引くかもしれません。

— レフ・レイジン
ソース

ありがとう。したがって、一定の深さの決定木、2次元の超平面（他の低次元の設定を想定します）はすべて、多項式で多くの関数しか持たないというカテゴリーに分類されます。log（k）loglog（k）ビットのパリティと区間の和集合は、超多項式的に多くの関数を含むという点で興味深いです。これらのような他のものはありますか？

— アーロンロス

確かに、R ^ 2には無限に多くの超平面がありますが、O（n ^ 2）はデータポイントを異なる方法で分類しています。私は頭の上の他の興味深いクラスを知りませんが、もし何かを見つけたら、答えを編集します。

— レフReyzin

あなたは無制限のVC次元クラスが必要ですか？

— スレシュヴェンカト

制限のないVC次元は確かに興味深いでしょうが、大きな有限（固定dの）クラスは既に非常に興味深い（そしてまれに思える）

— アーロンロス

@LevReyzin Kalaiの講義のリンクが機能していません。これを親切に修正してもらえますか？ネットで検索しましたが、これも見つかりませんでした。

— Anirbit