不可知論的PACサンプリングの下限

古典的なPACの学習では、例が whpの誤差範囲を達成するために必要であることはよく知られています。ここで、は概念クラスのVC次元です。 $\Omega(d/\varepsilon)$ $\varepsilon$ $d$

不可知論者の場合、例が必要であることはわかっていますか？ $\Omega(d/\varepsilon^2)$

lg.learning machine-learning

— アリーエ
ソース

下限がどのように見えるかはわかりませんが、Hoefdingの境界がタイトである場合は存在するはずです（私はそうだと思います）。この限界は、1 fnについて、エラーの確率がpの場合、最大でサンプルでpをエラー内に推定する必要がある+- whpなので、 2つのコンセプト、及びおよびVC-寸法は、その結果の例上分布を取る2. VC次元アルゴリズムのみ使用と思わ2であるので、これは可能である- （またはその逆）例は、改善されたHoefdingの境界を意味します。

m = O (1 / ϵ^{2})

$m = O(1/\epsilon^2)$

ϵ

$\epsilon$

f_{1}

$f_1$

f_{2}

$f_2$

p_{1} = p_{2} + ϵ

$p_1 = p_2 + \epsilon$

O (1 / ϵ)

$O(1/\epsilon)$

— Aaron Roth

つまり、私はでタイトHoeffdingがバインドされていると思うのために。上記の推論は一般的に知られていると思います...

p = 1 / 2

$p=1/2$

O (1 / ϵ^{2})

$O(1/\epsilon^2)$

— レフ・レイジン

OK-MLコースの演習が終わったようです... :) AaronとLevのご協力ありがとうございます。

— Aryeh

@アーロン、たぶんこれは答えだったはずです。

— Suresh Venkat

私は今、AnthonyとBartlettによって実際に下限が設定されていることを認識しています（ここのプレゼンテーションを参照）。

2018年9月24日編集。この質問により、私はこれらの年のすべてを占有し続けました。最近では、I。Pinelisと私は、Annに表示される不可知論的PACの下限で正確な最適定数を取得しました。Stat。

— アリーエ
ソース

あなたの論文では、この作品を引用していません（jmlr.org/papers/volume17/15-389/15-389.pdf）。最適化されたサンプルの複雑さは、あなたの仕事に関係のない実現可能なケースでは上限ですか？これらの対応する最適なサンプル複雑度の上限は不可知論者のケースで既知ですか？

— gradstudent

実現可能なケースはすべて関連しているとは思いません。実現可能なケースでは、ERMは最適なレートを保証しません-したがって、Hannekeやその他のすべてのハードワークはログファクターを削除するために費やす必要があり、適切な学習者が最適なレートを達成できるかどうかはまだ不明です。逆に、不可知論者の場合、ERMが最適なレートを達成することは長い間知られています。

— Aryeh