均一分布下での2-DNFの適切なPAC学習

サンプルクエリを使用し、均一な分布の下での適切な PAC学習2-DNF式のクエリの複雑さに関する最新の結果は何ですか？またはそれに重要な限界がありますか？

私は学習理論にまったく精通しておらず、この質問は別の分野に動機付けられているため、答えは明白かもしれません。私はカーンズとヴァジラーニの本をチェックしましたが、彼らはこの設定を明示的に考慮していないようです。

upd。重要なパラメータはクエリの複雑さですが、実行時間も重要です。可能であれば、実行時間はクエリの複雑度とほぼ同じにするか、多くても多項式にする必要があります。

upd。BalcanとHarveyによる論文「Learning Submodular Functions」の付録B（18ページの上部）は、「2-DNFが効率的にPAC学習可能であることはよく知られている」と述べています。しかし、彼らは、この結果が適切な学習のためであるか、参照を与えるかどうかについては言及していません。

reference-request lg.learning boolean-functions

— グリゴリー・ヤロスラフツェフ
ソース

どのようなクエリですか？

— ティモシーサン

単なるサンプル。また、質問は実行時間ではなく、クエリの複雑さに関するものであることを明確にすべきだと思います（編集）。

— Grigory Yaroslavtsev

サンプルクエリがランダムな例（メンバーシップクエリではない）であると想定して、質問に回答しました。

— Lev Reyzin

はい、クエリは一様分布からの単なるランダムな例です。

— Grigory Yaroslavtsev

次の重要な境界を検討するかどうかはわかりませんが、ここに行きます。

まず、明確にするために、 -DNFを -term DNF（私はよく行う）と混同しないようにします。変数 -DNF式は、形式です。 where and、。 $c$ $k$ $c$ $x_1, \ldots, x_n$ $\vee_{i=1}^{k}(\ell_{i,1} \wedge \ell_{i,2} ... \ell_{i,c})$ $\forall 1 \le i \le k$ $1 \le j \le c$ $\ell_{i,j} \in \{x_1, \ldots, x_n, \bar{x}_1, \ldots, \bar{x}_n \}$

最初に、 -DNFにいくつの異なる用語が存在できるかを尋ねます。各項には、変数のうち、それぞれが否定されているかどうかにかかわらず、異なる可能性のある項になります。2-DNFインスタンスでは、なるように、各項が表示されるか、表示されません可能な「ターゲット」。ここで、は仮説空間です。 $c$ $c$ $n$ $2^c\binom{n}{c}$ $|\mathcal{H}| = 2^{2^c\binom{n}{c}}$ $\mathcal{H}$

サンプルを取り、次にすべての試すアルゴリズムを想像してみてくださいサンプルで完全に予測できるものが見つかるまで仮説を立てます。 OccamのRazorの定理は、このアルゴリズムでaを見つけるには、約サンプルを取るだけでよいとしています確率エラー持つターゲット。 $m$ $|\mathcal{H}|$ $m = O(\frac{1}{\epsilon}|(\mathcal{H}|+\frac{1}{\delta})$ $\le \epsilon$ $\ge 1-\delta$

我々の場合には、用、、つまり（適切な）学習を行うには約サンプルが必要になります。 $c=2$ $\lg|\mathcal{H}| = O(n^2)$ $n^2$

しかし、学習におけるゲーム全体は実際にはサンプルの複雑さではありません（ただし、これはゲームの一部であり、特に属性効率の良い学習の場合です）ではなく、多項式時間アルゴリズムを設計しようとしています。効率を気にしない場合は、がPACサンプルの複雑さの最も簡単な答えです。 $n^2$

更新（質問が変更された場合）：

サンプルの複雑さのみを気にすることを明確に述べたので、私はブルートフォースOccamアルゴリズムを提示しました。これはおそらく最も単純な議論です。しかし、私の答えは少し恥ずかしがり屋でした。 -DNFは実際には多項式時間で学習可能です！これは、Valiantの最初の論文「A Theory of the Learnable」の結果です。実際、 -DNFはどのでも学習可能です。 $2$ $c$ $c = O(1)$

議論は次のようになります。 -DNFを "メタ変数"の分離として表示し、例と矛盾するメタ変数を排除することで分離を学習することができます。このようなソリューションは、「適切な」ソリューションに簡単に変換でき、時間かかります。余談ですが、多項式時間アルゴリズムがあるかどうかはまだ明らかにされていません。 $c$ $\approx n^c$ $O(n^c)$ $c = \omega(1)$

サンプルの複雑さも下限であるかどうかについては、答えはほぼイエスです。 Ehrenfeucht et al。によるこの論文。Occamの限界がほぼタイトであることを示しています。 $n^2$

— レフ・レイジン
ソース

ありがとうございました！これは重要な結果です。指数実行時間が役立つとは思いませんでした。しかし、私が念頭に置いているアプリケーションでは、実際には多項式時間がはるかに望ましいです（質問を更新しました）。あなたが説明したアプローチは、この問題で最もよく知られていますか？クエリの複雑さには下限がありますか（実行時間に制限がない場合でも）？

— Grigory Yaroslavtsev

質問の動機となった参照で質問を更新しました。

— Grigory Yaroslavtsev

更新された質問の回答を更新

— Lev Reyzin

また、この場合、指数実行時間は役に立ちません。しかし、一般的にはそうです。指数関数的な時間がある場合、（最適なサンプルの複雑さで）学習は通常簡単です。

— Lev Reyzin

どうもありがとう！参考文献を確認するには少し時間が必要ですが、これまでのところ完全な答えのようです。

— Grigory Yaroslavtsev