メンバーシップクエリを使用した正確な学習の組み合わせ特性

15

編集：私は一週間で応答/コメントを受け取っていないので、私は問題について何か聞いて満足していることを追加したいと思います。私はその地域で働いていないので、たとえそれが単純な観察であっても、私はそれを知らないかもしれません。「私はその地域で働いていますが、このような特徴は見ていません」というようなコメントさえあれば役立つでしょう！

バックグラウンド：

学習理論には、よく学習された学習モデルがいくつかあります（たとえば、PAC学習、オンライン学習、メンバーシップ/等価クエリを使用した正確な学習）。

たとえば、PAC学習では、概念クラスのサンプルの複雑さは、クラスのVCディメンションの観点からすてきな組み合わせ特性を備えています。したがって、一定の精度と信頼度でクラスを学習したい場合は、サンプルで行うことができます。ここで、はVC次元です。（時間の複雑さではなく、サンプルの複雑さについて話していることに注意してください。）精度と信頼性に関して、より洗練された特性もあります。同様に、オンライン学習のミスバウンドモデルには、優れた組み合わせ特性があります。 $\Theta(d)$ $d$

質問：

メンバーシップクエリを使用した正確な学習のモデルで同様の結果が知られているかどうかを知りたい。モデルは次のように定義されます：入力を与えるブラックボックスにアクセスできます。がいくつかのコンセプトクラス由来することはわかっています。できるだけ少ないクエリでを決定します。 $x$ $f(x)$ $f$ $C$ $f$

メンバーシップクエリを使用した正確な学習のモデルで概念を学習するために必要なクエリの数を特徴付ける概念クラス組み合わせパラメータはありますか？ $C$

私が知っていること：

私が見つけたそのような最高の特性評価は、本稿のServedioとGortlerによるもので、Bshouty、Cleve、Gavaldà、Kannan、Tamonに帰属するパラメーターを使用しています。彼らは、と呼ばれる、コンビナトリアルパラメータ定義、以下の性質を持つ概念クラスですが、。（このモデルでを学習するために必要なクエリの最適数をとします。） $\gamma^C$ $C$ $Q_C$ $C$

$Q_C = \Omega(1/\gamma^C)\qquad Q_C = \Omega(\log |C|) \qquad Q_C = O(\log |C|/\gamma^C)$

この特性評価はほぼ厳密です。ただし、上限と下限の間に2次ギャップが生じる可能性があります。たとえば場合は場合、下限はですが、上限はです。（このギャップは達成可能だと思います。つまり、下限は両方ともですが、上限はある概念クラスが存在します。） $1/\gamma^C = \log |C| = k$ $\Omega(k)$ $O(k^2)$ $\Omega(k)$ $O(k^2)$

reference-request machine-learning lg.learning

— ロビン・コタリ
ソース

1

「Haystackディメンション」は、関数の最適化のクエリの複雑さを特徴づけます：cis.upenn.edu/~mkearns/papers/haystack.pdfこれはあなたが望むものとは異なりますが、特徴づけについて知られていることを議論する関連の仕事を楽しむかもしれません正確な学習のクエリの複雑さ。

— アーロンロス

6

匿名のムースの例のポイントを理解するために、{0,1} ^ nの1つのポイントのみで1を出力する関数で構成される概念クラスを考えます。クラスのサイズは2 ^ nであり、最悪の場合は2 ^ nクエリが必要です。探しているものに類似した何かを提供する最悪の場合のティーチングディメンション（Goldman＆Schapire）を見てください。

— 匿名のガチョウ
ソース

1

ありがとう！Teaching Dimensionを検索すると、Extended Teaching Dimensionに移動しました。これは、質問で言及した組み合わせパラメーターに似ており、トピックに関する他の多くの興味深い論文につながりました。

— ロビンコタリ

4

私はそのような特徴づけを知りません。ただし、ほとんどすべての概念クラスについて、すべてのポイントを照会する必要があることに注意する価値があります。これを確認するには、ハミング重み1のすべてのn次元ブールベクトルで構成される概念クラスを考えます。この概念クラスは、学習するために明らかにn個のクエリを必要とします。おそらく、この観察結果を一般化して、ほぼすべてのコンセプトクラスですべてのクエリを実行する必要があることを理解できます。

入力として概念クラスCが与えられた場合、メンバーシップクエリを使用して概念クラスを正確に学習する複雑さを判断したり、定数と言って近似したりすることはNP困難です。これは、「良好な」組み合わせの特徴が存在しないことを示すものです。そのようなNP困難な結果を証明したいが失敗する場合は、ここに投稿してください。私はそれを理解できるかどうかを確認します（いくつかのアイデアがあります）。

— 匿名のムース
ソース

1

回答ありがとうございます。ほぼすべての概念クラス（クラスの合理的な分布下）が学習しにくいという事実があっても、一部のクラスは学習が容易であり、これを特徴付ける組み合わせパラメーターがあると興味深いでしょう。パラメータの計算が難しいかどうかは気にしません。VCディメンションでさえ、効率的に計算できることは知られていません。

— ロビンコタリ

1

他の人は答えを指摘していますが。私はそれを自己完結させ、なぜ教育の次元が答えであるのかを示すかもしれないと思った。

$C$ $X$ $S\subseteq X$ $f$ $f$ $C$ $S$

$\mathcal{T}(f)$ $f$ $(f,C)=min\{\ |S|\ | \ S\in \mathcal{T}(f) \}$ $f$ $_{min}(f)$ $\mathcal{T}(f)$ $(C)=$ $_{f\in C}$ $(f,C)$ $C$ 。

$f$ $(f,C)$ $_{min}(f)$ $(C)$ $f$

— セテロペレ
ソース

f

$f$

f

$f$

f

$f$

@RobinKothari TDは、MQアルゴリズムのクエリの最小数の下限です。実際には、不正行為やコードトリックなしに盲目的にこの限界を達成するアルゴリズムはないかもしれません。Angluinの「Queries Revisited」論文で、彼女は、最悪の場合に最適なMQアルゴリズムが必要とするクエリの数を表すMQと呼ばれるパラメーターについて議論しました。詳細は思い出せませんが、確かにTD <= MQです。

— seteropere

1

私が興味を持っていたのは（この質問をしたとき）メンバーシップクエリで正確な学習を特徴付けるパラメーターでした。上限と下限の両方である必要があります。質問でこれを達成するパラメーター（ログ| C |ファクターまで）の例を提供しました。私の質問は、より良いものが知られているかどうかでした。

— ロビンコタリ