統計クエリモデルアルゴリズム？

クロスバリデーションされたQ＆Aでこの質問をしましたが、統計よりもCSに関連しているようです。

個々の観測自体ではなく、データセットの統計特性から学習する機械学習アルゴリズムの例を教えてください。つまり、統計クエリモデルを使用できますか。

PACモデルで機能するほぼすべてのアルゴリズム（パリティ学習アルゴリズムを除く）は、SQモデルで機能するように作成できます。たとえば、このBlumらの論文を参照してください。いくつかの一般的なアルゴリズムが同等のSQに変換されます（実用的なプライバシー：SuLQフレームワーク）。このペーパーは原則として「プライバシー」に関係していますが、それは無視してかまいません。実際には、SQクエリでアルゴリズムを実装するだけです。

一方、不可知論的学習はSQモデルでははるかに困難です：計算上の問題は別にして（これらは重要ですが）、不可知論的学習に必要なサンプルの複雑さは、実際にアクセスできる場合、正確な学習に必要なものとほぼ同じですデータポイント。一方、SQモデルでは不可知論的学習がはるかに困難になります。単調な選言のような単純なクラスであっても、通常は超多項式的に多くのクエリを作成する必要があります。Feldmanによるこの論文（進化への応用を伴う統計クエリ学習の完全な特性評価）またはGupta et al。によるこの最近の論文を参照してください。（接続詞と統計クエリバリアの非公開リリース）

SQモデルは、ノイズトレラント学習を分析するために作成されました。つまり、統計クエリを作成することで機能するアルゴリズムは、分類ノイズの下で機能します。アーロンが言ったように、私たちが発見したほとんどのPACアルゴリズムは、SQモデルに同等のものがあります。唯一の例外はガウス消去法で、これはパリティの学習に使用されます（巧妙なアプリケーションを使用することもできます）分類ノイズモデルでlog（n）loglog（n）サイズのパリティを学習します）。また、統計クエリではパリティを学習できないこともわかっており、決定木などの最も興味深いクラスがパリティ関数をシミュレートできることがわかります。したがって、多くの興味深いクラス（ディシジョンツリー、DNFなど）のPAC学習アルゴリズムを取得するために、統計クエリモデルでは機能しない根本的に新しい学習アルゴリズムが必要であることがわかります。

アーロンの反応を少し明確にしたいと思います。ほぼすべての不可知論的アルゴリズム（ガウス消去法を使用するものを除く）をSQモデルで動作させることができます。当然、不可知論的学習は非不可知論的学習よりも難しいですが、これは独立した質問です。