効率的に計算できないが学習可能な関数

（[1]の定理1および3を参照）大まかに言えば、適切な条件下では、多項式時間でチューリングマシンによって効率的に計算できる関数（ "効率的に計算可能"）は多項式ニューラルネットワークで表現できる合理的なサイズで、したがって、任意の入力分布の下で多項式サンプルの複雑さ（「学習可能」）で学習できます。

ここで、「学習可能」とは、計算の複雑さに関係なく、サンプルの複雑さにのみ関係します。

非常に密接に関連する問題について疑問に思っています：多項式時間でチューリングマシンによって効率的に計算できない関数（「非効率的に計算できない」）が存在する一方で、多項式サンプルの複雑さ（「学習可能」）で学習できる関数があります入力分布の下で？

[1] Roi Livni、Shai Shalev-Shwartz、Ohad Shamir、「ニューラルネットワークのトレーニングの計算効率について」、2014

— ミンコフ
ソース

私は「そしてそれによって学ぶことができる」という問題を取り上げます。非常に効率的に計算可能な関数（たとえば、DFA）がありますが、それはおおよそであっても学習するのが非常に困難です。

— アリーエ

これはおそらく、（例えば）のクラスについて何をポイントに欠けているが、

バイアスされたブール関数？（すなわち、多かれ少なかれ、確率

で各値が独立して

であるランダム関数

2^{- \sqrt{n}}

$2^{-\sqrt{n}}$

1

$1$

）。以下のための任意の

2^{- \sqrt{n}}

$2^{-\sqrt{n}}$

、均一分布でのPAC学習は簡単です（0サンプルが必要、定数関数

は良い仮説です）が、どの評価アルゴリズムも超多項式時間を費やす必要があるようです（関数には構造がないため）。しかし、私は質問を誤解している可能性が高いです。

ε > 2^{- \sqrt{n}}

$\varepsilon > 2^{-\sqrt{n}}$

0

$0$

— クレメント

あなたの用語は少しわかりにくいです。「効率的に学習可能」と言うとき、通常は計算効率を指します。「学習可能」と言うだけで、サンプルの効率を暗示します。

— レフReyzin

@Minkov PACの学習には、あらゆる分布に関して学習する必要があります。そうでなければ、質問は興味深いものではありません（クレメントが指摘するように）。

— レフReyzin

なぜ人々は閉会を表明するのですか？これは深く微妙な質問だと思います！

— アリーエ

「効率」が「計算可能性」に置き換えられるこの質問の変形を形式化します。

レッツ $C_n$ 、すべての言語の概念クラスも $L\subseteq\Sigma^*$ 上のチューリングマシンによって認識 $n$ の状態または少ないです。一般的に、のため $x\in\Sigma^*$ と $f\in C_n$ 、評価の問題 $f(x)$ 決定不能です。

ただし、（適切で実現可能な）PAC学習オラクル $A$ にアクセスできるとします。つまり、場合、オラクルはサイズラベル付きサンプルを要求し、そのようなサンプルが未知の分布からiidで描画されたと仮定すると、オラクルは仮説を出力しますの確率で、少なくとも有し、 $C_n$ $\epsilon,\delta>0$ $m_0(n,\epsilon,\delta)$ $D$ $A$ $\hat f\in C_n$ $1-\delta$ $D$ -一般化エラー $\epsilon$ 。この神託はチューリング計算可能ではないことを示します。

標識されたサンプルが与えられると、決定の一つ：実際に、我々は簡単な問題は決定不能であることを示すであろう $S$ が存在するか否か、 $f\in C_n$ と一致 $S$ 。（矛盾を得るために） $K$ が一貫性の問題を決定するチューリングマシンであるとします。

$\Sigma^*$ $\mathbb{N}=\{0,1,2,\ldots\}$ $x\in\{0,1\}^*$ $M$ $x$ $\Sigma^*$ $i$ $x_i=1$ $x_i=0$ $K$ $\tilde K:x\mapsto k$ $k$ $C_k$ $x$ $g:k\mapsto x$ $k\in\mathbb{N}$ $x\in\{0,1\}^*$ $\tilde K(x)>k$

$M$ $M$ $g(|\langle M\rangle|)$ $\langle M\rangle$ $M$ $|x|$ $M$ $M$ $\ell=|\langle M\rangle|$ $x_M\in\{0,1\}^*$ $\tilde K(x_M)>\ell$ $x_M$ $\ell$ $\ell$

— アリエ
ソース

課題：計算可能性を介して「無限」引数を効率を介して最終引数に変換します。@minkovの質問に対する答えは否定的だと思います。効率的に評価できない関数クラスを効率的に学習することはできません。適切なPACまたは実現可能なPACを超えて移動する場合、これは引き続き当てはまると思います。

— アリーエ