PAC学習の前に何が起こっていたか


9

私は、機械学習/ AIの知識がない初心者として、PAC学習(計算学習理論)を調査しています。私は主に歴史的な観点からモデルを調査しています。

このため、最も重要なことは、もちろんモデルに基づく結果です。これらの結果を文書化した論文はたくさんあります。ただし、PAC学習の前に何が起こっていたかについても書きたいと思います。これは、ValiantがPACモデルの概念を取り入れたところまでの歴史的背景をスケッチするためです。

これまでに見つけた論文/調査はこれを文書化しておらず、機械学習の真の知識を持っていない人として、これを見つけるのは困難です。したがって、ここで私はこの柔らかい質問をします。これを手伝ってくれる十分な専門家がいると信じているからです。参考文献は高く評価されています。

PACの前に何が起こっていたのかを調べて研究できると、学術界がなぜPACモデルに非常に熱心であるかについて理解を深めることができます。


4
学術界のすべてがPACモデルに熱狂しているわけではありません。機械学習の一部の人々は、実際にはそれを好きではありません(特に、より応用された人々)。
Yuval Filmus 2013年

回答:


8

参考文献は高く評価されています。

著者は、彼の出版の初めに彼の結果の文脈と関連性の問題に取り組むことを期待されています。「L.ヴァリアント。学習可能な理論。ACMのコミュニケーション、1984年27日」の紹介をざっと読んだところです。再び、そして、Valiantは確かにあなたの質問をよくカバーしていることがわかりました。

Valiantによるオリジナルの論文は無料で入手でき、読むことも難しくありません。(セクション7を除きます。これは、作者が挑戦的な数学的問題にも取り組むことができることを証明するだけで、論文の実際の内容にはあまり貢献しません。)少なくともその導入部を読むことは、これに対する過度に長い回答を読むよりもやりがいがあります。質問なので、実際に試してみることをお勧めします。


この回答の残りの部分では、序文の一部を引用して、この序文を読むことが歴史的背景についての質問に答えるかどうかを示します。ただし、著者にはそのような質問に対して偏見を抱く自然な特権があることに注意してください。

...そのようなシステムは、少なくとも、非常に良いスタートです。まず、事前にプログラムされた知識を具体化するシステムの最も有名な例、つまりDENDRALMYCINなどのエキスパートシステムを検討する場合、命題計算以外の論理表記法は基本的に使用されません。

命題計算は、述語計算や今日使用されるタイプ理論のさまざまなシステムよりもかなり弱いため、これはコンテキストにとって興味深い情報です。(ただし、奇妙なことに、Prolog(1972)とML(1973)は、「そのような」エキスパートシステムのメタ言語として意図されたものであり、私が知る限り、単純な命題論理を超えているようです。また、リレーショナルモデル( 1969)データベース管理は述語論理に基づくと主張されています。)

おそらく、このペーパーに含まれている主な技術的発見は、学習の確率論的概念により、ブール関数のクラス全体に対して高度に収束的な学習が可能になることです。これは、このアプローチを、学習が信頼できる演繹を行うには不十分な情報からいくつかの一般的なルールを「誘導」するプロセスと見なされる従来のアプローチと区別するように見えます。

ここで完全に同意します。ソリューションが与えられた問題をどのように解決できるか、そしてそれがどのような意味でソリューションであるかを説明できることが重要です。そうしないと、疑わしいヒューリスティックのバグのある実装と適切なヒューリスティックの正しい実装を区別できない「no-freeランチ」の定理になってしまいます。

要約すると、このホワイトペーパーでは、アルゴリズムの複雑さによって許可される、学習可能なものの限界を探求することを試みます。これらの結果は、前述の3つの特性((1)-(3))を調整しようとするため、学習に関するこれまでのさまざまな研究とは区別できます。私たちのアプローチに最も近いものは、帰納推論の文献です[...]。統計およびその他のツールを使用して、パターンの認識と分類に関する大量の作業があります[...]。学習は、あまり正式ではないさまざまな意味で、人工知能の分野として広く研究されてきました。

プロパティ((1)-(3))は、(1)「マシンは、特徴付けられる概念のクラス全体を確実に学習できる」、つまり(2)「汎用知識には適切かつ重要」、および(3)「計算プロセスは、実行可能な(つまり、多項式の)ステップ数のみを必要とします。


弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.