定理を証明するために、深いネットワークを訓練できますか？

一次述語計算に多数の証明があると仮定します。また、その形式の数学の領域にも公理、帰納法、定理があると仮定します。

証明された各命題と、その特定の命題を取り巻く既存の理論の本体を、トレーニングセットの例として、また関連するラベルとしての命題の既知の良い証明と考えてください。ここで、このサンプルセットでトレーニングするために特別に設計されたディープな人工ネットワークと、そうするためにハイパーパラメーターが正しく設定されていることを考えます。

新しい命題の提示と、それを取り巻く既存の理論が入力で一次述語計算で提示することで、出力で証明を生成するような方法で、深い人工ネットワークを訓練することは可能ですか？

（もちろん、そのような証明は手動でチェックする必要があります。）

結果の良い証明の割合が十分に高い場合、訓練された深層ネットワークに命題を提案する遺伝的アルゴリズムを作成し、それによって証明を作成することは可能でしょうか？

それは可能ですか？

この種の深いネットワーク設計を使用して、Collat​​z予想またはRiemann予想を解決したり、数学者が正当な証明に到達できるように少なくともパターンを再配置することは可能でしょうか？

過去数十年にわたって開発された既存の生産システムには、推論ルールがコーディングされています。それらは、すべての古典的なロジックをシンボリック言語にエンコードし、機械的に処理できるというライプニッツのビジョンに基づいています。一次述語論理が開発され、命名法が形式化されました。

自動定理証明のビジョンはゲーデルの2つの不完全性定理によってかなり挑戦されましたが、チューリングの完全性の仕事とフォンノイマンによってそれを実際に実現するアーキテクチャの開発は、推論の機械的プロセスの自動化に向けて仕事を復活させました。

MITのAIラボは、ミンスキーの時代にそのような努力で活気づきましたが、組み合わせ爆発と呼ばれるものは、非自明な複雑さのarbitrary意的な定理を自動的に証明するために必要なスペースを検索するためのコンピューティングリソースの可用性が不十分であることを示しました。結合規則の問題を克服するために、メタルールとヒューリスティックアプローチを使用した、接続マシンとさまざまなスキームと呼ばれる大型の並列コンピューターが採用されました。

人工ネットワークが導入され、プロダクションマシンに匹敵するという考えは、最初に提案されたときにLISPコミュニティによって打ち切られました。しかし、コンピューティングリソースの増加と機械学習の最近の成果でかなりの成功を収めた状況で、多くの人が20世紀に棚上げされていた質問をし始めました。

私たちはすでに、人工ネットワークが任意の論理関数と代数関数を学習できることを知っています。その多くはPAC Learnableです。¹ 適切な学習環境を考えると、論理的推論の学習は明らかに大脳皮質が進化の現在の時点でできることです。ニューラルネットワークがそのレベルの認知に到達するかどうかは、多くの人が尋ねる未解決の問題です。

主流のAIと機械学習の研究は、論理推論ルールの人工的なネットワーク獲得に焦点を当てていません。主にDRoolsや他の一般的に使用される生産システムのようなシステムにプログラミングすることは、より合理的なアプローチが必ずしもそうであるとは限らないためです。問題は、他のソリューションがすでに存在する場合、興味深いが確かに高価なことを行うのに十分な投資利益率があるかどうかです。

この質問は、AIが数学でどれほど優れているかに関する別の人工知能スタック交換の質問に似ています。 そこに与えられた答えの1つがここに当てはまります。

AIに対する最近の関心は政府支出だけでなく商業支出も再燃させているため、この期間にアプローチを却下しないことが重要です。この支出は、人員、計算能力、および以前は乗り越えられないと考えられていた障害を克服するためのインセンティブを増加させます。

脚注

[1] PAC Learningは、与えられたモデルと学習プロセスの期待される精度と信頼性を使用して学習できる仮説のクラスの特徴を考慮して、学習アルゴリズムの実際の計算可能性を決定するためのフレームワークです。

あなたのアイデアは一般的には実現可能かもしれませんが、おそらくニューラルネットワークは間違っています この問題を調査するために使用するのに高レベルのツールです。

ニューラルネットワークの強みは、入力を出力にマッピングするときに高度に非線形なソリューションを可能にする内部表現を見つけることです。ニューラルネットワークをトレーニングすると、これらのマッピングは例の繰り返しによって統計的に学習されます。これにより、トレーニングセットと同様のデータが与えられた場合に適切に補間されるモデルが生成される傾向がありますが、挿する外挿は不適切です。

ニューラルネットワークモデルにもコンテキストがありません。たとえば、生成モデル（たとえば、有効または興味深い証明を作成するシーケンスでトレーニングされたRNN）を使用すると、統計的に楽しいが意味のないゴミを簡単に生成できます。

必要なのは、組み合わせの方法で証拠を調べて確認できる整理の原則です。実際、あなたのアイデアのようなものはすでに複数回行われていますが、私は現在参照を見つけることができません。

これらのいずれも、証明を検索するAI内のニューラルネットワークの使用を止めるものではありません。数学AI内には、たとえば検索を誘導するための優れたヒューリスティックが必要な場所がある場合があります。たとえば、コンテキストXはサブプルーフYであり、興味深いか関連性があります。尤度スコアを評価することであるニューラルネットワークがより広範なAIスキームの一部として行うことができます何か。これは、ニューラルネットワークと強化学習の組み合わせに似ています。

原則として、ニューラルネットワークからアイデア全体を構築することが可能かもしれません。結局のところ、人間の推論が生物学的ニューロンを使用して同様に動作するのではないかと疑う正当な理由があります（人工ニューロンがどちらにも一致することが証明されていません）。ただし、このようなシステムのアーキテクチャは、最新のNN設計またはトレーニング設定を超えています。十分なレイヤーを追加してからデータを入力するだけでは間違いありません。

私たちが知っていること

世界銀行のページによると、「今日、世界には約2億人の高等教育学生がいます。1998年の8,900万人から増加しました。」数学の要件として、100人に1人以上が定理の証明を作成し、その後40年以上生きなければなりませんでした。

定理を証明できる少なくとも2000万のニューラルネットがありますが、それらは肯定でこの質問に答える例に足りません。これらのニューラルネットワークは人工的ではなく生物学的であり、Collat​​z予想やRiemann予想ではなく、以前に証明された定理がほとんど証明されています。

信じるもの

ディープQラーニングと注意に基づくデバイスは、人間の脳の能力がシミュレートされ、おそらくそれを超えるまで、他の学習システムの設計に加わると信じている人は、それらの人間の能力の1つとして定理を含む可能性があります。これらは、述語論理と推論を、人工システムで実現される単なる別の複雑な認知機能として宣言する可能性があります。

一部の機能は人間に染み込んでおり、予約済みの機能であると考える人は、述語論理と推論を人間だけに予約されていると宣言できます。

進捗状況

述語論理と推論を使用して最も単純な証明でさえ証明する能力を示す学術論文はありません。政府や民間企業がある程度の成功を収めている可能性はありますが、そのようなことは明らかにされていません。

人工ネットワークがかなり開発されれば、生産システムや生産やルールに基づいたAIシステムを最も有効に活用できるという考えは、AIの開発の初期に提案されました。それは当時議論され、今では議論されたが、議論は数学的ではないので、不可能であるという強い兆候はない。

確かに人間の思考の他の認知的側面は、AI研究の重要な目的です。ダイアログ、自動化された教育、計画、戦略的分析、および車両操縦はすべて、DQNおよびアテンションベースのネットワークアプローチが提供できる以上のものを必要とする高度な思考のすべての側面ですが、これらの分野での研究努力はかなりのものであり、十分な資金があります。

潜在的なアプローチ

論理的認知能力に向けた研究は、質問で言及されている推測よりもはるかに簡単な、すでにわかっている証拠から始めるべきです。たとえば、2つの非負整数の合計が別の非負整数でなければならないことが証明されています。述語計算では、文字列として表現できます。

$\forall a∈C, b∈C: s=a+b \implies s∈C$

これは、aとbがカウント数のセットのメンバーであり、2つの合計として定義されるsもカウント数のセットのメンバーでなければならないことを示しています。その証明は、一次述語計算の文字列のシーケンスとして表すこともできます。

小さな研究プロジェクトはありません

このような例は、長年の数学のコースを受講し、証明を作成した人には簡単に思えるかもしれません。子供にとっては簡単ではありません。また、論理的推論のすべてのルールを適用し、整数演算などの公式システムの証明に到達するためのメタルールを組み込んだ関数に人工ネットワークを収束させることは非常に困難です。

RNNなどの完全なネットワークをチューリングすることは、MLP（多層パーセプトロン）よりも確実に利点があります。注意ベースのネットワークは、合理的な研究オプションです。以下の参考文献に示されている他のものがあります。

入力ベクトルは数百キロバイトになる可能性があるため、研究には並列コンピューティングプラットフォームが必要です。例のサイズと必要な数は、研究プロセスに1〜2年かかることなく推定することは困難です。

カウント数、プラス記号、および等号の定義を最初に定義する必要があり、それらの定義と公理、仮定、補題、および結果の数は、提案のような形式の入力例の一部である必要がありますその提案とともに、上記で証明されました。

そして、それはたった一つの例を準備する仕事です。推論のルールに関する直感的な知識を深いネットワークにトレーニングするには、数千人が必要です。（説明するのに少なくとも100ページかかる理論上の理由から、INTUITIVEという言葉を非常に慎重に選択しました。）

これは小さなプロジェクトではありません。サンプルデータセットには少なくとも数千のケースが必要であり、各ケースは理論を共有するかもしれませんが、提案が完全に形成され、必要な理論の本体も提示されるように設定する必要があるためです各トレーニング反復の入力時に完全な形で。

私の推測では、単純な数学的提案に応じて実行可能な証明を提供するネットワークを訓練するには、深いネットワーク、収束、および述語計算を適切に理解している優秀な研究者のチームが必要です。

しかし、それは小さな成果ではないでしょう

それは一部の人にとっては馬鹿げた努力のように思えるかもしれませんが、誰かがコンピューターに論理的な方法を教えたのは初めてでしょう。生物、ソクラテスへの論理的推論を教えるには、地球の年齢のすぐ下の自然が必要でした。

人々は、コンピューターが設計によりロジックを実行するデジタル回路で構成されているため、コンピューターは論理的であると考えています。楽しみや金銭のためにハッキングするよりも深く考えたいという傾向があり、何十年もソフトウェア開発に携わってきた人ならだれでも知っています。慎重なプログラミングを行った後でも、コンピューターは論理的な推論をシミュレートせず、任意のバグに対してプログラムされた動作を修正できません。実際、今日のソフトウェア開発のほとんどはバグ修正です。

論理的思考をシミュレートすることは、認知とより広範な人間の能力をシミュレートするための主要なステップです。

参照資料

Jacob Andreas、Marcus Rohrbach、Trevor Darrell、Dan Klein UC、Berkeley 2016 https://arxiv.org/pdf/1601.01705.pdf

表現の複数の層の学習ジェフリーE.ヒントントロント大学コンピューター科学部2007年 http://www.csri.utoronto.ca/~hinton/absps/ticsdraft.pdf

ニューラルチューリングマシン（スライドショー）著者：アレックスグレイブス、グレッグウェイン、イヴォダニヘルカ発表者：Tinghui Wang（Steve） https://eecs.wsu.edu/~cook/aiseminar/papers/steve.pdf

ニューラルチューリングマシン（ペーパー）Alex Graves、Greg Wayne、Ivo Danihelka https://pdfs.semanticscholar.org/c112/6fbffd6b8547a44c58b192b36b08b18299de.pdf 2014

強化学習、ニューラルチューリングマシンWojciech Zaremba、Ilya Sutskever ICLR会議ペーパー https://arxiv.org/pdf/1505.00521.pdf?utm_content=buffer2aaa3&utm_medium=social&utm_source=twitter.com&utm_campaign=buffer 2016

連続および離散アドレッシングスキームを備えた動的ニューラルチューリングマシンCaglar Gulcehre1、Sarah Chandar1、Kyunghyun Cho2、Yoshua Bengio1 https://arxiv.org/pdf/1607.00036.pdf 2017

オンライン自己構築型ニューラルファジィ、推論ネットワークとその応用Chia-Feng JuangおよびChin-Teng Lin IEEE Transactions on Fuzzy Systems、v6、n1 1998 https://ir.nctu.edu.tw/bitstream/11536/ 32809/1 / 000072774800002.pdf

ゲートグラフシーケンスニューラルネットワークLi Yujia Li and Richard Zemel ICLR Conference Paper 2016 https://arxiv.org/pdf/1511.05493.pdf

人のように学び、考える機械の構築Brenden M. Lake、Tomer D. Ullman、Joshua B. Tenenbaum、Samuel J. Gershman Behavioral and Brain Sciences 2016 https://arxiv.org/pdf/1604.00289.pdf

大語彙音声認識のためのコンテキスト依存事前学習済みディープニューラルネットワークGeorge E. Dahl、Dong Yu、Li Deng、およびAlex Acero IEEE Transactions on Audio、Speach、and Language Processing 2012 https://s3.amazonaws.com/ academia.edu.documents / 34691735 / dbn4lvcsr-transaslp.pdf？AWSAccessKeyId = AKIAIWOWYYGZ2Y53UL3A＆Expires = 1534211789＆Signature = 33QcFP0JGFeA％2FTsqjQZpXYrIGm_Train_Drain_Name _ %% Drain％Dent％Difent_Drain％Dent％DifentNede％Dente％Dente％Dente％Dente％Dente％Dente％Dente％Dente％Dente％Dente％Dente％Dente％Dente％Dente％Dente％Dente％Dente％Dente％Dente％Dente％Dente％Dente％DenteNameD3DN」

知識ベースへの学習と推論のためのエンティティと関係の埋め込みBishan Yang1、Wen-tau Yih2、Xiaodong He2、Jianfeng Gao2、およびLi Deng2 ICLR会議論文2015 https://arxiv.org/pdf/1412.6575.pdf

Deep Belief Netsの高速学習アルゴリズムGeoffrey E. Hinton、Simon Osindero、Yee-Whye Teh（Yann Le Cunによるコミュニケーション）Neural Computation 18 2006 http://axon.cs.byu.edu/Dan/778/papers/Deep ％20Networks / hinton1 * .pdf

FINN：高速でスケーラブルな2値化ニューラルネットワーク推論のフレームワークYaman Umuroglu、et al 2016 https://arxiv.org/pdf/1612.07119.pdf

機械学習から機械推論へLéonBottou 2/8/2011 https://arxiv.org/pdf/1102.1808.pdf

ディープラーニングYann LeCun1,2、Yoshua Bengio3＆Geoffrey Hinton4,5 Nature vol 521 2015 https://www.evl.uic.edu/creativecoding/courses/cs523/slides/week3/DeepLearning_LeCun.pdf

可能ですが、おそらく良い考えではありません。

論理的証明はAIの最も古い分野の1つであり、トレーニングを必要とせず、統計的推論に依存しないため、ニューラルネットワークアプローチよりも信頼性の高い専用の手法があります。 、代わりに数学者の友人である演ductive的推論を使用します。

メインフィールドは「自動定理証明」と呼ばれ、研究分野として少し石灰化されたほど古くなっています。多くの革新はありませんが、一部の人々はまだそれに取り組んでいます。

基本的な考え方は、定理証明が単なる古典的または発見的ガイド付き検索であるということです。つまり、受け入れられた前提のセットで構成される状態から始めます。次に、推論の有効な論理ルールを適用して、真である必要がある新しい前提を生成し、所有する知識のセットを拡張します。最終的に、幅優先検索や反復深化などの列挙検索、またはドメイン固有のヒューリスティックを使用したA *などのいずれかにより、望ましい前提を証明できます。また、多くのソルバーは完全であり、検索の分岐要素を減らすため、1つの論理ルール（統合）のみを使用します。