数式を解くためにニューラルネットワークをトレーニングすることは可能ですか?


24

ニューラルネットワークはおそらくそれを行うように設計されていないことを知っていますが、仮説的に尋ねると、数式を解くためにディープニューラルネットワーク(または同様のもの)を訓練することは可能ですか?

したがって、3つの入力が与えられると、最初の番号、番号(1- +、2- -、3- /、4- *など)で表される演算子記号、および2番目の番号が与えられ、ネットワークをトレーニングした後、有効な結果が得られます。

例1(2+2):

  • 入力1 2:; 入力2: 1+); 入力3 2:; 期待される出力:4
  • 入力1 10:; 入力2: 2-); 入力3 10:; 期待される出力:0
  • 入力1 5:; 入力2: 4*); 入力3 5:; 期待される出力:25
  • など

上記は、より洗練された例に拡張できます。

それは可能ですか?その場合、どのようなネットワークがそれを学習/達成できますか?



1
これは関連があるかもしれません-github.com/deepmind/mathematics_dataset
GaneshTata

回答:


21

はい、完了しました!

ただし、アプリケーションは電卓やそのようなものを置き換えるものではありません。私が関係している研究室では、人間がこれらの問題をどのように解決するかをよりよく理解するために、等式推論のニューラルネットワークモデルを開発しています。これはMathematical Cognitionとして知られる分野の一部です。残念ながら、私たちのウェブサイトはそれほど有益ではありませんが、そのような仕事の例へのリンクはここにあります。

それとは別に、ニューラルネットワークを拡張して外部メモリストア(例:ニューラルチューリングマシン)を含める最近の研究では、数学の問題の解決を概念実証として使用する傾向があります。これは、多くの算術問題に、中間結果が格納された長い手順が関係しているためです。長いバイナリの加算と乗算に関するこのペーパーのセクションを参照してください。


私にとっては、ニューラルネットだけでなく、外部メモリを備えたニューラルアーキテクチャです。NTMやDNCなどのアーキテクチャは、実行中の処理を追跡することで反復プロセスを実行できるため、最短パスなどのアルゴリズムを解決するために使用できます(壊滅的な忘却はありません)。しかし、私にとっては、2番目の答えで述べたように、教師あり学習を使用するのは間違っています。
シャーマンシリワードハナ

最初のリンクは機能していませんが、代替品はありますか?
ケノーブ

両方のリンクがちょうど私のために働いた、なんて素晴らしい論文でしょう!
ザック・ディアス

8

あんまり。

ニューラルネットワークは、隠れた変数がある場合に入力間の非線形関係を決定するのに適しています。上記の例では、関係は線形であり、非表示の変数はありません。しかし、たとえそれらが非線形であっても、従来のANN設計はこれを達成するのにあまり適していません。

慎重にレイヤーを構築し、トレーニングを厳重に管理することにより、ネットワークに一貫して出力4.01を生成させることができます。たとえば、入力に対して2、1(+)、2ですが、これは間違っているだけでなく、本質的に信頼性がありません技術の応用。


5

1)可能です!実際、これは人気のあるディープラーニングフレームワークKerasの例です。このリンクをチェックして、ソースコードを確認してください

2)この特定の例では、リカレントニューラルネットワーク(RNN)を使用して問題を一連の文字として処理し、回答を形成する一連の文字を生成します。このアプローチは、単純な加算問題の解決について人間が考える傾向とは明らかに異なり、おそらくそのような問題をコンピューターに解決させる方法とは異なることに注意してください。ほとんどの場合、これはKerasを使用した連続学習の例です。順次入力または時系列入力を処理する場合、RNNは一般的な選択肢です。


1

はい-かなり難しい問題に対するDLソリューションについて説明している例から、自然言語で記述されたプログラムのソースコードを生成することで、より多くのことを達成することが可能になりました

これらはどちらも回帰問題として説明できます(つまり、検証セットの損失関数を最小限にすることが目標です)が、自然言語の場合の検索スペースははるかに大きくなります。


弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.