一連の文法規則を使用して英語を一般化することはできますか?


10

プログラミング言語には、有効なステートメントと式の構成を管理する一連の文法規則があります。これらのルールは、ユーザーが作成したプログラムの解析に役立ちます。

英語(ロケール固有)のステートメントを正確に解析でき、AIベースのプロジェクトで使用するために実装できる機能的に完全な一連の文法規則はありますか?

オンラインで利用できるNLPツールキットはたくさんありますが、それほど効果的ではありません。それらのほとんどは、特定のコーパスを使用してトレーニングされ、式のさまざまな部分間の複雑な相関関係を推測できない場合があります。

言い換えれば、コンピュータが英語で書かれた精通した文を、まるで大人の英語を話す人間が​​構文解析したかのように構文解析できるかどうかです。

編集:それが単純な文法規則を使用して表現できない場合、それを一般化するためにどのような意味構造を使用できますか?

EDIT2:この論文は、自然言語には文脈自由性がないことを証明しています。複雑すぎても解決策を探しています。


2
私はこれをバックアップするための参照はありませんが、あなたがこれを行うことができないことは数学的に証明されていると思います-英語を理解することは完全に含まれ得ないより高いレベルの意味論的推論を要求する文脈の手がかりを必要とすること文法規則。
antlersoft 2016年

ウィキペディアによると、自然言語のほとんどの部分は文脈自由です:en.wikipedia.org/wiki/…–
inf3rno

回答:


8

英語(ロケール固有)のステートメントを正確に解析でき、AIベースのプロジェクトで使用するために実装できる機能的に完全な一連の文法規則はありますか?

はい、正確にいいえおそらくそれを解析します。

どうして ?

サウンドから意味を導き出す方法についての私の理解によれば、2つの補完的な戦略があります。

文法規則: コミュニケーションを促進するために単語を順序付けるための規則ベースのシステム。ここでの意味は、個別の音とそれらの独立した意味の相互作用から得られるため、規則書に基づいて文を解析できます。

EG 「これは勝利だった」:パーサーは、対応する意味を持つ代名詞(This)を抽出します(特定の人または物)。動詞(だった)と対応する意味(があった)。(a)そして、ここで私たちはいくつかの解析の問題から始めます、パーサーは何を抽出しますか、名詞または不定冠詞?では、文法規則の本を調べて、その意味(不明確な記事のいずれか)を解決します。次の単語を解析してそれを参照する必要がありますが、とりあえず、最後に(勝利)名詞について説明しましょう。(動詞でもかまいませんが、文法規則のおかげで、(勝利、征服)という意味を持つ名詞をまとめました。つまり、最終的には(意味を結合する)とします。

勝利の特定のことが起こりました。十分に近く、私は他のいくつかのルールを詳しく説明していますが、それは重要ではありません。他の戦略は次のとおりです。

単語や音が特定の意味に関連付けられている辞書辞書(または辞書)。ここで意味は、1つの単位として1つ以上の単語または音から派生します。これはパーサーに問題をもたらします。なぜなら、それは何もパースしないはずだからです。

EG "Non Plus Ultra"そしてAIパーサーは、このフレーズが解析されず、代わりに意味と一致することを認識します:

最高点または最高点

字句単位は、それ自体が最初の例の一部になる可能性があるという点で別の問題を引き起こし、その結果、再帰が発生します。

コンピュータが英語で書かれた精通した文を、まるでそれが大人の英語を話す人間によって解析されたかのように解析することが可能であるなら?

私が見たほとんどの例は文法規則の本か語彙の部分を効果的に扱っていますが、私は両方の組み合わせを認識していませんが、プログラミングの観点からは、それが起こる可能性があると信じています。

残念ながら、この問題を解決したとしても、AIは厳密に意味を理解するのではなく、非常に複雑な同義語を提示します。さらに、(コメントで述べたように)コンテキストが文法と語彙の戦略に影響を与えます。

単純な文法規則を使用して表現できない場合、それを一般化するためにどのような意味構造を使用できますか?

文法規則と語彙の両方があり、両方がAI固有のコンテキストと経験に基づいて変更および影響を受ける可能性がある混合されたもの、およびこれらのオブジェクトを処理するためのシステムは、1つの方法である可能性があります。


私の英語の範囲は正式な使用に制限されています。メタファーやイディオムなどの非常に複雑なエンティティを一度スキップすると、状況依存の文法を定義することで目的が達成されますか?
skrtbhtngr 2016年

@skrtbhtngr:理論的にはそうです、正式な言語と同じようにサブセットになりますが、コンテキストは依然として難しい問題です。
キノ

サイドケース:さまざまな理由でモーターバイクについて話している「それは勝利」でした(最初のバイク、焦げたバイク)。
Tensibai 2017年

私はテキストの意味を理解することが難しい部分であることに同意します。「ピーターは映画を見に行きました。」隠された多くの情報が含まれています:ピーターは男性です、彼はおそらく彼女と一緒に映画を見るためにそこに行きました、彼の場所は変更されました...たとえば、テキストに基づいてグラフをモデル化することは十分ではありません。静的なものではなく、複数のタイムライン、イベント、コンテキストを記述できます。さらに、前後の文を理解するために推測して使用できるすべての文には隠された情報があります。
inf3rno 2018年

2

英語には正式な定義がないだけなので、厳密な意味での答えは「ノー」だと思います。つまり、誰も英語を制御せず、誰もが遵守する必要がある正式な文法を公開しません。英語は経験的なプロセスを通じて構築され、矛盾や欠陥がありますが、人間の心の確率論的な性質により、それらを回避することができます。

たとえば、この「文」:

この文には動詞はありません

動詞がないため、厳密には文ではありません。しかし、誰かがそれが何を意味するのか理解するのに何か問題がありましたか?疑わしい。そのための正式なルールを考えてみてください。そして、それはほんの一例です。

では、ケースの90%をカバーし、ほとんどの実用的な用途に「十分」である正式な文法を考え出すことができますか?おそらく、たぶんおそらく。しかし、100%に到達することは不可能だと確信しています。


1
あなたの例は文法ではないので、なぜ文法はそれを説明するための正式なルールを含まなければならないのですか?
BlindKungFuMaster 2016年

1
それがまさに私の趣旨です。それは明らかに英語であり、明確に理解できますが、一般的に使用されている英語の文法の定義を満たさない場合。したがって、これは、実際の話し言葉の英語が厳密な文法の範囲外で動作する方法の例です。
mindcrime 2016年

2

これは、2つの側面からなる循環的な問題であると結論付けました。構造はコンテキストなしでは推論できませんが、構造を知っているとコンテキストの推論にも役立ちます。したがって、ここにあなたの複雑な解決策があります:文章の単語の組み合わせによって決定されるコンテキスト(組み合わせと検索の問題)から始めて、そこから構造または「解析」を決定します(このステップでいくつかを除外することもできます)意味のない単語または少なくともそれらに小さい重みを割り当てる)、コンテキストに戻り、解析に戻り、意味に到達するまで続けます。したがって、反復的で再帰的な削減により、問題全体を解決できます。


2

私は以前のすべてのコメントに強く同意しません。それらが間違っているからではなく、間違っているのではなく、誤解を招くからです-意図的ではありませんが。

例:これらの問題を学問的な立場から見ると、問題は常に乗り越えられないように見えます。これは、すべてが他のすべてとは別に評価され、計算されるためです。

答えは主に単語の関連付けにあります。デジタルブックの膨大なデータベースを処理できるプログラムを作成し、すべての単語とそれに関連付けられているその言語のすべての単語を登録する必要があります。さらに、関連する各単語とその関連する句読点を含むすべての統計情報。

これにより、AIがいくつかのことを決定できる基礎が得られます。

  1. 与えられた文の構造が正しいかどうか。
  2. 構造が悪い場合、言われていることの文脈と意図を決定する確率はどれくらいか。
  3. 統計によると、多面的な単語(Triumph)の正しい意味と適用は、確率によるものです。
  4. 会話が行われる可能性が高い場所を特定するため。
  5. 正しい文法と句読点はどうあるべきか。

したがって、結論として、関連性と確率という2つの点に注意する必要があります。

言語モデルをデジタルでデータベース化する場合、単語と文の「文字列」の可能性が発生するため、テキストサンプルの筆記の前、最中、および後に、任意の文の言語構造のすべてのバリエーションを決定できます。言語モデルパターンに対するこの密接な制御は、「件名」や「オブジェクト」などの機密コンポーネントをコードで簡単に判別できることを意味します。


それは楽観的すぎると思います。これが機能するには言語が乱雑です。
Oliver Mason
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.