AI研究者の数学的前提条件は何ですか？

人工知能のアルゴリズムの中核部分を理解し、独自のアルゴリズムを開発するための数学的な前提条件は何ですか？

特定の本を参照してください。

グッド数学財団

これらのトピック内の用語と基本的な概念を含め、中間代数と微積分および離散数学の他のいくつかの基礎との完全な能力を確保することから始めます。

• 無限シリーズ
• 論理的証明
• 線形代数と行列
• 分析ジオメトリ、特にローカル極大とグローバル極極（最小と最大）の区別、鞍点、および変曲点
• 集合論
• 確率
• 統計学

サイバネティックスの基礎

Norbert Wiener、Cyber​​netics、1948年、MIT Pressには、時系列とフィードバックの概念が含まれており、その後の作品には見られない明確さとコマンドがあります。また、ビット内の情報量を定義するためのシャノンのlog ₂式から始まる情報理論の紹介も含まれています。これは、情報エントロピーの概念の拡張を理解するために重要です。

微積分

優れた微積分の本を見つけ、これらのカテゴリーの主要な理論とアプリケーションについて明確にしてください。

• 時系列
• 無限シリーズ
• 収束—人工ネットワークは学習中に最適に収束します。
• 偏微分
• ヤコビ行列とヘッセ行列
• 多変量数学
• 境界領域
• 離散数学

その多くは、微積分、ストラン、MIT、ウェルズリー-ケンブリッジプレスにあります。PDFはWeb上で入手できますが、基本的なものであり、特に深くはありません。私たちの研究室のライブラリにあるものは、中間計算、ハーレー、ホルトラインハート＆ウィンストン、1980年です。それは包括的であり、いくつかの点で、プリンストンが2年生に使用しているホームライブラリにあるものよりもレイアウトが優れています。

あなたはℝを超えた空間で快適な作業であることを確認してください²（2D超えました）。例えば、のRNNは、ℝなどのスペースであることが多い⁴ ℝthorugh ⁷ため、水平、垂直、ピクセル深度、およびムービーフレームの大きさ。

有限数学

私が考えることができるどの3冊の本の組み合わせもこれらすべてを持っていることは残念です。

• 有向グラフ—これは、ツリーまたは回路（人工ネット）の前に学習します。これは、これらすべての構成のスーパーセットトポロジーだからです。
• 抽象シンボルツリー（AST）
• 高度なセット理論
• 決定木
• マルコフ連鎖
• カオス理論（特にランダムと疑似ランダムの違い）
• フォン・ノイマンとモルゲンシュテルンのゲーム理論から始まるゲーム理論、その分野での独創的な作品
• 離散システムにおける収束、特に整数、固定小数点、または浮動小数点演算における信号飽和への理論の適用
• 統計的平均、偏差、相関、およびエントロピー、相対エントロピー、クロスエントロピーのより漸進的な概念
• カーブフィッティング
• たたみ込み
• 確率、特にベイズの定理
• アルゴリズム理論（ゲーデルの不確実性定理とチューリング完全性）

化学と神経学

高校の化学から化学平衡を思い出すのは良いことです。バランスは、より洗練されたAI設計において重要な役割を果たします。GANの生成モデルと識別モデルの共生関係を理解することで、学生はこの理解を深めることができます。

生物システム内の制御機能は、人工知能研究における概念実証の主要な情報源です。生物学の一部の側面を直接模倣しない適応形態を想像することで研究者がより創造的になると（執筆時点ではまだ離れています）、創造性はAI研究目的の定式化に大きな役割を果たす可能性があります。

それでも、AIはおそらく主に学際的な分野のままです。

私は教授として働いており、最近、他の機関の多くの同僚と相談して、新しいAIメジャーの数学要件を設計しました。

他の回答、特に@FauChrisianは、AIのどこかで役立つ可能性のあるすべての特定のトピックをカタログ化するのに優れていますが、すべてのトピックがコアトピックを理解するのに等しく役立つわけではありません。他の場合では、トピックを理解することは、関連するAIアルゴリズムを理解することと本質的に同じであるため、通常、前提条件の知識を仮定するのではなく、それらを一緒に教えるだけです。たとえば、マルコフ決定プロセスは、グラフ理論と確率の基本をすでに知っている人に教えるのは難しくありません。そのため、通常、数学の個別のトピックとしてではなく、AIコースで強化学習を教えるときにそれらをカバーします。コース。

私たちが決めた数学の要件は次のようになります。

• 離散数学の1または2学期コース。これは、その分野の特定のトピックと同様に、証明と数学的な厳密さで快適さを確立するためのものです。それはほとんど「基礎的な」知識ですが、その一部は非常に有用であることがわかります。無限の総和、グラフの基本、組み合わせ論、および漸近分析の快適さは、おそらく最も直接適用できる部分です。スザンナ・エップの本が好きです。

  • 線形代数の1〜2学期コース。AIのさまざまなトピック、特に機械学習とデータマイニングに役立ちます。Lay＆Layはまあまあの本ですが、おそらく絶対的にベストではありません。ShilovはIan Goodfellowや他の人からの推薦ですが、私自身は試していません。

  • 確率のコース、そしておそらく統計学の現代的なコース（すなわち、ベイズの焦点）。統計学の古いコース、または社会科学者を対象としたコースは、あまり役に立ちません。私の統計学者の同僚は現在Lock5を使用していて、それで良い経験をしています。

  • 少なくとも微分および積分の微積分、そしてできれば少なくともベクトル微積分の偏導関数ですが、おそらく全体の過程です。これは、最適化、機械学習、およびAIへの経済学ベースのアプローチで役立ちます。スチュワートは最も一般的な教科書です。包括的で、3つのコースすべてに使用できますが、説明が必ずしも最良とは限りません。私はまだそれをお勧めします。

それらはコアトピックです。プログラミングの伝統的な背景もない場合は、グラフ理論のコースと、漸近的な複雑さやアルゴリズムの設計と分析の基礎が良い補足になるかもしれません。通常、AI'erは標準的なコンピュータサイエンスのバックグラウンドを持っていますが、それらすべてを非常にうまくカバーしています。

Gradient Descentのような単純なアルゴリズムに関する限り、偏導関数をよく理解する必要があります。特にニューラルネットワークを実装したい場合。また、ほとんどのアルゴリズムは計算速度を向上させるためにベクトル化されているため、行列の計算に慣れる必要があります。これには、行列の次元、積の次元、行列の乗算、転置など、本当に迅速で快適であることが含まれます。ごくまれに、最適な解に直接到達するために行列計算を使用する可能性があるため、この領域からのいくつかの結果で実行できるはずです。次に進むには、いくつかの機能分析を理解する必要があります。これは、シグモイドやtanh、logなどのアクティブ化関数が何を行っているかを直感するために必要です。確率と期待の把握も非常に役立ちます。直交ベクトルと内積についても明確にする必要があります。

そうは言っても、基本的な微積分と行列演算を理解し、AIの概念を学ぶことをお勧めします。何かがわからない場合は、数学を調べてください。

注：繰り返しになりますが、これは開始のみを目的としています。