ニューラルネットワークの数学的背景


11

これがこのサイトに適しているかどうかはわかりませんが、私はMSEをコンピュータサイエンス(応用数学のBS)で始めており、機械学習の強力なバックグラウンドを取得したいと考えています(おそらく博士号を取得する予定です)。私のサブインタレストの1つはニューラルネットワークです。

ANNの良い数学的背景は何ですか?機械学習の他の領域と同様に、線形代数が重要だと思いますが、数学の他のどの領域が重要ですか?

ニューラルネットワーク:体系的な紹介またはパターン認識のためのニューラルネットワークを読む予定です。誰かが何か入力や代替推奨事項を持っていますか?

回答:


10

あなたが与える2番目のリファレンスは、私の意見では、NNに関する最良の本ですが、少し古くなっている可能性があり、ディープアーキテクチャのような最近の開発については扱っていません。基本を正しく理解し、機械学習に関するすべての基本概念に慣れます。

この本を読むと、線形代数、多変量計算、統計の基本的な概念(条件付き確率、ベイズの定理、および二項分布に精通している)が必要になります。ある時点で、変動の計算を扱います。変動の計算に関する付録は十分ですが。


それは私がたくさんの推奨事項の後に私が行ったものです、機械学習に関するビショップの本はいくつかに予告されていますが、あなたがすでにそれを知らないなら学ぶことは非常に難しい本であるはずなので、私は非常に躊躇しました。
Steve P.

5

数学コンポーネントには、高度な代数、三角関数、線形代数、微積分が最低限含まれている可能性があります。

しかし、ボックスの外側でも考えます。アルゴリズムの強固な基盤(Courseraにはアルゴリズムに関する2つのコースがあります)や、MatLab、Octave、またはR(およびJava、C / C ++、Pythonなどの柔軟なプログラミング言語)に習熟していることなど、優れたプログラミングスキルも必要です。これらは、私の意見ではより「応用数学」のスキルであり、理論と応用実装との間の変換の基本であるので、私はあなたの質問に応じてこれらについて述べます。

私は機械学習に関連する多数のCourseraコースを受講しました(そして、Ng教授の機械学習が素晴らしいという他の1つのポスターに同意します)およびNN。数か月前、Courseraはトロント大学とGeoffrey Hintonを通じてニューラルネットワークコース(これがまだ利用可能かどうかは不明)を主催しました。素晴らしいコースと要求:計算の知識、Octave(オープンソースのMatLabのようなクローン)の熟練度、優れたアルゴリズム設計(スケーラビリティー)、および線形代数。

また、(それ自体は数学ではありませんが)自然言語処理(特徴抽出など)、情報検索、統計/確率論、および機械学習の他の領域(より多くの理論を得るため)などのトピックについて考えることもできます。機械学習の基礎(Mohri)や機械学習入門(Alpaydin)などの最近のテキストは、理論と実装の複雑さを橋渡しするのに役立つ場合があります(私の意見では、これは大きな飛躍になる可能性があります)-とその両方テキストは非常に数学が重く、特にファンデーションです。

繰り返しますが、すべては数学とNNに関連していると思いますが、より広い意味でです。


ありがとう。私は学部生として応用数学を専攻していました(そして広範なプログラミングの経験があります)。それで、抽象代数の厳格なコースを除いて、すべてを習得しました。ビショップによる認識。興味のある方ならぜひお勧めします...
Steve P.


2

非常に優れた本(実際には入門ではありませんが、ニューラルネットワークの事前知識はないと思います)は、ブライアンリプリーです。応用数学の学士号を使用すると、準備する必要があります。


2

メイントピックは統計です

多変数計算

数値線形代数(スパース行列など)数値最適化(勾配降下法など、2次計画法)

あなたはガウシアンプロセスとそこに必要な数学を読みたいと思うかもしれませんいくつかの画像処理/自然言語処理クラスをやってみてください


秋にはNLPコースを受講しています。
スティーブP.
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.