ニューラルネット/ MLアルゴリズムの*理論*の教科書？

これまでに見てきたすべての教科書は、MLアルゴリズムとその実装方法について説明しています。

これらのアルゴリズムの動作の定理と証明を構築する教科書もありますか？例えば条件場合、勾配降下は常につながると述べていますか？$x,y,z$$A,B,C$

Mehryar Mohri、Afshin Rostamizadeh、Ameet Talwalkarによる機械学習の基礎は、機械学習理論に関する2012年の本です。

Shai Shalev-ShwartzとShai Ben-Davidによる機械学習の理解：理論からアルゴリズムへそれ。オンラインで無料で入手できます。

Martin AnthonyとPeter Bartlettによる Neural Network Learning：Theoretical Foundationsは1999年のML理論に関する本で、ニューラルネットワークに関するものと表現されていますが、（私の印象では読まなかった）ML理論全般に関するものです。

これらの3冊の本は、主に統計学習理論の主要な視点を取り入れています。また、コンピューターサイエンス理論に触発された計算学習理論と呼ばれる興味深い視点もあります。この分野の標準的な入門書は、1994年のMichael KearnsとUmesh Vaziraniの著書「An Introduction to Computational Learning Theory」です。

別の優れた頻繁に推奨される無料の書籍は、Trevor Hastie、Robert Tibshirani、およびJerome Friedmanの2009年版The Elements of Statistics Learningです。それはおそらく他のものよりも少し理論的ではなく、統計学者の観点からは機械学習者の観点よりも多くありますが、それでも多くの関心を持っています。

また、特に勾配降下に関心がある場合、標準的なリファレンスはStephen BoydとLieven VandenbergheによるConvex Optimizationです。この2004年の本はオンラインで無料で入手できます。

これらの本のどれも、それがあなたが気にかけているものであるなら、深いネットワークの現代の理論について多くを含みません。（たとえば、最適化理論の大部分は凸の場合に関するものであり、深いネットワークは明らかにそうではありません。）これは、この理論が非常に新しいためです。結果の大部分はここ数年で得られたものであり、まだ非常に多くのことがわかっています。しかし、これまでの分野の基本的な理解の概要として、それらのいずれかはあなたがその仕事が行われている論文を理解するためにあなたをうまくセットアップします（おそらく、カーンズ/バジラニは、私がmディープネットワークに正常に適用されているかどうかはまだ不明です-まだ）。

Machine Learning：a Probabilistic Perspective by Kevin P.Murphyは、ベイジアンの観点から多くの理論を説明しています（ロジスティック回帰にのみ使用しましたが、かなり良いと思いました）。Googleで検索すると、書籍全体がPDF形式でオンラインで利用できます。

• ディープラーニング（適応計算と機械学習シリーズ）。これは、アーロン・クールヴィルのヨシュア・ベンジオのイアン・グッドフェローによって書かれました。MIT Pressとの著者の合意により、このWebサイトのブラウザーで利用可能な法的に無料のコピーを読むことができます。www.deeplearningbook.orgこれは、ニューラルネットとそのさまざまなサブブランチの純粋な数学と理論に適しています。

それに加えて、

• 統計学習の要素：データマイニング、推論、および予測は、従来の機械学習の理論的および数学的基盤を構築するための優れた書籍でもあります。これは、Trevor Hastie、Robert Tibshirani、およびJerome Friedmanによって書かれ、https：//web.stanford.edu/~hastie/ElemStatLearn/で著者が無料で入手できます。

Neural Network Design（Martin T. Hagan、Howard B. Demuth、Mark Hudson Beale、Orlando DeJesús）には、ニューラルネットのコンテキストでの最適化についての良い議論があります。