統計学者のための数値最適化に関するリファレンス

統計学者向けの数値最適化手法に関する確かなリファレンスを探しています。つまり、これらの手法をいくつかの標準的な推論問題（たとえば、一般的なモデルのMAP / MLE）に適用します。勾配降下法（直線的で確率的）、EMとそのスピンオフ/一般化、シミュレーテッドアニーリングなど。

私はそれが実装に関するいくつかの実用的なメモを持っていることを望んでいます（それでしばしば論文が不足しています）。完全に明示的である必要はありませんが、少なくとも確かな参考文献を提供する必要があります。

おおざっぱな検索の結果、いくつかのテキストが見つかりました。ケン・ランゲによる統計学者のための数値分析とジョン・モナハンによる統計学の数値的方法。それぞれのレビューは混合されている（そしてまばらな）ようです。2つのうち、目次をよく読んで、Langeの本の第2版が私が求めているものに最も近いことを示唆しています。

James Gentleの計算統計（2009）。

James Gentleの行列代数：統計、理論、計算、および応用（2007）、本の終わりに向かって、最初も素晴らしいですが、あなたが探しているものとは異なります。

クリストファー・M・ビショップのパターン認識（2006）。

Hastie et al。の統計学習の要素：データマイニング、推論、および予測（2009）。

次のような質問に答えるテキストのような低レベルのものを探していますか？「行列と高次元の配列を1次元配列として格納する方が効率的である理由と、通常のMでそれらにインデックスを付ける方法（0、1、3、...）方法？」または「勾配降下法、EMなどの標準アルゴリズムを最適化するために使用されるいくつかの一般的な手法は何ですか？」

機械学習に関するほとんどのテキストは、探しているトピックの詳細なディスカッションを提供します。

Nocedal and Wrightsの本

http://users.eecs.northwestern.edu/~nocedal/book/

は一般的に最適化の良い参考資料であり、彼らの本の多くは統計学者にとって興味深いものです。非線形最小二乗に関する章全体もあります。

ケネスランゲによる最適化（Springer、2004年）は、ラッセルスティールによってJASA でレビューされました。Jan de Leeuwによるもの（courses / 202B）のような、マトリックス計算と最適化の入門コースのGentle's Matrix代数を含む優れた教科書です。

これらの補足として、マグナス、JR、およびH.ノイデッカー（2007）を見つけることができます。Matrix Calculus with Applications in Statistics and Econometrics、3rd edは重いですが便利です。行列を使った無限小演算の完全な処理を開発し、最適化、MLE、非線形最小二乗などの多くの典型的な統計タスクに適用します。結局のところ、マトリックスアルゴリズムの後方安定性を把握することになる場合は、マトリックス計算を正しく理解することが不可欠です。私は個人的に、マトリックス統計のツールを使用して、空間統計および多変量パラメトリックモデルの漸近的な結果を導き出しました。