最尤推定量-多変量ガウス

環境

多変量ガウス分布は機械学習で頻繁に使用され、次の結果は多くのMLブックおよび派生物なしのコースで使用されます。

次元行列の 形式のデータが与えられ、データが 平均（）および共分散行列（変量ガウス分布に従うと仮定した場合）最尤推定量は次によって与えられます：$\mathbf{X}$$m \times p$$p$$\mu$$p \times 1$$\Sigma$$p \times p$

• $\hat \mu = \frac{1}{m} \sum_{i=1}^m \mathbf{ x^{(i)} } = \mathbf{\bar{x}}$
• $\hat \Sigma = \frac{1}{m} \sum_{i=1}^m \mathbf{(x^{(i)} - \hat \mu) (x^{(i)} -\hat \mu)}^T$

多変量ガウスの知識は多くのMLコースの前提条件であることを理解していますが、多くの自己学習者が統計を跳ね回っていると感じているので、自己完結型の回答に完全に由来することが役立つと思います。 stackexchangeおよびmath.stackexchange Webサイトで回答を探しています。

---

質問

多変量ガウスの最尤推定量の完全な導出は何ですか

---

例：

これらの線形判別分析の講義ノート（11ページ）、またはこれらのものは結果を利用すると、以前の知識を前提としています。

また、部分的に回答またはクローズされている投稿もいくつかあります。

• 多変量正規分布の最尤推定器
• 多変量正規分布の最尤推定を理解するのに助けが必要ですか？

最尤推定量の導出

それぞれサイズランダムベクトルがと仮定します。ここで、各ランダムベクトルは個の変数にわたる観測（データポイント）として解釈されます。各が多変量ガウスベクトルとしてiidである場合：のp X （1 ）、X （2 ）、。。。、X （m ） p X （i $m$$p$$\mathbf{X^{(1)}, X^{(2)},...,X^{(m)}}$$p$$\mathbf{X}^{(i)}$

$$\mathbf{X^{(i)}} \sim \mathcal{N}_p(\mu, \Sigma)$$

パラメータが不明です。それらの推定値を取得するために、最尤法を使用して対数尤度関数を最大化できます。$\mu, \Sigma$

ランダムベクトルの独立性により、データの結合密度は個々の密度の積であることに注意してください。、である。対数を取ると、対数尤度関数が得られます∏ m i = 1 f X （i ）（x （i ） ; μ 、Σ$\mathbf{ \{X^{(i)}}, i = 1,2,...,m\}$$\prod_{i=1}^m f_{\mathbf{X^{(i)}}}(\mathbf{x^{(i)} ; \mu , \Sigma })$

$$\begin{aligned} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \log \prod_{i=1}^m f_{\mathbf{X^{(i)}}}(\mathbf{x^{(i)} | \mu , \Sigma }) \\ & = \log \ \prod_{i=1}^m \frac{1}{(2 \pi)^{p/2} |\Sigma|^{1/2}} \exp \left( - \frac{1}{2} \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \right) \\ & = \sum_{i=1}^m \left( - \frac{p}{2} \log (2 \pi) - \frac{1}{2} \log |\Sigma| - \frac{1}{2} \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \right) \end{aligned}$$

$$\begin{aligned} l(\mu, \Sigma ; ) & = - \frac{mp}{2} \log (2 \pi) - \frac{m}{2} \log |\Sigma| - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \end{aligned}$$

導出$\hat \mu$

に関して導関数を取得し、ゼロに等しくするために、次の行列計算恒等式を使用します。$\mu$

WA$\mathbf{ \frac{\partial w^T A w}{\partial w} = 2Aw}$ が依存せず、が対称である場合、$\mathbf{w}$$\mathbf{A}$$\mathbf{A}$

$$\begin{aligned} \frac{\partial }{\partial \mu} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \sum_{i=1}^m \mathbf{ \Sigma^{-1} ( \mu - x^{(i)} ) } = 0 \\ & \text{Since $\Sigma$ is positive definite} \\ 0 & = m \mu - \sum_{i=1}^m \mathbf{ x^{(i)} } \\ \hat \mu &= \frac{1}{m} \sum_{i=1}^m \mathbf{ x^{(i)} } = \mathbf{\bar{x}} \end{aligned}$$

これは、サンプル平均ベクトルと呼ばれます。

導出$\hat \Sigma$

共分散行列のMLEを導出するには、より多くの作業と、次の線形代数と計算のプロパティの使用が必要です。

• トレースは、行列積の巡回置換では不変です$tr[ACB] = tr[CAB] = tr[BCA]$
• 以来スカラーである、我々はそのトレースを取ると同じ値を得ることができます：x t A x = t r [ x T A x ] = t r [ x t x A $x^TAx$$x^tAx = tr[x^TAx] = tr[x^txA]$
• $\frac{\partial}{\partial A} tr[AB] = B^T$
• $\frac{\partial}{\partial A} \log |A| = A^{-T}$

これらのプロパティを組み合わせると、計算が可能になります

$$\frac{\partial}{\partial A} x^tAx =\frac{\partial}{\partial A} tr[x^TxA] = [xx^t]^T = x^{TT}x^T = xx^T$$

これは、ベクトルとそれ自体の外積です。$x$

対数尤度関数を書き直して、微分wrtを計算できます（は定数です）$\Sigma^{-1}$$C$

$$\begin{aligned} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \text{C} - \frac{m}{2} \log |\Sigma| - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \\ & = \text{C} + \frac{m}{2} \log |\Sigma^{-1}| - \frac{1}{2} \sum_{i=1}^m tr[ \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)^T \Sigma^{-1} } ] \\ \frac{\partial }{\partial \Sigma^{-1}} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \frac{m}{2} \Sigma - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)}^T \ \ \text{Since $\Sigma^T = \Sigma$} \end{aligned}$$

ゼロに等しくしてを解く$\Sigma$

$$\begin{aligned} 0 &= m \Sigma - \sum_{i=1}^m \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)}^T \\ \hat \Sigma & = \frac{1}{m} \sum_{i=1}^m \mathbf{(x^{(i)} - \hat \mu) (x^{(i)} -\hat \mu)}^T \end{aligned}$$

ソース

• https://people.eecs.berkeley.edu/~jordan/courses/260-spring10/other-readings/chapter13.pdf
• http://ttic.uchicago.edu/~shubhendu/Slides/Estimation.pdf

ための代替証明に対して導関数を取る：直接$\widehat{\Sigma}$$\Sigma$

上記の対数尤度でピックアップ： ここで、そして、の循環および線形特性を使用しました。を計算するには、まず

$$\begin{eqnarray} \ell(\mu, \Sigma) &=& C - \frac{m}{2}\log|\Sigma|-\frac{1}{2} \sum_{i=1}^m \text{tr}\left[(\mathbf{x}^{(i)}-\mu)^T \Sigma^{-1} (\mathbf{x}^{(i)}-\mu)\right]\\ &=&C - \frac{1}{2}\left(m\log|\Sigma| + \sum_{i=1}^m\text{tr} \left[(\mathbf{x}^{(i)}-\mu)(\mathbf{x}^{(i)}-\mu)^T\Sigma^{-1} \right]\right)\\ &=&C - \frac{1}{2}\left(m\log|\Sigma| +\text{tr}\left[ S_\mu \Sigma^{-1} \right] \right) \end{eqnarray}$$ $S_\mu = \sum_{i=1}^m (\mathbf{x}^{(i)}-\mu)(\mathbf{x}^{(i)}-\mu)^T$$\text{tr}$$\partial \ell /\partial \Sigma$ $$\frac{\partial}{\partial \Sigma} \log |\Sigma| = \Sigma^{-T}=\Sigma^{-1}$$ 上記の4番目のプロパティ。2番目の項の導関数を取得するには、 （Matrix Cookbookより、式63）。これを適用すると、 、と両方が対称であるためです。それから $$\frac{\partial}{\partial X}\text{tr}\left( A X^{-1} B\right) = -(X^{-1}BAX^{-1})^T.$$ $B=I$ $$\frac{\partial}{\partial \Sigma}\text{tr}\left[S_\mu \Sigma^{-1}\right] = -\left( \Sigma^{-1} S_\mu \Sigma^{-1}\right)^T = -\Sigma^{-1} S_\mu \Sigma^{-1}$$ $\Sigma$$S_\mu$ $$\frac{\partial}{\partial \Sigma}\ell(\mu, \Sigma) \propto m \Sigma^{-1} - \Sigma^{-1} S_\mu \Sigma^{-1}.$$ これを0に設定して再配置すると、 Σ =1 $$\widehat{\Sigma} = \frac{1}{m}S_\mu.$$

このアプローチは、に関して導関数を使用する標準的なアプローチよりも多くの作業が必要であり、より複雑なトレースIDが必要です。をよりも使用するのがはるかに難しいと思われる修正尤度関数の導関数を取得する必要があるので、私はそれが有用だと感じました。$\Lambda = \Sigma^{-1}$$\partial/{\partial \Sigma^{-1}}$$\partial/\partial \Sigma$