最尤推定と勾配降下の違いは何ですか？

両方の方法の長所と短所は何ですか？

— GeorgeOfTheRF
ソース

Googleの検索で既に得ているこれら2つの方法の定義だけを探しているわけではありません。どの方法がどの場合に適しているかを理解しようとしています。例：Bigdataの場合、他の人よりもうまく機能します。実用的な側面などを説明する優れた資料が見つかりませんでした。

— GeorgeOfTheRF

カラスは書き物机のようですか？

— whuber

@ML_Pro GDは、統計モデリングとは何の関係もありません。これはアルゴリズムです。統計的な問題を解決するためのツール（GDなど）を学習する前に、統計的な推論の理解を深めるために、おそらく入門的な統計ハンドブックから始めることができます。

— ティム

勾配降下法と期待値の最大化（通常、MLEの最適化問題を解決するために使用されます）の違いを尋ねるつもりですか？

— ソビ

回答:

最尤推定は、次のように定義される尤度関数を最大化することにより、統計モデルのパラメーターを推定する一般的なアプローチです。

L (θ | X) = f (X | θ)

$L(\theta|X) = f(X|\theta)$

つまり、パラメータある値を与えられたデータを取得する確率。与えられた問題の尤度関数を知ることで、持っているデータを取得する確率を最大にするようなを探すことができます。既知の推定量がある場合があります。たとえば、算術平均は正規分布のパラメーターのMLE推定量ですが、他の場合では、最適化アルゴリズムの使用を含むさまざまな方法を使用できます。MLアプローチでは、の最適値を見つける方法はわかりません-単純に推測を行い、尤度を使用してどちらの推測が優れているかを比較できます-の1つの値を比較する方法がわかります $X$ $\theta$ $\theta$ $\mu$ $\theta$ は他の「より可能性が高い」。 $\theta$

勾配降下法は最適化アルゴリズムです。このアルゴリズムを使用して、多くの異なる関数の最小値（または最大値、勾配勾配と呼ばれます）を見つけることができます。アルゴリズムは、最小化する関数が何であるかを実際に気にしません。要求されたものだけを実行します。そのため、最適化アルゴリズムを使用する場合、目的のパラメーターの1つの値が他のパラメーターよりも「優れている」かどうかを何らかの方法で知る必要があります。アルゴリズムに最小限の機能を提供する必要があり、アルゴリズムはその最小値を見つけることに対処します。

さまざまな方法を使用して最尤推定値を取得できますが、最適化アルゴリズムを使用することもその1つです。一方、勾配降下法は、尤度関数以外の関数を最大化するためにも使用できます。

— ティム
ソース

@ML_Pro詳細な情報を見つけることができる2つのリンクを提供しましたが、これらの回答を複製する必要はないと思います。

— ティム

@ML_Pro私は私の答えに書いたように、彼らは異なったものと、あなたがそれらを比較することはできません...

— ティム

はい。ただし、MLEは一般的なアプローチであり、GDは、さまざまな機能を最小限に抑えるために使用できるアルゴリズムにすぎません。あなたはポケット電卓に代数を比較したようにそれは...ある

— ティム

MLEは目的関数（尤度関数）を指定します。GDは、目的関数が指定されると、問題の最適な解決策を見つけます。GD（または他の最適化アルゴリズム）を使用して最尤問題を解決できます。結果は最尤推定量になります。

— jbowman

@ML_Proこれは、回答で提供したリンクに記載されています。要するに：はい、それはpdfの製品です。製品はデータがiidであると想定しているため、確率モデルについて話しているため、pdfの観点から定義されています。

— ティム

-3

通常、尤度関数を取得すると、方程式を解きます

f = l (θ)

$f = l(\theta)$

。

\frac{d f}{d θ} = 0

$\frac{ df }{ d\theta } = 0$

の最大値または最小値を与えることができるの値を取得できます！

θ

$\theta$ f

しかし、ロジスティック回帰の尤度関数は、この方法による閉じた形式のソリューションではありません。そのため、などの他の方法を使用する必要がありますgradient descent。

— ベルトラー
ソース

@Tim、ここから何かを見ることができます、courses.cs.washington.edu / courses / cse446 / 13sp / slides /…

— Belter

（「回帰係数は、通常、最大尤度推定を用いて推定されている」en.wikipedia.org/wiki/Logistic_regression）

— ティム

最尤推定は、回帰係数を推定する一種の方法ですが、MLEの解を見つける方法はいくつかあります。したがって、likelihood function+ gradient descent（尤度関数の解を取得する）を使用することは、依然としてMLEを実行する方法です。

— ベルター

Unlike linear regression, we can no longer write down the MLE in closed form. Instead, we need to use an optimization algorithm to compute it. For this, we need to derive the gradient and Hessian.

Machine Learning：a Probabilistic Perspective、Kevin Murphyからこの文を見ることができます。

— ベルター

...次に、ロジスティック回帰ではMLを使用せず、代わりにGDを使用していると言っているように聞こえるので、答えの文言はわかりにくいです。

— ティム