最尤推定を使用することはありますか？

統計で最尤推定が使用されているかどうか疑問に思っています。私たちはその概念を学びますが、実際にいつ使用されるのでしょうか。データの分布を仮定すると、2つのパラメーターが見つかります。1つは平均用で、もう1つは分散用ですが、実際の状況で実際に使用しますか？

誰かがそれが使用されている簡単なケースを教えてもらえますか？

統計で最尤推定が使用されているかどうか疑問に思っています。

もちろん！実際にはかなり多くの-しかし、常にではありません。

私たちはその概念を学びますが、実際にいつ使用されるのでしょうか。

人々がパラメトリックな分布モデルを持っているとき、彼らは非常に頻繁に最尤推定を使用することを選択します。モデルが正しい場合、最尤推定量の便利なプロパティがいくつかあります。

一例として、一般化線形モデルの使用は非常に広く普及しており、その場合、平均を記述するパラメーターは最尤法によって推定されます。

一部のパラメーターは最尤法で推定され、その他のパラメーターは推定されない場合があります。たとえば、過分散ポアソンGLMを考えてみましょう-分散パラメーターは最尤法では推定されません。その場合、MLEは役に立たないためです。

データの分布を仮定すると、2つのパラメーターが見つかります

さて、2つある場合もあれば、1つ、場合によっては3つまたは4つ以上のパラメーターがある場合もあります。

1つは平均値、もう1つは分散値、

おそらく特定のモデルを考えていますか？これは常にそうではありません。指数分布、ポアソン分布、または二項分布のパラメーターを推定することを検討してください。これらの各ケースでは、1つのパラメーターがあり、分散は平均を表すパラメーターの関数です。

または、3つのパラメーターを持つ一般化されたガンマ分布を考えます。または、4つのパラメーターのベータ分布（これは（おそらく驚くことではないが）4つのパラメーターを持っています）。また、（特定のパラメーター化に応じて）平均または分散、あるいはその両方は、単一のパラメーターではなく、それらのいくつかの関数によって表される場合があることに注意してください。

たとえば、ガンマ分布には、かなり一般的に使用される3つのパラメーター化があります。最も一般的な 2つは、2つのパラメーターの関数である平均と分散の両方を持っています。

通常、回帰モデル、GLM、または生存モデル（他の多くのモデルタイプの中で）では、モデルは複数の予測子に依存する場合があります。その場合、モデルの各観測に関連付けられた分布は独自のパラメーターの1つを持つ場合があります（または多くの予測変数（「独立変数」）に関連する複数のパラメーター）。

データ分布に関する仮定を考慮すると、最尤推定量は疑わしいように見えますが、準最尤推定量がよく使用されます。考え方は、分布を仮定してMLEを解くことから始めてから、明示的な分布の仮定を削除し、代わりに推定器がより一般的な条件下でどのように機能するかを調べることです。そのため、準MLEは推定器を取得するスマートな方法になり、作業の大部分は推定器のプロパティを導き出します。分布の仮定が破棄されるため、通常、準MLEには効率の良い特性はありません。

おもちゃの例として、あなたはIIDサンプルを持っていると、およびXの分散の推定量が必要です。あなたは想定して始めることができるX 〜N （μ 、σ 2）、通常のPDFファイルを使用して可能性を書き、そして解決ARGMAXのために取得するにはσ 2 = N - 1 Σ （X I - ˉ X）2。その後、どのような条件の下でのような質問をすることができます$x_1, x_2, ..., x_n$$X$$X \sim N (\mu, \sigma^2)$$\hat\sigma^2 = n^{-1}\sum (x_i - \bar x)^2$一貫した推定、それは（それがない）、公正であり、それは等、それのasypmtotic分布が何であるか、ルートnは一致しています$\hat\sigma^2$

最尤推定は多くの場合、機械学習でトレーニングに使用されます。

• ニューラルネットワーク、たとえば、MLEを使用してニューラルネットワークの重みを推定できますか？
• 線形、ロジスティック回帰およびマルチクラスロジスティック回帰。たとえば、線形およびロジスティック回帰係数を同じ方法で推定できないのはなぜですか？
• 条件付きランダムフィールド（CRF）、たとえばhttps://www.coursera.org/learn/probabilistic-graphical-models-3-learning/lecture/oKJ1x/maximum-likelihood-for-conditional-random-fields
• 隠れマルコフモデル（HMM）、例えばhttps://en.wikipedia.org/w/index.php?title=Hidden_​​Markov_model&oldid=768811108#Learning

場合によっては、いくつかの正則化を追加することを好むことに注意してください。これは、事後推定の最大値に相当する場合があります。たとえば、なぜLassoペナルティは二重指数（ラプラス）事前に等しいのですか？。

誰かがそれが使用されている簡単なケースを教えてもらえますか？

非常に典型的なケースは、ロジスティック回帰です。ロジスティック回帰は、データポイントを分類するために機械学習でよく使用される手法です。たとえば、ロジスティック回帰を使用して、電子メールがスパムかスパムでないかを分類したり、人が病気にかかっているかどうかを分類したりできます。

$x_i$$h_\theta(x_i) = P[y_i = 1] = \frac{1}{1+e^{-\theta^T x_i}}$

$\theta$

$\hat\theta$$-\sum_{i=1}^n y_i\log(h_\hat\theta(x_i)) + (1-y_i)\log(1-h_{\hat\theta}(x_i))$

私たちは常にMLEを使用していますが、感じないかもしれません。2つの簡単な例を示します。

例1

$8$$10$$\theta$$\theta=0.8$

カウントを使用する理由 これは実際には暗黙的にMLEを使用しています！問題があるところ

方程式を解くには、計算が必要ですが、結論は重要です。

例2

データからガウス分布パラメーターをどのように推定しますか？推定平均として経験的平均を使用し、推定分散として経験的分散を使用します。これもMLE！に由来します。

ワイヤレス通信でのいくつかの最尤法の使用：

• 冗長コードの有無にかかわらず、ノイズの多い受信信号からのデジタルデータのデコード。
• 受信機の時間、位相、および周波数オフセットの推定。
• 伝搬チャネル（のパラメーター）の推定。
• 遅延、到着角、ドップラーシフト（レーダーなど）の推定。
• モバイル位置の推定（GPSなど）。
• あらゆる種類の分散設定の同期のためのクロックオフセットの推定。
• 多数のキャリブレーション手順。