スチューデントのt分布のパラメーターの推定

23

スチューデントのt分布のパラメーターの最尤推定量は何ですか？それらは閉じた形で存在しますか？簡単なGoogle検索では結果が得られませんでした。

今日は単変量のケースに興味がありますが、おそらくモデルを複数の次元に拡張する必要があります。

編集：私は実際には主に場所とスケールのパラメータに興味があります。今のところ、自由度パラメーターが固定されていると仮定し、場合によっては後で数値を使用して最適値を見つけることができます。

estimation maximum-likelihood t-distribution

— グルゼニオ
ソース

私の知る限り、それらは閉じた形では存在しません。勾配上昇型アプローチが必要になる場合があります。

— パット

スチューデントのt分布には単一のパラメーターがありますが、複数の「パラメーター」を参照します。おそらく場所やスケールのパラメータを含めていますか？

— whuber

@whuber、コメントのおかげで、私は確かに自由度よりも場所とスケールのパラメータに興味があります。

— -Grzenio

データ、位置パラメータの尤度式は次の多項式に代数的に等価である

。そのような多項式のゼロが「閉じた形」で与えられると考えますか？

n

$n$

2 n - 1

$2n-1$

— whuber

@whuber、小さなnに特別な場合、たとえばn = 3がありますか？

— -Grzenio

27

Tには閉じた形式は存在しませんが、非常に直感的で安定したアプローチはEMアルゴリズムによるものです。学生は法線のスケール混合物であるため、次のようにモデルを記述できます。

y_{i} = μ + e_{i}

$y_i=\mu+e_i$

ここで及び $e_i|\sigma,w_i \sim N(0,\sigma^2w_i^{-1})$ 。これは、条件付きででmleが単に加重平均と標準偏差であることを意味します。これが「M」ステップです $w_i\sim Ga(\frac{\nu}{2}, \frac{\nu}{2})$ $w_i$

\hat{μ} = \frac{\sum_{i} w_{i} y_{i}}{\sum_{i} w_{i}}

$\hat{\mu}=\frac{\sum_iw_iy_i}{ \sum_iw_i}$

{\hat{σ}}^{2} = \frac{\sum_{i} w_{i} (y_{i} - \hat{μ})^{2}}{n}

$\hat{\sigma}^2= \frac{\sum_iw_i(y_i-\hat{\mu})^2}{n}$

これで、「E」ステップはをすべてのデータが与えられた期待値に置き換えます。これは次のように与えられます： $w_i$

{\hat{w}}_{i} = \frac{(ν + 1) σ^{2}}{ν σ^{2} + (y_{i} - μ)^{2}}

$\hat{w}_i=\frac{(\nu+1) \sigma^2 }{\nu \sigma^2 +(y_i-\mu)^2}$

したがって、上記の2つのステップを繰り返し、各方程式の「右側」を現在のパラメーター推定値に置き換えます。

大きな残差との観測は、位置の計算に少ない重量を受けるので、これは非常に簡単にt分布のロバスト性を示すの計算に、および有界影響。「有界影響」によって私が意味するものの推定値への寄与所与の閾値を超えることができないi番目の観測から（これは EMアルゴリズムで）。また、は「堅牢性」パラメータであり、を増加（減少）させると、重みがより均一（より少ない）になり、外れ値に対する感度がより（より少なく）なります。 $\mu$ $\sigma^2$ $\sigma^2$ $(\nu+1)\sigma^2_{old}$ $\nu$ $\nu$

注意すべきことの1つは、対数尤度関数に複数の静止点がある可能性があるため、EMアルゴリズムがグローバルモードではなくローカルモードに収束する可能性があることです。ロケーションパラメータが異常値に近すぎて開始されると、ローカルモードが見つかる可能性があります。したがって、これを避けるには中央値から始めるのが良い方法です。

— 確率論
ソース

1

すごい。私は、ガウス分布の混合物のように見えるという正確な理由から、EMを使用するスチューデントtのフィッティングのアイデアをいじっていました。あなたが与える更新式の引用/参照はありますか？そうすることで、この投稿の素晴らしさをさらに高めることができます。

— パット

実際、スチューデントtの混合モデル（私はこれを使用するつもりです）：厳密な登録のための堅牢なフレームワークとしてのスチューデントt分布の混合のために、私は自分自身を見つけたと思います。Demetrios Gerogiannis、Christophoros Nikou、Aristidis Likas。Image and Vision Computing 27（2009）1285–1294。

— パット

この質問への私の答えのリンクには、尤度関数の負荷と負荷のための非常に一般的なEMフレームワークがあります-分位、学生、ロジスティック、および一般的な回帰を行います。特定のケースは、共変量のない「回帰」であり、インターセプトのみであるため、このフレームワークにうまく適合します。また、このフレームワークに組み込むことができるペナルティ条件は膨大です。

— 確率論的

@probabilityislogicは本当にすてきです！また、

も不明な場合はどうなりますか？参考にしてください。たぶん最高ここ：stats.stackexchange.com/questions/87405/...

ν

$\nu$

— クォーツ

この参照は@Patよりも優れていると思います。「EMおよびその拡張機能、ECMおよびECMEを使用したt分布のML推定」ローカル最適の問題のため、EMアルゴリズムの実行中は初期パラメーター値の選択に非常に注意する必要があります。言い換えれば、データについて何かを知る必要があります。通常、研究ではt分布を使用しません。

4

次のペーパーは、投稿された問題に正確に対応しています。

Liu C.およびRubin DB1995。「EMおよびその拡張機能、ECMおよびECMEを使用したt分布のML推定」。Statistica Sinica 5：19–39。

自由度の知識の有無にかかわらず、一般的な多変量t分布パラメーター推定を提供します。手順はセクション4に記載されており、1次元の確率論に非常によく似ています。

— ミッチシー
ソース

7

あなたが参照する論文には質問に対する有用な回答が含まれているように聞こえますが、回答はスタンドアロンであり、外部リソースを必要としない場合に優れています（たとえば、OPまたは読者がこの論文にアクセスできない可能性があります）。スタンドアローンにするために少し答えを具体化していただけますか？

— パトリッククーロンブ

3

I doubt that it exists in closed form: if you write any one of the factors of the likelihood as

\frac{Γ (\frac{ν + 1}{2})}{\sqrt{ν π} Γ (\frac{ν}{2})} {(1 + \frac{t^{2}}{ν})}^{- \frac{ν + 1}{2}} = \frac{Γ (\frac{ν + 1}{2})}{\sqrt{ν π} Γ (\frac{ν}{2})} \exp {[\ln (1 + \frac{t^{2}}{ν})] [- \frac{ν + 1}{2}]}

$\frac{\Gamma(\frac{\nu+1}{2})} {\sqrt{\nu\pi}\,\Gamma(\frac{\nu}{2})} \left(1+\frac{t^2}{\nu} \right)^{-\frac{\nu+1}{2}} = \frac{\Gamma(\frac{\nu+1}{2})} {\sqrt{\nu\pi}\,\Gamma(\frac{\nu}{2})} \exp \left \{ \left [ \ln \left(1+\frac{t^2}{\nu} \right) \right ] \left [ {-\frac{\nu+1}{2}} \right ]\right \}$ and take the ln of that, you will get a nonlinear equation in

ν

$\nu$ . Even if you manage to get a solution, then depending on the number of factors (terms)

n

$n$ , the MLE equation is going to depend on this

n

$n$ in a nontrivial way. All that dramatically simplifies, of course, when

ν \to \infty

$\nu \rightarrow \infty$ , when the power approaches an exponential (Gaussian PDF).

— Lucozade
ソース

1

Even in the Gaussian setting the log likelihood is nonlinear in its parameters :-).

— whuber

I am actually interested in location and scale parameters, more than in the degrees of freedom. Please see edit to the question, and sorry for being not precise.

— Grzenio

2

I have recently discovered a closed-form estimator for the scale of the Student's t distribution. To the best of my knowledge, this is a new contribution, but I would welcome comments suggesting any related results. The paper describes the method in the context of a family of "coupled exponential" distributions. The Student's t is referred to as the Coupled Gaussian, where the coupling term is the reciprocal of the degree of freedom. The closed-form statistic is the geometric mean of the samples. Assuming a value of the coupling or degree of freedom, an estimate of the scale is determined by multiplying the geometric mean of the samples by a function involving the coupling and a harmonic number.

https://arxiv.org/abs/1804.03989 Use of the geometric mean as a statistic for the scale of the coupled Gaussian distributions, Kenric P. Nelson, Mark A. Kon, Sabir R. Umarov

— Kenric
ソース