線形回帰：OLSとMLEの同一性を与える非正規分布はありますか？

13

この質問は、ここでのコメントの長い議論から着想を得ています：線形回帰は正規分布をどのように使用しますか？

：通常の線形回帰モデルでは、単純化のためにここで一つだけの予測で書かれた知られている定数であり、ゼロ平均の独立した誤差項です。さらに誤差の正規分布を仮定すると、の通常の最小二乗推定量と最尤推定量は同じです。

Y_{i} = β_{0} + β_{1} x_{i} + ϵ_{私}

$Y_i = \beta_0 + \beta_1 x_i + \epsilon_i$

x_{i}

$x_i$

ϵ_{i}

$\epsilon_i$

β_{0}, β_{1}

$\beta_0, \beta_1$

だから私の簡単な質問：mleが通常の最小スクアレス推定量と同一になるような誤差項の他の分布はありますか？1つの含意は簡単に表示でき、もう1つの含意はそうではありません。

— kjetil b halvorsen
ソース

1

（+1）ゼロを中心とする分布である必要があり、対称分布であれば役立つと思われます。t-やLaplace分布のように思い浮かぶ候補者の中には、MLEが一定の場合でも、それぞれ閉じた形式または中央値で与えられないため、トリックを行わないようです。

— クリストフハンク

stats.stackexchange.com/questions/99014/…も参照してください。検索できるものはそれほど多くないようです

— Christoph Hanck

答えはノーだと思います。ただし、厳密な証明を書くのは難しいかもしれません。

— ゴードンスミス

11

最尤推定では、計算します

{\hat{β}}_{M L} : \sum \frac{\partial \ln f (ϵ_{i})}{\partial β} = 0 ⟹ \sum \frac{f^{'} (ϵ_{i})}{f (ϵ_{i})} x_{i} = 0

$\hat \beta_{ML}: \sum \frac {\partial \ln f(\epsilon_i)}{\partial \beta} = \mathbf 0 \implies \sum \frac {f'(\epsilon_i)}{f(\epsilon_i)}\mathbf x_i = \mathbf 0$

回帰式の線形構造を考慮した最後の関係。

比較すると、OLS推定量は次の条件を満たす

\sum ϵ_{i} x_{i} = 0

$\sum \epsilon_i\mathbf x_i = \mathbf 0$

勾配係数に対して同一の代数式を得るためには、次のような誤差項の密度が必要です。

\frac{f^{'} (ϵ_{i})}{f (ϵ_{i})} = \pm c ϵ_{i} ⟹ f^{'} (ϵ_{i}) = \pm c ϵ_{i} f (ϵ_{i})

$\frac {f'(\epsilon_i)}{f(\epsilon_i)} = \pm \;c\epsilon_i \implies f'(\epsilon_i)= \pm \;c\epsilon_if(\epsilon_i)$

これらは、という形式の微分方程式です。解がある $y' = \pm\; xy$

\int \frac{1}{y} d y = \pm \int x d x ⟹ \ln y = \pm \frac{1}{2} x^{2}

$\int \frac 1 {y}dy = \pm \int x dx\implies \ln y = \pm\;\frac 12 x^2$

⟹ y = f (ϵ) = \exp {\pm \frac{1}{2} c ϵ^{2}}

$\implies y = f(\epsilon) = \exp\left \{\pm\;\frac 12 c\epsilon^2\right\}$

このカーネルを持ち、適切なドメインで統一する関数は、勾配係数のMLEとOLSを同一にします。つまり、私たちは探しています

g (x) = A \exp {\pm \frac{1}{2} c x^{2}} : \int_{a}^{b} g (x) d x = 1

$g(x)= A\exp\left \{\pm\;\frac 12 cx^2\right\} : \int_a^b g(x)dx =1$

そのようなあるない通常の密度（または半正常または誤差関数の導関数）？ $g$

もちろん。しかし、もう1つ考慮する必要があるのは、指数でプラス記号を使用し、たとえばゼロを中心に対称的にサポートする場合、中央に一意の最小値を持ち、2つの局所最大値を持つ密度が得られることです。サポートの境界。

— アレコスパパドプロス
ソース

すばらしい答え（+1）ですが、関数でプラス記号を使用する場合、密度さえありますか？その場合、関数は無限の積分を持つため、密度関数に正規化することはできません。その場合、正規分布のみが残ります。

— モニカを

1

@ベンありがとう。ランダム変数の範囲は正負の無限大であると暗黙的に仮定しているようです。ただし、制限された間隔で範囲を指定するためにrvを定義できます。この場合、プラス記号を非常にうまく使用できます。これが私の表現で統合の限界

として使用した理由です。

(a, b)

$(a,b)$

— アレコスパパドプロス

それは本当です-私はそれを仮定していた。

— モニカを

5

我々は解決策としてOLSを定義する場合、任意の密度そのような

\arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i})^{2}

$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$

f (y | x, β_{0}, β_{1})

$f(y|x,\beta_0,\beta_1)$

許容可能です。フォームの密度は、そのインスタンスのこの手段

\arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} \log {f (y_{i} | x_{i}, β_{0}, β_{1})} = \arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i})^{2}

$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n \log\{f(y_i|x_i,\beta_0,\beta_1)\}=\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$

因子ので許容され

パラメータに依存しない

。したがって、そのような分布には無限大があります。

f (y | x, β_{0}, β_{1}) = f_{0} (y | x) \exp {- ω (y_{i} - β_{0} - β_{1} x_{i})^{2}}

$f(y|x,\beta_0,\beta_1)=f_0(y|x)\exp\{-\omega(y_i-\beta_0-\beta_1x_i)^2\}$

f_{0} (y | x)

$f_0(y|x)$

(β_{0}, β_{1})

$(\beta_0,\beta_1)$

$\mathbf{y}$

h (| | y - X β | |)

$h(||\mathbf{y}-\mathbf{X}\beta||)$

h (\cdot)

$h(\cdot)$

ϵ_{i}

$\epsilon_i$

— 西安
ソース

1

これは私には正しく見えません。異なる球対称分布を使用する場合、それはノルムの異なる関数の最小化につながりませんか（したがって、最小二乗推定ではありません）？

— モニカを

1

@ Xi'anが回答を更新するまで、この質問について知りませんでした。より一般的なソリューションがあります。いくつかのパラメーターを使用した指数ファミリー分布により、Bregmanの発散の歩留まりが修正されました。このような分布では、平均が最小化されます。OLSミニマイザーも平均です。したがって、そのようなすべての分布では、線形汎関数が平均パラメーターにリンクされているときに一致するはずです。

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.75.6958&rep=rep1&type=pdf

— カグダス・オズゲンク
ソース