条件付き不等分散性を持つ線形モデルの推論

独立変数ベクトルとおよび従属変数を観察するとします。次の形式のモデルに適合させたい：ここでは正の値の2階微分可能関数、は未知のスケーリングパラメーター、はゼロ平均の単位分散ガウス確率変数（から独立していると仮定）および）。これは本質的に、（少なくとも私が理解している限り）Koenkerの異分散性のテストの設定です。 $\vec{x}$ $\vec{z}$ $y$

y = {\vec{x}}^{⊤} \vec{β_{1}} + σ g ({\vec{z}}^{⊤} \vec{β_{2}}) ϵ,

$y = \vec{x}^{\top}\vec{\beta_1} + \sigma g\left(\vec{z}^{\top} \vec{\beta_2}\right) \epsilon,$

g

$g$

σ

$\sigma$

ϵ

$\epsilon$

\vec{x}

$\vec{x}$

\vec{z}

$\vec{z}$

私はの観測値のと、およびIは推定したいと。ただし、いくつか問題があります。 $n$ $\vec{x}, \vec{z}$ $y$ $\vec{\beta_1}$ $\vec{\beta_2}$

推定問題を最小二乗法のようなものとしてどのように提起するかはわかりません（よく知られたトリックがあると思います）。最初の推測は、しかし私はそれを数値的に解決する方法がわからない（おそらく、準ニュートン反復法で解決できるかもしれません）。 $m i n_{\vec{β_{1}}, \vec{β_{2}}} (\sum_{i = 1}^{n} \frac{{(y_{i} - {\vec{x_{i}}}^{⊤} \vec{β_{1}})}^{2}}{g {({\vec{z_{i}}}^{⊤} \vec{β_{2}})}^{2}}) {(\sum_{i = 1}^{n} \frac{1}{g {({\vec{z_{i}}}^{⊤} \vec{β_{2}})}^{2}})}^{- 1},$ $min_{\vec{\beta_1}, \vec{\beta_2}} \left(\sum_{i=1}^n \frac{\left(y_i - \vec{x_i}^{\top}\vec{\beta_1}\right)^2}{g\left(\vec{z_i}^{\top}\vec{\beta_2}\right)^2}\right)\left(\sum_{i=1}^n \frac{1}{g\left(\vec{z_i}^{\top}\vec{\beta_2}\right)^2}\right)^{-1},$
私が問題をまともな方法で提起し、推定値を見つけることができると仮定すると、たとえば、仮説検定を実行できるように、推定値の分布を知りたいと思います。私は別に2つの係数ベクトルをテストするといいと思いますが、テストにいくつかの方法を好むだろう、例えば所与のため。 $\hat{\beta}_1, \hat{\beta}_2$ $H_0: \vec{w_1}^{\top} \vec{\beta_1} + \vec{w_2}^{\top} \vec{\beta_2} \le c$ $\vec{w_1}, \vec{w_2}, c$

— みすぼらしい
ソース

良い質問。あなたはがどのように見えるかを知っていますか？スムーズですか？ジャンプあり？最小二乗ではなく、最大の可能性を試しましたか（このペーパーのprojecteuclid.org/…を知っていますか？）

g

$g$

— robin girard

@robin girard：MLEは質問1に適しています。ガウス誤差の場合、MLEは私のアドホック最小化と同じ推定を与えると思います。、すでに述べたように、正の値で2階微分可能であると想定できます。おそらく凸面であると想定することもできますし、分析的であると想定することもできます。

g

$g$

— shabbychef

僅かにより一般的な文脈における ANの次元ベクトル -observations（応答、又は従属変数）、の行列 -observations（共変量、又は従属変数）とようなパラメータで、マイナス対数尤度は OPの質問では、は対角です $Y$ $n$ $y$ $X$ $n \times p$ $x$ $\theta = (\beta_1, \beta_2, \sigma)$ $Y \sim N(X\beta_1, \Sigma(\beta_2, \sigma))$

l (β_{1}, β_{2}, σ) = \frac{1}{2} (Y - X β_{1})^{T} Σ (β_{2}, σ)^{- 1} (Y - X β_{1}) + \frac{1}{2} \log | Σ (β_{2}, σ) |

$l(\beta_1, \beta_2, \sigma) = \frac{1}{2}(Y-X\beta_1)^T \Sigma(\beta_2, \sigma)^{-1} (Y-X\beta_1) + \frac{1}{2}\log |\Sigma(\beta_2, \sigma)|$

Σ (β_{2}, σ)

$\Sigma(\beta_2, \sigma)$

Σ (β_{2}, σ)_{i i} = σ^{2} g (z_{i}^{T} β_{2})^{2}

$\Sigma(\beta_2, \sigma)_{ii} = \sigma^2 g(z_i^T \beta_2)^2$ なので、行列式はと、結果のマイナス対数尤度は、この関数の最小化にはいくつかの方法があります（3つのパラメーターがバリエーションに依存しないと想定）。

σ^{2 n} \prod_{i = 1}^{n} g (z_{i}^{T} β_{2})^{2}

$\sigma^{2n} \prod_{i=1}^n g(z_i^T \beta_2)^2$

\frac{1}{2 σ^{2}} \sum_{i = 1}^{n} \frac{(y_{i} - x_{i}^{T} β_{1})^{2}}{g (z_{i}^{T} β_{2})^{2}} + n \log σ + \sum_{i = 1}^{n} \log g (z_{i}^{T} β_{2})

$\frac{1}{2\sigma^2} \sum_{i=1}^n \frac{(y_i-x_i^T\beta_1)^2}{ g(z_i^T \beta_2)^2} + n \log \sigma + \sum_{i=1}^n \log g(z_i^T \beta_2)$

という制約を覚えて、標準の最適化アルゴリズムによって関数を最小化することができ。 $\sigma > 0$
あなたのプロフィールマイナス対数尤度計算することができるかけて最小化することにより、固定用、次いで、標準的な制約なし最適化アルゴリズムに、得られた機能プラグ。 $(\beta_1, \beta_2)$ $\sigma$ $(\beta_1, \beta_2)$
3つのパラメーターそれぞれの最適化を個別に切り替えることができます。オーバー最適化オーバー最適化、分析的に行うことができる、と加重最小二乗回帰問題にわたって最適化されとガンマ一般化線形モデルフィッティングと等価である逆リンク。 $\sigma$ $\beta_1$ $\beta_2$ $g^2$

最後の提案は、すでによく知っているソリューションに基づいているため、魅力的です。さらに、最初のイテレーションはとにかく検討したいことです。つまり、最初の初期推定値を計算潜在的な不均一を無視して、通常の最小二乗法によっては、その後の初期推定値を取得するために二乗残差にガンマGLMに合わせより複雑なモデルが価値があると思われる場合は、単にチェックするに。重みが推定値を改善する可能性があるため、最小二乗解に異分散性を組み込んだ反復。 $\beta_1$ $\beta_2$ $-$

質問の2番目の部分については、標準のMLE漸近法（漸近法が機能することをシミュレーションで確認）またはブートストラップのいずれかを使用して、線形結合信頼区間を計算することを検討します。 $w_1^T\beta_1 + w_2^T\beta_2$

編集：することにより、標準MLE漸近私は、共分散行列の逆フィッシャー情報とMLEの分布に多変量正規近似を使用して意味。フィッシャー情報は、定義によりの勾配の共分散行列です。一般的にはパラメーターによって異なります。この量の分析式が見つかれば、MLEを接続してみてください。別の方法では、観測されたフィッシャー情報（MLE ののヘッシアン）によってフィッシャー情報を推定できます。対象のパラメータは、2つのパラメータの線形結合です $l$ $l$ $\beta$ -ベクトル、したがって、MLEの近似多変量正規分布から、ここで説明する推定子分布の正規近似を見つけることができます。これにより、おおよその標準誤差が得られ、信頼区間を計算できます。これは、多くの（数学的）統計本でよく説明されていますが、私がお勧めできる合理的にアクセス可能なプレゼンテーションは、Yudi PawitanによるIn All Likelihoodです。とにかく、漸近理論の正式な導出はかなり複雑であり、多くの規則性条件に依存しており、有効な漸近のみを与えます分布。したがって、疑わしい場合は常に新しいモデルを使用してシミュレーションを行い、現実的なパラメータとサンプルサイズの結果を信頼できるかどうかを確認します。置き換えられた観測データセットからトリプルをサンプリングする単純なノンパラメトリックブートストラップは、フィッティング手順に時間がかかりすぎない場合に便利な代替手段になります。 $(y_i,x_i,z_i)$

— NRH
ソース

何されている標準のMLEの漸近は？

— shabbychef

@shabbychef、遅れました。より詳しく説明しました。説明されているように漸近論が理論的に機能するためには、モデルが正しい必要があり、推定量はMLEでなければなりません。より一般的な結果は、一般的な推定関数と推定方程式のフレームワークで取得できます。たとえば、Heydeの著書「準尤度と...」を参照してください。

— NRH、2011