制約付き回帰フィットの共分散行列を取得するにはどうすればよいですか？

制約付き回帰近似からパラメーターの共分散を取得する簡単な方法はありますか？

RのMGCVパッケージのPCLS関数を使用して、制約付き回帰に適合させていますが、他のアプローチも受け入れています。私が課している制約は、係数が正でなければならないということです。

regression covariance

— グレン
ソース

サンプルの大きさはどれくらいですか？

— jbowman

共分散行列が、制約で、または制約に近い推定値のパラメーターの不確実性の有用な説明になる可能性が低いことを心配していませんか？

— whuber

サンプルは約500です。@whuberはい、それは問題です。また、一部の推定値が制約に近づくことがわかっているため、共分散行列について考えることも意味がない場合があります。ただし、PCLS関数はある種の最適化手順を実行するため、情報を提供するヘッセ行列を取得できると思います。

— グレン

@whuber非負性制約の下で、私はゼロ以外のブートストラップ推定係数でこの共分散行列を計算します...つまり、betahat = bootout $ tを使用します。betahat [betahat == 0] = NA＃ゼロは制約境界にあるため無視します。vcov = cov（betahat、use = "pairwise.complete.obs"）; SEs = sqrt（diag（vcov））-これは、非負性制約の下での推定パラメーターのより良い説明になります。このvcovマトリックスからシミュレーションする場合は、負の値をゼロに設定する必要があります。

— トムウェンセリアーズ

@トムありがとうございます。境界の制約により、共分散行列はサンプリング分布を完全に説明するには不十分である可能性があるという考えから、私の懸念は動機付けられました。おそらく、その後、ブートストラップまたはその他のリサンプリング手順のより良い使用法は、共分散行列を推定することではなく、パラメーター推定値の分布を直接調べることでしょう。

— whuber

最初は、非常に単純なブートストラップを使用しました。

基本的に次のようなもの：

ペアをリサンプリングして、新しいデータセットを作成します。 $(x,y)$
この新しいデータセットで回帰を実行すると、いくつかのパラメーターを取得できます。 $\hat \beta$
1と2をできるだけ多く繰り返します。これで、大きなセットができます。 $\hat \beta$
サンプル共分散を取得します。 $\hat \beta$
できた

— カーナイト
ソース

これは私が考えていたものです。ステップ1について少し詳しく説明していただけますか？交換して再サンプリングしますか？または...？

— マクロ

はい。バニラブートストラップは交換用サンプルです。たとえば、データが、新しいデータセットは。もちろん、これが唯一の可能なリサンプリングではありません。もう1つは、すべてのを再利用し、ノイズによってすべての衝撃を与えることです。しかし、

(x, y) = {(1, 1); (1, 2); (1, 3)}

$(x,y) = \{(1,1);(1,2);(1,3)\}$

(1, 3); (1, 3); (1, 1)

$(1,3);(1,3);(1,1)$

X

$X$

Y

$Y$

— ペアリ

ブートストラップについてはよく読んでいましたが、バニラブートストラップという言葉は聞いたことがありません。たぶん、それは、通常の、または単純なブートストラップと呼ばれるものと同等です。ブートストラップのペアとブートストラップの残差の関係では、ブートストラップのペアの方が簡単ですが、不可知論とはどういう意味ですか（モデルに大きく依存していませんか？）？

— Michael R. Chernick

@MichaelChernick：バニラは、何かの「通常」、「通常」、または「シンプル」バージョンの俗語です。

— 2012年

@MichaelChernick：バニラの使用が地域の口語表現のどれほどであるかはわかりません。（とにかく聞いたことがあると思います。）とにかく、私が意味したこと（しかしはっきりとは言いませんでした）は、CarrKnightがブートストラップ固有の方法でこの用語を使用していなかったことにほぼ同意しているということです。:)

— 枢機卿