x1> x2の確率の計算

私は、R、線形モデル、および確率計算を使用して確率について自己学習しています。現在、モデルからの2つの予測を比較する方法にこだわっています。私が使用しているデータはここからダウンロード（無料）されています：wmbriggs.com/public/sat.csv

df <- read.csv("sat.csv")              # Load data
lm <- lm(cgpa~hgpa+sat+ltrs,data=df)   # model to predict College GPA
new.df <- data.frame(hgpa=c(4,3),sat=c(1168,1168),ltrs=c(6,6))  # 2 scenario data. Same SAT and LTRS, differing Highschool GPA
predict(lm,new.df)                     # plug our scenario data into the model to predict cgpa based on input
       1        2
2.881214 2.508154

これが設定データです。より高い予測 CGPA（2.88）レイチェルの人と低い予測 CGPA（2.51）トバイアスの人に名前を付けましょう。私の質問は、レイチェルがトビアスよりも高いCGPAを持つ確率をどのように計算するのですか？曲線の下の領域を調べましたが、それが正しいのか、それとも正しく解釈しているのかわかりません。面積計算：

area <- pnorm(2.881214,1.9805,0.7492264)-pnorm(2.508154,1.9805,0.7492264) # area under the curve between the 2 predicted CGPAs
[1] 0.1259893

したがって、2つの予測の差はおおよそ12.5％です。ただし、レイチェルとトビアスが同じCGPAを生成するために同じ入力変数を持っている場合、どちらか1つがより高いCGPAを持つ確率は50/50です。真の確率を得るために、面積に0.5（62.5％）を追加しますか？私は道を離れて、何か他のことをする必要がありますか？

r regression predictive-models interpretation

— 国尾
ソース

回答:

設定は通常、次の形式で表現されます。

y = X β + ε

$y = X\beta + \varepsilon$

以下のために -ベクトル応答の、モデル行列、およびパラメータの-ベクトル仮定の下で、ランダムエラーその等分散と相関していないとゼロは、つまり、 $n$ $y$ $n\times k$ $X$ $k$ $\beta$ $\varepsilon = (\varepsilon_i)$ $\sigma^2$

E (ε) = 0; Var (ε) = σ^{2} I_{n} .

$E(\varepsilon)=0; \ \operatorname{Var}(\varepsilon) = \sigma^2 I_{n}.$

この場合、通常の最小二乗推定は次のようになります。

\hat{β} = (X^{'} X)^{-} X^{'} y .

$\hat\beta = (X^\prime X)^{-} X^\prime y.$

LETであるその行行列とそれぞれ、レイチェルとトーマスのための回帰の値を与えます。予測された応答はベクトルのます。実際の応答があるとこれらの新しいイプシロンは、元の独立したゼロ平均無相関ランダム変数、ある、および共通で差異。 $Z$ $2\times k$ $z_R$ $z_T$ $2$ $Z\hat\beta$ $z_R\beta+\varepsilon_R$ $z_T\beta+\varepsilon_T$ $\epsilon$ $\sigma^2$

私がと呼ぶレイチェルマイナストーマスのこれらの値の差は、単に $\delta$

δ = (z_{R} β + ε_{R}) - (z_{T} β + ε_{T}) = (1, - 1) Z β + ε_{R} - ε_{T} .

$\delta=(z_R\beta+\varepsilon_R ) - (z_T\beta + \varepsilon_T) = (1,-1)Z\beta + \varepsilon_R - \varepsilon_T.$

両側は行列（つまり、数値）であり、右側にされているため、明らかにランダムです。（右側はレイチェルのとトーマスさん、間の推定差ですプラス偏差レイチェルの実際と予測応答の間、マイナスの偏差トーマスの実際と予測応答の間。）私たちは、用語によって、その期待期間を計算することができます。 $1\times 1$ $y$ $\varepsilon_R$ $\varepsilon_T$

\begin{aligned} E (δ) & = E ((1, - 1) Z β + ε_{R} - ε_{T}) \\ = (1, - 1) Z β + 0 - 0 \\ = z_{1} β - z_{2} β . \end{aligned}

$\eqalign{ E(\delta) &= E\left((1,-1)Z\beta + \varepsilon_R - \varepsilon_T\right)\\ &= (1,-1)Z\beta +0 - 0\\ &= z_1\beta - z_2\beta. }$

これは、まさに予測されることです。予想される差は、予測値の差です。パラメータを推定値に置き換えることで推定できます。これを示すために、「」の上に帽子をかぶろう： $E$

\begin{matrix} (1) & \hat{E} (δ) = (1, - 1) Z \hat{β} = z_{1} \hat{β} - z_{2} \hat{β} . \end{matrix}

$\hat{E}(\delta) = (1,-1)Z\hat\beta = z_1\hat\beta - z_2\hat\beta.\tag{1}$

それが質問に現れるです。 $2.88-2.51$

レイチェルとトーマスの違いについて、その分布に関する不確実性の2つの要素を表すことで分析を続けることができます。1つはとがランダムデータから推定され、もう1つはランダムな偏差の出現と。 $\beta$ $\sigma$ $\varepsilon_R$ $\varepsilon_T$

\begin{matrix} (2) & \begin{aligned} Var (Rachel - Thomas) & = Var ((1, - 1) Z \hat{β} + ε_{R} - ε_{T}) \\ = (1, - 1) Z Var (\hat{β}) Z^{'} (1, - 1)^{'} + Var (ε_{R}) + Var (ε_{T}) \\ = (1, - 1) Z Var (\hat{β}) Z^{'} (1, - 1)^{'} + 2 {\hat{σ}}^{2} . \end{aligned} \end{matrix}

$\eqalign{ \operatorname{Var}(\text{Rachel}-\text{Thomas}) &= \operatorname{Var}\left((1,-1)Z\hat\beta + \varepsilon_R - \varepsilon_T\right) \\ &= (1,-1)Z \operatorname{Var}(\hat\beta) Z^\prime (1,-1)^\prime + \operatorname{Var}(\varepsilon_R) + \operatorname{Var}(\varepsilon_T) \\ &=(1,-1)Z \operatorname{Var}(\hat\beta) Z^\prime (1,-1)^\prime + 2\hat\sigma^2.\tag{2} }$

イプシロンの分散はによって推定されます。に依存するため、ません。を最小二乗推定で置き換えることにより、この分散を推定し、と書かれることもあります。 $\hat\sigma^2$ $\operatorname{Var}(\hat\beta)$ $\sigma$ $\sigma^2$ $\hat\sigma^2$ $\widehat{\operatorname{Var}}(\hat\beta)$

これらの推定値は、上のの条件付き分布についてより具体的な仮定を行うことによってのみ確率に変換できます。 $y$ $X$ 最も簡単なのは、が多変量正規であると仮定することです。そのため、（ベクトル線形変換であるため）自体は正規であり、したがって、その平均と分散がその分布を完全に決定します。その推定分布は、帽子をと置くことで得られます。 $y$ $\delta$ $y$ $E$ $\operatorname{Var}$

最後に、ソリューションに必要なすべての情報をまとめました。OLSプロシージャは、レイチェルの応答からトーマスの応答を差し引いた分布を、予測値の差に等しい平均と、推定誤差分散を含むによって推定された分散で正規であると推定します。係数推定値の分散共分散行列。 $(1)$ $(2)$ $\hat\sigma^2$ $\operatorname{Var}(\hat\beta)$

このRコードは、式および示されている計算を直接実行します。 $(1)$ $(2)$

fit <- lm(cgpa ~ hgpa + sat + ltrs, data=df)         # model to predict College GPA
Z <- as.matrix(data.frame(intercept=1, hgpa=c(4,3), sat=c(1168,1168),ltrs=c(6,6)))

cont <- matrix(c(1,-1), 1, 2)             # Rachel - Thomas "contrast".
beta.hat <- coef(fit)                     # Estimated coefficients for prediction
delta.hat <- cont %*% Z %*% beta.hat      # Predicted mean difference 
sigma.hat <- sigma(fit)                   # Estimated error SD
var.delta.hat <- cont %*% Z %*% vcov(fit) %*% t(Z) %*% t(cont) + 2 * sigma.hat^2
pnorm(0, -delta.hat, sqrt(var.delta.hat)) # Chance Rachel > Thomas

これらのデータの出力はです。OLSは、レイチェルのCGPAがトーマスのCGPAを超える可能性があると推定しています。（このケースでは、レイチェルとトーマスが非常に似ているため、モデルが非常によく適合し、データ量が非常に多いため、が小さいとはとても無視することができた。それは常にそうではありません。） $0.67$ $67\%$ $\widehat{\operatorname{Var}}(\hat\delta)$ $2\hat\sigma^2$

これが予測間隔の計算の基礎となるメカニズムです。この分布を使用して、レイチェルとトーマスのCGPAの差の予測間隔を計算できます。

— whuber
ソース

@Taylorモデルは、個々の応答が形式であることを表明します。帽子はモデル推定値を使用する場合にのみ表示されます。私は混乱してそれを書いたことがわかります-これは、モデルの2つの定式化の間の移行を行う痕跡です。私がそれを修正させてください、そうすればそれが一貫して見えるかどうかがわかります。

z β + ϵ

$z\beta+\epsilon$

— whuber

@whuber：質問：なぜ '-delta.hat'（負）ですか？また、ecnor {stats}を使用して、pnormを独自の推定cdfに置き換えることはできますか？lmの推定に何か影響はありますか？（lmは正規性を想定していません）。

— Maximilian

@Max（1）pnormは、変数がその引数より小さくなる可能性を計算しますが、より大きい可能性が必要です。厳密に言うと、私はを呼び出す必要がありましたがpnorm(0, delta.hat, sqrt(var.delta.hat), lower.tail=FALSE)、その対称性を利用してステートメントを短くしました。（2）あなたのecdfに提案する値は不明確です。（3）非正規応答分布の場合、一般化線形モデルまたは他の一般化が必要になる可能性があります。

— whuber

あなたの問題は簡単に聞こえるかもしれませんが、それは驚くほど複雑です。

RachelのCPGA（と呼ぶ）がTobias '（）より大きい確率を評価するために、それらの、および-scoresが何であるかを知っていることは、を書くことと同じです。はスコアです。と書けるので、 $y_1$ $y_2$ hgpasatltrs $P(y_2 - y_1 > 0 | X)$ $X$ $y_i = \hat{y_i} + \epsilon_i$

\begin{aligned} P (y_{2} - y_{1} > 0 | X) = & P (\underset{\sim N (0, 2 σ_{y}^{2})}{\underset{⏟}{ϵ_{2} - ϵ_{1}}} + \underset{= 2.8812 - 2.5082}{\underset{⏟}{\hat{y_{2}} - \hat{y_{1}}}} > 0 | X) \\ = & P (ϵ_{2} - ϵ_{1} < 0, 373) \end{aligned}

$\begin{align*} P(y_2 - y_1 > 0 | X) = & P( \underbrace{\epsilon_2 - \epsilon_1}_{\sim N(0, 2\sigma_y^2)} + \underbrace{\hat{y_2} - \hat{y_1}}_{ = 2.8812 - 2.5082} > 0 | X) \\ = &P(\epsilon_2 - \epsilon_1 < 0,373) \end{align*}$

確かにがわからないので、ここで行き詰まります。ここでできる最善のことは、回帰残差の分散を計算して推定することです。サンプルが十分に大きい場合（）、これは収束します。 $\sigma_y^2$ $\rightarrow \infty$ $\sigma_y^2$

の推定エラーを無視する場合は、これをRに実装できます。 $\hat{\sigma_y^2}$

sigma_hat <- summary(lm)$sigma
e2_min_e1 <- diff(predict(lm, new.df)) * -1

pnorm(e2_min_e1, 0, 2*sigma_hat)
# 0.6255

— KenHBS
ソース

ことは正しくありません。

y_{i} = \hat{y_{i}} + ϵ_{i}

$y_i = \hat{y_i} + \epsilon_i$

— テイラー

何故なの？（実際には線形射影ですが、通常の線形回帰の仮定の下では、これは条件式でもあります）そして常にとepsilonの平均はゼロ

\hat{y_{i}} \equiv E (y_{i} | X_{i})

$\hat{y_i} \equiv E(y_i | X_i)$

y_{i} = E (y_{i} | X_{i}) + ϵ_{i}

$y_i = E(y_i | X_i) + \epsilon_i$

— KenHBS

{\hat{y}}_{i} = \hat{E (y_{i} | x_{i})}

$\hat{y}_i = \widehat{E(y_i|x_i)}$

— テイラー

@KenS。ケンありがとう。「se.fit = TRUE」を追加するだけで、「predict（）」で標準エラーを取得できることはわかっています。私はあなたのコードでそれを試しました、そしてそれは私にエラーメッセージを与えました： 'r [i1]-r [-length（r）:-( length（r）-lag + 1L）]のエラー：バイナリへの非数値引数オペレーター」

— クニオ

OLSの標準的な仮定の1つは、線形関数形式が正しく指定されていることです。その仮定が成り立つ場合、です。私はあなたの要点を理解しているとは思いません。それは単なる表記上の違いでしょうか？

y_{i} = E (y_{i} | X_{i}) + ϵ_{i}

$y_i = E(y_i | X_i) + \epsilon_i$

— KenHBS 2017