重いテールの分散プロセスが大幅に改善されたかどうかを判断する

変更によってプロセスが改善されたかどうかを確認するために、変更の前後のプロセスの処理時間を観察します。処理時間が短縮されると、プロセスは改善されました。処理時間の分布はファットテールであるため、平均に基づいて比較することは賢明ではありません。代わりに、変更後の処理時間が短くなる確率が50％を大幅に上回るかどうかを知りたいと思います。

ましょ変更と後の処理時間のためにランダムな変数である 1の前に。場合大きく上回っている、私は、プロセスが改善されていると思います。Y P （X < Y ）$X$$Y$$P(X < Y)$$0.5$

今、私が持っているの観測がのおよび観測がの。P（X <Y）の観測確率は\ hat p = \ frac {1} {nm} \ sum_i \ sum_j 1_ {x_i <y_j}です。x i X m y j$n$$x_i$$X$$m$$y_j$$Y$$P(X < Y)$$\hat p = \frac{1}{n m} \sum_i \sum_j 1_{x_i < y_j}$

観測x_iおよびy_jが与えられた場合、P（X <Y）について何が言えますか？$P(X < Y)$$x_i$$y_j$

推定は、Mann-Whitney統計を（感謝、グレン！）で割ったものに等しいため、Wilcoxonランクサム統計（Wilcoxon-Mann-Whitney統計とも呼ばれます）と同等です。： 、ここではのサンプルサイズです（同順位がないと仮定します）。したがって、ウィルコクソン検定のテーブル/ソフトウェアを使用して、戻すことができます。信頼区間または値を取得します。$\hat{p}$$U$$mn$$W$$W = U + {n(n+1)\over{2}}$$n$$y$$U$$p$

ましょサンプルサイズで、 =。次に、漸近的に、$m$$x$$N$$m+n$

$W^* = \frac{W-\frac{m(N+1)}{2}}{\sqrt{\frac{mn(N+1)}{12}}} \sim \text{N}(0,1)$

出典： Hollander and Wolfe、ノンパラメトリック統計法、約p。117、しかしおそらくほとんどのノンパラメトリック統計の本はあなたをそこに導くでしょう。

@jbowmanは、応力強度モデルとして知られているを推定する問題の（素晴らしい）標準ソリューションを提供します。$\theta=P(X<Y)$

とが独立している場合の別のノンパラメトリックな代替案がBaklizi and Eidous（2006）で提案されました。以下に説明します。$X$$Y$

定義により、

ここで、はのCDFで、はの密度です。次に、とサンプルを使用して、とカーネル推定量、および結果として推定量を取得できます。$F_X$$X$$f_Y$$Y$$X$$Y$$F_X$$f_Y$$\theta$

これは、ガウスカーネルを使用して次のRコードで実装されます。

# Optimal bandwidth
h = function(x){
n = length(x)
return((4*sqrt(var(x))^5/(3*n))^(1/5))
}

# Kernel estimators of the density and the distribution
kg = function(x,data){
hb = h(data)
k = r = length(x)
for(i in 1:k) r[i] = mean(dnorm((x[i]-data)/hb))/hb
return(r )
} 

KG = function(x,data){
hb = h(data)
k = r = length(x)
for(i in 1:k) r[i] = mean(pnorm((x[i]-data)/hb))
return(r )
} 

# Baklizi and Eidous (2006) estimator
nonpest = function(dat1B,dat2B){
return( as.numeric(integrate(function(x) KG(x,dat1B)*kg(x,dat2B),-Inf,Inf)$value))  
}

# Example when X and Y are Cauchy
datx = rcauchy(100,0,1)
daty =  rcauchy(100,0,1)

nonpest(datx,daty)

信頼区間を取得するには、次のようにこの推定量のブートストラップサンプルを取得できます。$\theta$

# bootstrap
B=1000
p = rep(0,B)

for(j in 1:B){
dat1 =  sample(datx,length(datx),replace=T)
dat2 =  sample(daty,length(daty),replace=T)
p[j] = nonpest(dat1,dat2)
}

# histogram of the bootstrap sample
hist(p)

# A confidence interval (quantile type)
c(quantile(p,0.025),quantile(p,0.975))

他の種類のブートストラップ間隔も考慮される場合があります。

$X_i-Y_i$$P(X_i-Y_i<0) = p$$I\{X_i-Y_i<0\}$$i=1,2,..,n$$X$$X_i < Y_i$$n$ $p=P(X_i-Y_i<0)$$X/n$