私はウェブで調べましたが、役に立つものは見つかりませんでした。
私は基本的に、値がどのくらい「均等に」分布しているかを測定する方法を探しています。同様に、Xのような「均等な」分散ディストリビューション:
そして、ほぼ同じ平均と標準偏差の「不均一」な分布Y:
しかし、m(X)> m(Y)のような均等性の尺度mはありますか?存在しない場合、このようなメジャーを作成する最良の方法は何でしょうか?
(Khan Academyの画像スクリーンショット)
私はウェブで調べましたが、役に立つものは見つかりませんでした。
私は基本的に、値がどのくらい「均等に」分布しているかを測定する方法を探しています。同様に、Xのような「均等な」分散ディストリビューション:
そして、ほぼ同じ平均と標準偏差の「不均一」な分布Y:
しかし、m(X)> m(Y)のような均等性の尺度mはありますか?存在しない場合、このようなメジャーを作成する最良の方法は何でしょうか?
(Khan Academyの画像スクリーンショット)
回答:
「均一性」の標準、強力、十分に理解され、理論的に確立され、頻繁に実装される尺度は、リプリーK関数とその近縁のL関数です。 これらは通常、2次元の空間ポイント構成を評価するために使用されますが、1次元に適合させるために必要な分析(通常は参照では提供されません)は簡単です。
K関数は、典型的なポイントの距離内のポイントの平均比率を推定します。間隔で均一な分布のために[ 0 、1 ]、真の割合は、(試料サイズに漸近)を計算することができ、等しい1 - (1 - D )2。L関数の適切な1次元バージョンは、Kからこの値を減算して、均一性からの偏差を示します。 そのため、データのバッチを正規化して単位範囲を作成し、そのL関数を調べてゼロ付近の偏差を調べることを検討します。
例示するために、私は、シミュレートされたサイズの独立したサンプル64を一様分布から短い距離のためのそれらの(正規化)L関数をプロットした(からに 1 / 3、それによりL関数のサンプリング分布を推定するエンベロープを作成します)。(このエンベロープ内のプロットされたポイントは、均一性と大きく区別することはできません。)この上に、U字型分布、4つの明白な成分を持つ混合分布、および標準正規分布から同じサイズのサンプルのL関数をプロットしました。これらのサンプル(およびその親分布)のヒストグラムは、参照用に、ライン関数を使用してL関数のヒストグラムと一致するように表示されます。
U字型の分布の鋭く分離されたスパイク(赤い破線、左端のヒストグラム)は、狭い間隔の値のクラスターを作成します。これは、でのL関数の非常に大きな勾配に反映されます。その後、L関数は減少し、最終的に負になり、中間距離のギャップを反映します。
からのサンプル 正規分布(青色の実線、右端のヒストグラム)ほぼ均一に分布しています。したがって、そのL関数はすぐにから逸脱しません。しかし、0.10程度の距離で、エンベロープを十分に超えて上昇し、わずかなクラスター化傾向を示しています。中間の距離にわたって継続的に上昇していることは、クラスタリングが拡散しており、広範囲に広がっていることを示しています(一部の孤立したピークに限定されません)。
混合分布からのサンプルの最初の大きな勾配(中央のヒストグラム)は、短い距離(未満)でのクラスタリングを明らかにしています。負のレベルに低下することにより、中間距離での分離を通知します。これをU字型の分布のL関数と比較すると、0での勾配、これらの曲線が0を超える量、および最終的に0に戻る速度はすべて、データ。これらの特性はいずれも、特定のアプリケーションに合わせて「均一性」の単一の尺度として選択できます。
これらの例は、均一性(「均一性」)からのデータの逸脱を評価するためにL関数を調べる方法と、そこから逸脱の規模と性質に関する定量的情報を抽出する方法を示します。
(均一化からの大規模な逸脱を評価するために、完全に正規化された距離に及ぶL関数全体を実際にプロットできます。しかし、通常、より短い距離でのデータの挙動を評価することはより重要です。)
R
この図を生成するコードは次のとおりです。KとLを計算する関数を定義することから始めます。混合分布からシミュレートする機能を作成します。次に、シミュレートされたデータを生成し、プロットを作成します。
Ripley.K <- function(x, scale) {
# Arguments:
# x is an array of data.
# scale (not actually used) is an option to rescale the data.
#
# Return value:
# A function that calculates Ripley's K for any value between 0 and 1 (or `scale`).
#
x.pairs <- outer(x, x, function(a,b) abs(a-b)) # All pairwise distances
x.pairs <- x.pairs[lower.tri(x.pairs)] # Distances between distinct pairs
if(missing(scale)) scale <- diff(range(x.pairs))# Rescale distances to [0,1]
x.pairs <- x.pairs / scale
#
# The built-in `ecdf` function returns the proportion of values in `x.pairs` that
# are less than or equal to its argument.
#
return (ecdf(x.pairs))
}
#
# The one-dimensional L function.
# It merely subtracts 1 - (1-y)^2 from `Ripley.K(x)(y)`.
# Its argument `x` is an array of data values.
#
Ripley.L <- function(x) {function(y) Ripley.K(x)(y) - 1 + (1-y)^2}
#-------------------------------------------------------------------------------#
set.seed(17)
#
# Create mixtures of random variables.
#
rmixture <- function(n, p=1, f=list(runif), factor=10) {
q <- ceiling(factor * abs(p) * n / sum(abs(p)))
x <- as.vector(unlist(mapply(function(y,f) f(y), q, f)))
sample(x, n)
}
dmixture <- function(x, p=1, f=list(dunif)) {
z <- matrix(unlist(sapply(f, function(g) g(x))), ncol=length(f))
z %*% (abs(p) / sum(abs(p)))
}
p <- rep(1, 4)
fg <- lapply(p, function(q) {
v <- runif(1,0,30)
list(function(n) rnorm(n,v), function(x) dnorm(x,v), v)
})
f <- lapply(fg, function(u) u[[1]]) # For random sampling
g <- lapply(fg, function(u) u[[2]]) # The distribution functions
v <- sapply(fg, function(u) u[[3]]) # The parameters (for reference)
#-------------------------------------------------------------------------------#
#
# Study the L function.
#
n <- 64 # Sample size
alpha <- beta <- 0.2 # Beta distribution parameters
layout(matrix(c(rep(1,3), 3, 4, 2), 2, 3, byrow=TRUE), heights=c(0.6, 0.4))
#
# Display the L functions over an envelope for the uniform distribution.
#
plot(c(0,1/3), c(-1/8,1/6), type="n",
xlab="Normalized Distance", ylab="Total Proportion",
main="Ripley L Functions")
invisible(replicate(999, {
plot(Ripley.L(x.unif <- runif(n)), col="#00000010", add=TRUE)
}))
abline(h=0, lwd=2, col="White")
#
# Each of these lines generates a random set of `n` data according to a specified
# distribution, calls `Ripley.L`, and plots its values.
#
plot(Ripley.L(x.norm <- rnorm(n)), col="Blue", lwd=2, add=TRUE)
plot(Ripley.L(x.beta <- rbeta(n, alpha, beta)), col="Red", lwd=2, lty=2, add=TRUE)
plot(Ripley.L(x.mixture <- rmixture(n, p, f)), col="Green", lwd=2, lty=3, add=TRUE)
#
# Display the histograms.
#
n.breaks <- 24
h <- hist(x.norm, main="Normal Sample", breaks=n.breaks, xlab="Value")
curve(dnorm(x)*n*mean(diff(h$breaks)), add=TRUE, lwd=2, col="Blue")
h <- hist(x.beta, main=paste0("Beta(", alpha, ",", beta, ") Sample"),
breaks=n.breaks, xlab="Value")
curve(dbeta(x, alpha, beta)*n*mean(diff(h$breaks)), add=TRUE, lwd=2, lty=2, col="Red")
h <- hist(x.mixture, main="Mixture Sample", breaks=n.breaks, xlab="Value")
curve(dmixture(x, p, g)*n*mean(diff(h$breaks)), add=TRUE, lwd=2, lty=3, col="Green")
ユニフォームへの分布がどれだけ近いかを測定したいと思います。
一様分布の累積分布関数とサンプルの経験的累積分布関数の間の距離を調べることができます。
のは、変数がセットで定義されていると仮定する。次に、一様分布は次の式で与えられる累積分布関数F u(x )を持ちます。
さて、あなたのサンプルと仮定ある1 、3 、5。Xの経験的分布は
そして、サンプル聞かせてあること1 、1 、5。次に、Yの経験的分布は
さて、分布間の距離の尺度として、各ポイントでの距離の合計を取りましょう。
ことが簡単にわかります。
より複雑な場合は、上記で使用した基準を修正する必要がありますが、主な考え方は変わりません。テスト手順が必要な場合は、テストが開発された標準(@TomMinkaが指摘した標準)を使用するとよい場合があります。
私があなたの質問を正しく理解していれば、あなたにとっての「最も均一な」分布は、ランダム変数が観測されたすべての値を一度取るような分布になります。同じ値の観測値の「クラスター」がある場合、それは不均一になります。個別の観測値について話していると仮定すると、おそらく、確率質量点の平均差、最大差、または特定のしきい値を超える「平均」との差がある観測値の数の両方を調べることができます。
観測値が本当に均一である場合、すべてのPMポイントの値は等しく、最大値と最小値の差は0です。平均値の差が0に近いほど、観測値の大部分が「均等」になり、最大の差異と、より少ない「ピーク」も、経験的観測が「均等」であることを示します。
更新 もちろん、均一性のためにカイ二乗検定を使用するか、経験分布関数を均一と比較することができますが、その場合、観測値の分布がまだであっても、観測値の大きな「ギャップ」によってペナルティが課せられます「偶数」。
探している指標は、正式には不一致と呼ばれます。
一次元バージョンは次のとおりです。
。
低不一致シーケンスは、しばしば準ランダムシーケンスと呼ばれます。
低不一致シーケンスの基本的な概要はここにあり、私のブログ記事「準ランダムシーケンスの不合理な有効性」では、数値積分、球の表面へのマッピング、準周期的タイリングに適用した場合のさまざまな方法を比較しています。