距離行列から重心間の距離を計算する効率的な方法

n点間の2乗ユークリッド距離正方対称行列と、点のクラスターまたはグループメンバーシップ（クラスター）を示すベクトルがあるとします。クラスタはポイントで構成される場合があります。$\bf D$$n$$n$$k$$\ge1$

何が最も効率的か（速度の点で）本当に効率的な方法クラスタ重心間の計算距離ここでは？

これまでのところ、私は常にこの状況で主座標分析を行いました。PCoA、またはTorgersonのMDSは、最初にをスカラー積の行列（ "double centering"）に変換してから、そのPCAを実行することになります。このようにして、それらがまたがるユークリッド空間の点の座標を作成します。その後は、データを使用する場合と同じように、重心間の距離を通常の方法で簡単に計算できます。PCoAは対称正準半定固有分解またはSVDを実行する必要がありますが、S n S $\bf D$$\bf S$$n$grouped points x variablesn x n$\bf S$$n$かなり大きくなる可能性があります。さらに、このタスクは次元削減ではなく、実際にはこれらの直交する主軸は必要ありません。だから私はこれらの分解が行き過ぎかもしれないと感じています。

だから、あなたは潜在的に高速な方法についての知識やアイデアを持っていますか？

$x_1, x_2, \ldots, x_n$$\mathbb{R}^d$$\mathcal{I}$$\mathcal{J}$

$$c_\mathcal{I} = \frac{1}{|\mathcal{I}|} \sum_{i\in\mathcal{I}} x_i,\ c_\mathcal{J} = \frac{1}{|\mathcal{J}|} \sum_{j\in\mathcal{J}} x_j$$

$||c_\mathcal{I} - c_\mathcal{J}||^2$$D_{ij} = ||x_i - x_j||^2$。

ANOVA計算で平方和を分解するのとまったく同じように、代数的恒等式は

$$||c_\mathcal{I} - c_\mathcal{J}||^2 = \frac{1}{|\mathcal{I}||\mathcal{J}|} \left(SS(\mathcal{I \cup J}) -\left(|\mathcal{I}|+|\mathcal{J}|\right) \left(\frac{1}{|\mathcal{I}|}SS(\mathcal{I}) + \frac{1}{|\mathcal{J}|}SS(\mathcal{J})\right)\right)$$

$SS$、すべての点間の距離の二乗の面でこれを再表現します：

$$SS(\mathcal{K}) = \frac{1}{2}\sum_{i,j\,\in\,\mathcal{K}} ||x_i - x_j||^2 = \sum_{i\lt j\,\in\,\mathcal{K}} D_{ij}.$$

$O((|\mathcal{I}|+|\mathcal{J}|)^2)$$k$$O(n^2/k^2)$$D$

---

R これらの計算を説明およびテストするためのコードを次に示します。

ss <- function(x) {
  n <- dim(x)[2]
  i <- rep(1:n, n)
  j <- as.vector(t(matrix(i,n)))
  d <- matrix(c(1,1) %*% (x[,i] - x[,j])^2 , n) # The distance matrix entries for `x`
  sum(d[lower.tri(d)])
}
centroid <- function(x) rowMeans(x)
distance2 <- function(x,y) sum((x-y)^2)
#
# Generate two clusters randomly.
#
n.x <- 3; n.y <- 2
x <- matrix(rnorm(2*n.x), 2)
y <- matrix(rnorm(2*n.y), 2)
#
# Compare two formulae.
#
cat("Squared distance between centroids =",
    distance2(centroid(x), centroid(y)),
    "Equivalent value =", 
    (ss(cbind(x,y)) - (n.x + n.y) * (ss(x)/n.x + ss(y)/n.y)) / (n.x*n.y),
    "\n")