なぜ分散は、互いに続くすべての値の差として定義されないのですか？

これは多くの人にとって簡単な質問かもしれませんが、ここにあります：

なぜ分散は、値の平均との差ではなく、互いに続くすべての値の差として定義されないのですか？

これは私にとってより論理的な選択です。私は明らかにいくつかの欠点を監督していると思います。ありがとう

編集：

可能な限り明確に言い替えさせてください。これは私が意味するものです：

1. 順序付けられた番号の範囲があると仮定します：1,2,3,4,5
2. （平均を使用せずに）値の間の（絶対）差を計算し、合計します（連続的に、ペアごとではなく、次の値ごとに）。
3. 差異の数で除算する
4. （フォローアップ：番号が順序付けられていない場合、答えは異なりますか？）

->分散の標準式と比較して、このアプローチの欠点は何ですか？

最も明らかな理由は、値に時系列がないことが多いことです。したがって、データをごちゃ混ぜにしても、データによって伝えられる情報に違いはありません。あなたの方法に従えば、データをごちゃ混ぜにするたびに、異なるサンプル分散が得られます。

より理論的な答えは、サンプル分散が確率変数の真の分散を推定することです。確率変数の真の分散は E [（X − E X ）2 ]$X$

$$E\left[ (X - EX)^2 \right].$$

ここで、は期待値または「平均値」を表します。したがって、分散の定義は、その平均値からの変数間の平均平方距離です。この定義を見ると、データがないため、ここには「時間順序」はありません。これは、ランダム変数の単なる属性です。$E$

この分布からiidデータを収集すると、実現ます。期待値を推定する最良の方法は、サンプルの平均を取ることです。ここで重要なのは、iidデータを取得したため、データに順序付けがないことです。サンプルx 1、x 2、… 、x nはサンプルx 2と同じです$x_1, x_2, \dots, x_n$$x_1, x_2, \dots, x_n$$x_2, x_5, x_1, x_n..$

編集

サンプル分散は、サンプルの特定の種類の分散を測定します。分散は、平均からの平均距離を測定します。データの範囲、分位間範囲など、他の種類の分散があります。

値を昇順で並べ替えても、サンプルの特性は変わりません。取得するサンプル（データ）は、変数からの実現です。サンプルの分散を計算することは、変数の分散がどの程度あるかを理解することに似ています。たとえば、20人をサンプリングして身長を計算すると、それらはランダム変数人の身長から20の「認識」になります。サンプルの分散は、一般的に個人の身長のばらつきを測定することになっています。データを注文する場合 $X =$

$$100, 110, 123, 124, \dots,$$

サンプルの情報は変更されません。

もう1つの例を見てみましょう。あなたはこのように命じたランダム変数から100回の観測を持って言うことができますその後の平均距離は1単位なので、メソッドでは分散は1になります。

$$1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, ... 100.$$

「分散」または「分散」を解釈する方法は、データの値の範囲がどのようなものかを理解することです。この場合、.99単位の範囲が得られますが、これはもちろん変動をうまく表していません。

99

それはされてそのように定義されました！

これが代数です。値をます。表すF（各手段は、これらの値の経験分布関数xはiは、確率質量寄与する1 / N値にxはIをおよびlet）XとYが分布を有する独立ランダム変数であるF。定義と同様に、分散の基本的な特性（つまり、2次形式）によって$\mathbf{x}=(x_1, x_2, \ldots, x_n)$$F$$x_i$$1/n$$x_i$$X$$Y$$F$および事実により$F$と Yは同じ平均を持ち、$X$$Y$

$$\eqalign{ \operatorname{Var}(\mathbf{x})&=\operatorname{Var}(X) = \frac{1}{2}\left(\operatorname{Var}(X) + \operatorname{Var}(Y)\right)=\frac{1}{2}\left(\operatorname{Var}(X-Y)\right)\\ &=\frac{1}{2}\left(\mathbb{E}((X-Y)^2) - \mathbb{E}(X-Y)^2\right)\\ &=\mathbb{E}\left(\frac{1}{2}(X-Y)^2\right) - 0\\ &=\frac{1}{n^2}\sum_{i,j}\frac{1}{2}(x_i - x_j)^2. }$$

この式は、順序に依存しません。コンポーネントの可能なすべてのペアを使用し、2乗の差の半分を使用してそれらを比較します。これは、しかし、に関連することができる平均全ての可能な順序付けを超える（グループS（N ）すべてのN ！インデックスの順列1 、2 、... 、N）。すなわち、$\mathbf{x}$$\mathfrak{S}(n)$$n!$$1,2,\ldots, n$

$$\operatorname{Var}(\mathbf{x})=\frac{1}{n^2}\sum_{i,j}\frac{1}{2}(x_i - x_j)^2 = \frac{1}{n!}\sum_{\sigma\in\mathfrak{S}(n)} \frac{1}{n} \sum_{i=1}^{n-1} \frac{1}{2}(x_{\sigma(i)} - x_{\sigma(i+1)})^2.$$

その内部合計は並べ替え値をとりおよび（半）は、すべての間の差の二乗合計N - 1の連続したペア。nによる除算は、これらの連続した2乗差を本質的に平均します。lag-1半分散として知られているものを計算します$x_{\sigma(1)}, x_{\sigma(2)}, \ldots, x_{\sigma(n)}$$n-1$$n$ます。外側の合計は、すべての可能な順序付けに対してこれを行います。

---

標準的な分散式のこれら2つの等価な代数的ビューは、分散の意味についての新しい洞察を提供します。半分散は、シーケンスのシリアル共分散の逆尺度です。半分散が低い場合は共分散は高く（数値は正の相関関係にあり）、逆も同様です。したがって、順序付けされていないデータセットの分散は、任意の並べ替えで取得可能なすべての可能な半分散の一種の平均です。

他の答えを補足するだけで、分散は用語間の差の2乗として計算できます。

$$\begin{align} &\text{Var}(X) = \\ &\frac{1}{2\cdot n^2}\sum_i^n\sum_j^n \left(x_i-x_j\right)^2 = \\ &\frac{1}{2\cdot n^2}\sum_i^n\sum_j^n \left(x_i - \overline x -x_j + \overline x\right)^2 = \\ &\frac{1}{2\cdot n^2}\sum_i^n\sum_j^n \left((x_i - \overline x) -(x_j - \overline x\right))^2 = \\ &\frac{1}{n}\sum_i^n \left(x_i - \overline x \right)^2 \end{align}$$

I think this is the closest to the OP proposition. Remember the variance is a measure of dispersion of every observation at once, not only between "neighboring" numbers in the set.

---

UPDATE

$X = {1, 2, 3, 4, 5}$. We know the variance is $Var(X) = 2$.

With your proposed method $Var(X) = 1$, so we know beforehand taking the differences between neighbors as variance doesn't add up. What I meant was taking every possible difference squared then summed:

$$Var(X) = \\ = \frac{(5-1)^2+(5-2)^2+(5-3)^2+(5-4)^2+(5-5)^2+(4-1)^2+(4-2)^2+(4-3)^2+(4-4)^2+(4-5)^2+(3-1)^2+(3-2)^2+(3-3)^2+(3-4)^2+(3-5)^2+(2-1)^2+(2-2)^2+(2-3)^2+(2-4)^2+(2-5)^2+(1-1)^2+(1-2)^2+(1-3)^2+(1-4)^2+(1-5)^2}{2 \cdot 5^2} = \\ =\frac{16+9+4+1+9+4+1+1+4+1+1+4+1+1+4+9+1+4+9+16}{50} = \\ =2$$

Others have answered about the usefulness of variance defined as usual. Anyway, we just have two legitimate definitions of different things: the usual definition of variance, and your definition.

Then, the main question is why the first one is called variance and not yours. That is just a matter of convention. Until 1918 you could have invented anything you want and called it "variance", but in 1918 Fisher used that name to what is still called variance, and if you want to define anything else you will need to find another name to name it.

The other question is if the thing you defined might be useful for anything. Others have pointed its problems to be used as a measure of dispersion, but it's up to you to find applications for it. Maybe you find so useful applications that in a century your thing is more famous than variance.

@GreenParker answer is more complete, but an intuitive example might be useful to illustrate the drawback to your approach.

In your question, you seem to assume that the order in which realisations of a random variable appear matters. However, it is easy to think of examples in which it doesn't.

Consider the example of the height of individuals in a population. The order in which individuals are measured is irrelevant to both the mean height in the population and the variance (how spread out those values are around the mean).

Your method would seem odd applied to such a case.

Although there are many good answers to this question I believe some important points where left behind and since this question came up with a really interesting point I would like to provide yet another point of view.

Why isn't variance defined as the difference between every value following    
each other instead of the difference to the average of the values?

The first thing to have in mind is that the variance is a particular kind of parameter, and not a certain type of calculation. There is a rigorous mathematical definition of what a parameter is but for the time been we can think of then as mathematical operations on the distribution of a random variable. For example if $X$ is a random variable with distribution function $F_X$ then its mean $\mu_x$, which is also a parameter, is:

$$\mu_X = \int_{-\infty}^{+\infty}xdF_{X}(x)$$

and the variance of $X$, $\sigma^2_X$, is:

$$\sigma^2_X = \int_{-\infty}^{+\infty}(x - \mu_X)^2dF_{X}(x)$$

The role of estimation in statistics is to provide, from a set of realizations of a r.v., a good approximation for the parameters of interest.

What I wanted to show is that there is a big difference in the concepts of a parameters (the variance for this particular question) and the statistic we use to estimate it.

Why isn't the variance calculated this way?

So we want to estimate the variance of a random variable $X$ from a set of independent realizations of it, lets say $x = \{x_1,\ldots,x_n\}$. The way you propose doing it is by computing the absolute value of successive differences, summing and taking the mean:

$$\psi(x) = \frac{1}{n}\sum_{i = 2}^{n}|x_i - x_{i-1}|$$

and the usual statistic is:

$$S^2(x) = \frac{1}{n-1}\sum_{i = i}^{n}(x_i - \bar{x})^2,$$

where $\bar{x}$ is the sample mean.

When comparing two estimator of a parameter the usual criterion for the best one is that which has minimal mean square error (MSE), and a important property of MSE is that it can be decomposed in two components:

MSE = estimator bias + estimator variance.

Using this criterion the usual statistic, $S^2$, has some advantages over the one you suggests.

• First it is a unbiased estimator of the variance but your statistic is not unbiased.

• One other important thing is that if we are working with the normal distribution then $S^2$ is the best unbiased estimator of $\sigma^2$ in the sense that it has the smallest variance among all unbiased estimators and thus minimizes the MSE.

When normality is assumed, as is the case in many applications, $S^2$ is the natural choice when you want to estimate the variance.

The time-stepped difference is indeed used in one form, the Allan Variance. http://www.allanstime.com/AllanVariance/

Lots of good answers here, but I'll add a few.

1. The way it is defined now has proven useful. For example, normal distributions appear all the time in data and a normal distribution is defined by its mean and variance. Edit: as @whuber pointed out in a comment, there are various other ways specify a normal distribution. But none of them, as far as I'm aware, deal with pairs of points in sequence.
2. Variance as normally defined gives you a measure of how spread out the data is. For example, lets say you have a lot of data points with a mean of zero but when you look at it, you see that the data is mostly either around -1 or around 1. Your variance would be about 1. However, under your measure, you would get a total of zero. Which one is more useful? Well, it depends, but its not clear to me that a measure of zero for its "variance" would make sense.
3. It lets you do other stuff. Just an example, in my stats class we saw a video about comparing pitchers (in baseball) over time. As I remember it, pitchers appeared to be getting worse since the proportion of pitches that were hit (or were home-runs) was going up. One reason is that batters were getting better. This made it hard to compare pitchers over time. However, they could use the z-score of the pitchers to compare them over time.

Nonetheless, as @Pere said, your metric might prove itself very useful in the future.