平均絶対偏差と標準偏差

Greer（1983）による教科書「Oレベルの新しい包括的数学」では、平均偏差は次のように計算されています。

単一の値と平均値の絶対差を合計します。次に、その平均を取得します。この章では、平均偏差という用語が使用されています。

しかし最近、標準偏差という用語を使用するいくつかの参考文献を見てきました。

単一の値と平均値の差の二乗を計算します。次に、それらの平均値を取得し、最終的に回答のルートを取得します。

共通のデータセットで両方の方法を試しましたが、答えは異なります。私は統計学者ではありません。私の子供たちに逸脱を教えようとしていたとき、私は混乱しました。

要するに、標準偏差と平均偏差という用語は同じですか、それとも私の古い教科書は間違っていますか？

どちらも、観測値の平均の周りに値がどの程度広がっているかを答えます。

平均値の下で1である観測値は、平均値の上で1である値として、平均値から等しく「遠い」です。したがって、偏差の兆候を無視する必要があります。これは2つの方法で実行できます。

• 偏差の絶対値を計算し、これらを合計します。

• 偏差を二乗し、これらの二乗を合計します。平方のため、偏差が大きいほど重みが大きくなるため、これらの平方の合計は平均の合計とは異なります。

「絶対偏差の合計」または「平方偏差の合計の平方根」を計算した後、それらを平均して「平均偏差」と「標準偏差」をそれぞれ取得します。

平均偏差はめったに使用されません。

現在、統計値は主にコンピュータープログラム（Excelなど）によって計算されており、携帯電卓では計算されていません。したがって、「平均偏差」を計算することは「標準偏差」を計算することより面倒ではないと仮定します。標準偏差には「...統計でより有用になる数学的特性」があるかもしれませんが、実際には、平均から離れたデータポイントに余分な重みを与えるため、平均からの分散の概念の歪みです。しばらく時間がかかるかもしれませんが、データポイント間の分布について議論するとき、統計学者が「平均偏差」をより頻繁に使用するように進化することを望みます。

どちらも同じ概念を測定しますが、等しくありません。

あなたは比較していますで$\frac{1}{n} \sum |x_i-\bar{x}|$。これらは、次の2つの理由で同等ではありません。$\sqrt{\frac{1}{n} \sum (x_i-\bar{x})^2}$

まず、平方根演算子が線形ではない、または$\sqrt{a+b} \neq \sqrt{a} + \sqrt{b}$
$\sum|x_i-\bar{x}| = \sum \sqrt{(x_i-\bar{x})^2} \neq \sqrt{\sum(x_i-\bar{x})^2}$

$n$

$\frac{1}{n}\sum \sqrt{(x_i-\bar{x})^2}$

標準偏差が好ましい理由は、後で計算が複雑になったときに数学的に作業しやすいためです。

@ itsols、Kasperの重要な概念に追加しますThe mean deviation is rarely used。一般に、標準偏差が平均絶対偏差よりもばらつきの良い指標と一般に考えられているのはなぜですか？ので、算術平均が最小の和の軌跡である乗は、それからの偏差（絶対和ではありません）。

利他主義の程度を評価したいとします。そうすれば、人生の「一般的な状況」でどれだけのお金を与える準備ができているかを人に尋ねないでしょう。むしろ、あなたは彼が彼自身の生活のために最小限の可能な資源を持っているという、落ち着いた状況でそれをする準備ができている量を尋ねることを選ぶでしょう。すなわち、その量が個人の最小である状況での個人の利他主義の量は何ですか？

同様に、これらのデータのばらつきの程度はどのくらいですか？直観的には、このコンテキストでの限界まで最小化（または最大化）されたものが最適な測定指標です。コンテキストは「算術平均付近」です。その後、聖 この意味で偏差は最良の選択です。コンテキストが「中央値付近」の場合、| deviation |を意味します 中央値は、それからの絶対偏差の最小和の軌跡であるため、最良の選択です。

追加する価値のあることの1つは、30歳の教科書が標準偏差とは対照的に絶対平均偏差を使用した最も可能性の高い理由は、手動で計算しやすいことです（平方/平方根なし）。高校生は計算機に簡単にアクセスできるようになったため、標準偏差の計算を依頼しない理由はありません。

複雑なモデルのフィッティングで標準偏差の代わりに絶対偏差が使用される状況がまだいくつかあります。絶対偏差は、他のデータポイントの値に加算する前にその距離を2乗しないため、標準偏差と比較して極端な外れ値（平均/トレンドラインから遠い値）に対する感度が低くなります。モデルフィッティング手法はトレンドラインからの合計偏差を減らすことを目的としているため（どちらの方法の偏差が計算であっても）、標準偏差を使用するメソッドは、外れ値に近づくために大部分のポイントから離れるトレンドラインを作成する可能性があります。絶対偏差を使用すると、この歪みは減少しますが、トレンドラインの計算がより複雑になります。

これは、他の人が指摘したように、標準偏差には数学的な特性と関係があり、一般に統計上より有用であるためです。しかし、「有用」と「完璧」を混同しないでください。

両方とも、データの平均までの距離を計算することにより、データの分散を測定します。

1. 平均絶対偏差は、（それはまた呼ばれるノルムL1を使用しているマンハッタン距離または直線距離）
2. 標準偏差は、ノルムL2を使用している（とも呼ばれるユークリッド距離）

2つの基準の違いは、標準偏差が差の2 乗を計算しているのに対し、平均絶対偏差は絶対差のみを見ていることです。したがって、他の方法の代わりに標準偏差を使用すると、大きな外れ値はより高い分散を作成します。ユークリッド距離も実際に頻繁に使用されます。主な理由は、標準偏差データが正規分布している場合に便利なプロパティがあります。したがって、この仮定の下では、使用することをお勧めします。しかし、人々はしばしば、実際には正規分布していないデータに対してこの仮定を行い、問題を引き起こします。データが正規分布していない場合でも、標準偏差を使用できますが、結果の解釈には注意が必要です。

最後に、分散の両方の測定値が、p = 1およびp = 2 のミンコフスキー距離の特定のケースであることを知っておく必要があります。pを増やすと、データの分散の他の測定値を取得できます。

それらは同じ概念を定量化しようとする同様の尺度です。通常はstを使用します。基礎となる分布について何らかの仮定を行うと、優れた特性を持つため、偏差が生じます。

一方、平均偏差の絶対値は、区別できず、簡単に分析できないため、数学的な観点からいくつかの問題を引き起こします。ここでいくつかの議論。

いいえ、あなたは間違っています。冗談だ。ただし、正式な標準ではなく平均偏差を計算したい理由は多くあります。このように、私は工学系の兄弟の視点に同意しています。確かに、定性的および定量的結論を表現している既存の作品と比較するために統計を計算している場合、私は標準に固執するでしょう。しかし、たとえば、私はいくつかの高速を実行しようとしていると仮定しますバイナリ、マシン生成データの異常検出アルゴリズム。私は最終的な目標として学術的な比較をした後ではありません。しかし、私はその平均に関する特定のデータの流れの「広がり」についての基本的な推論に興味があります。また、これを繰り返し、可能な限り効率的に計算することに興味があります。デジタル電子ハードウェアでは、常にダーティトリックをプレイします。乗算と除算をそれぞれ左シフトと右シフトに蒸留し、絶対値を「計算」するために、符号ビットを単にドロップします（必要に応じて1または2の補数を計算します） 、両方の簡単な変換）。そのため、私が選択できるのは、できる限り手っ取り早い方法で計算し、線形しきい値を計算に適用して、目的の時間枠での異常検出を高速化することです。

実際、2つの測定値は異なります。前者はしばしば平均絶対偏差（MAD）と呼ばれ、後者は標準偏差（STD）です。計算能力とプログラムメモリが著しく制限されている組み込みアプリケーションでは、平方根計算を避けることが非常に望ましい場合があります。

簡単な大まかなテストから、ガウス分布のランダムサンプルのセットに対して、fが0.78から0.80の間のMAD = f * STDであるように思われます。

Amar Sagooにはこれを説明する非常に良い記事があります：[ http://blog.amarsagoo.info/2007/09/making-sense-of-standard-deviation.html]

直感的な理解で私自身の試みを追加するには：

平均偏差は、仮想の「平均」ポイントが平均からどれだけ離れているかを求める適切な方法ですが、すべてのポイントが互いにどれだけ離れているか、またはデータがどのように「広がっている」かを尋ねるのには実際には機能しません。

標準偏差は、すべてのポイントがどれだけ離れているかを尋ねているため、平均偏差よりも有用な情報が組み込まれています（これは、通常、平均偏差が標準偏差を理解するための踏み台としてのみ使用される理由です）。

良い例えはピタゴラスの定理です。ピタゴラスの定理は、水平距離と垂直距離を取り、それらを二乗し、平方を加算し、合計の平方根をとることにより、2次元の点間の距離を示します。

よく見ると、（人口）標準偏差の式は基本的にピタゴラスの定理と同じですが、2つ以上の次元があります（各点から平均までの距離を各次元の距離として使用）。そのため、データセット内のすべてのポイント間の「距離」を最も正確に把握できます。

その類推をもう少し進めるために、平均絶対偏差は、水平距離と垂直距離の平均をとるようなものであり、合計距離よりも短く、合計絶対偏差は水平距離と垂直距離を加算して長くなります実際の距離よりも

標準偏差は、ランダムプロセスによるばらつきを表します。具体的には、多くの独立したプロセスの合計が原因であると予想される多くの物理的測定値は、正規分布（釣鐘曲線）を持っています。

正規確率分布は、与えられます $\Large Y = \frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{\left(x-\mu\right)^2}{2\sigma^2}}$

$Y$$x$$\mu$$\sigma$

言い換えると、標準偏差は、独立したランダム変数が合計されることから生じる用語です。したがって、ここで与えられた回答のいくつかに同意しません-標準偏差は、「後の計算でより便利になりやすい」という意味の偏差の単なる代替ではありません。標準偏差は、正規分布現象の分散をモデル化する正しい方法です。

方程式を見ると、標準偏差が平均からの偏差を大きく重み付けしていることがわかります。直観的には、平均偏差は、平均からの実際の平均偏差を測定するものと考えることができますが、標準偏差は、平均の周りのベル型別名「正規」分布を説明します。したがって、データが正規分布している場合、標準偏差は、より多くの値をサンプリングすると、平均値の1つの標準偏差内で約68％が検出されることを示しています。

一方、ランダム変数が1つしかない場合、分布は長方形のように見え、範囲内のどこにでも値が現れる確率が等しくなります。この場合、平均偏差がより適切である可能性があります。

TL; DR基になる多くのランダムプロセスに起因するデータがある場合、または単純に正規分布していることがわかっている場合は、標準偏差関数を使用します。