標準偏差は完全に間違っていますか？どのように高さ、カウントなどの正の数値を計算できますか？

高さ（cm）を計算していて、数値はゼロよりも大きくなければならないとします。

サンプルリストを次に示します。

0.77132064
0.02075195
0.63364823
0.74880388
0.49850701
0.22479665
0.19806286
0.76053071
0.16911084
0.08833981

Mean: 0.41138725956196015
Std: 0.2860541519582141

この例では、正規分布に従って、値の99.7％が平均からの標準偏差の±3倍の間にある必要があります。ただし、標準偏差の2倍でも負になります。

-2 x std calculation = 0.41138725956196015 - 0.2860541519582141 x 2 = -0,160721044354468

しかし、私の数字は正でなければなりません。負の数は無視できますが、これが標準偏差を使用して確率を計算する正しい方法だとは思いません。

これを正しい方法で使用しているかどうかを誰かが理解するのを助けることができますか？または、別の方法を選択する必要がありますか？

正直言って、数学は数学です。正規分布であるかどうかは関係ありません。符号なしの数値で動作する場合、正の数値でも動作するはずです！私が間違っている？

EDIT1：ヒストグラムを追加しました

より明確にするために、実際のデータのヒストグラムを追加しました

EDIT2：いくつかの値

Mean: 0.007041500928135767
Percentile 50: 0.0052000000000000934
Percentile 90: 0.015500000000000047
Std: 0.0063790857035425025
Var: 4.06873389299246e-05

数値が正数にしかならない場合、正規分布はすべての実数でサポートされるため、ユースケースによっては正規分布としてモデル化することは望ましくない場合があります。

おそらく、高さを指数分布としてモデル化したいのでしょうか、それとも切り捨てられた正規分布でしょうか？

編集：あなたのデータを見た後、それは本当に指数分布によく合うかもしれないように見えます！たとえば、最尤法を使用して、パラメーターを推定できます。$\lambda$

「私のケースに68-95-99.7を適用する正しい方法は何ですか？」

（1）全体の（無限の）母集団または理論的な確率分布を見ている場合、および（2）分布が正確に正規である場合にのみ、カバレッジの経験則が正確に適用されることを期待する必要があります。

サイズ20のランダムサンプルを真の正規分布から取得しても、データの95％（20項目のうち19）が平均の2（または1.960）標準偏差内にあるとは限りません。実際、20項目のうち19が母平均の1.960母標準偏差内にあることも、20項目のうち19が標本平均の1.960サンプル標準偏差内にあることも保証されていません。

完全に正規分布していない分布からデータのサンプルを取得する場合、68-95-99.7ルールが正確に適用されることを期待しません。しかし、特にサンプルサイズが大きい場合（サンプルサイズが1000未満の場合、「99.7％カバレッジ」の経験則は特に意味がないかもしれません）、分布は正規にかなり近い場合、そうすることにかなり近づきます。理論的には、身長や体重などの多くのデータは正確な正規分布から得られないか、またはそれらが負である小さいがゼロではない確率を意味します。それにも関わらず、中間値がより一般的であり、極端に高い値または低い値の確率が低下する、ほぼ対称で単峰性の分布をもつデータの場合、正規分布のモデルは実際的な目的に適しています。ヒストグラムがベル型の曲線を示している場合、データは正規分布していると言えますか？

$1/k^2$$k$平均からの標準偏差。これにより、データの少なくとも75％が平均の2つの標準偏差内にあり、89％が3つの標準偏差内にあることが保証されます。ただし、これらの数値は理論的に保証された最小値です。ほぼベル型の分布の多くでは、2標準偏差のカバレッジ値が75％よりも95％にはるかに近くなるため、正規分布からの「経験則」が依然として有用であることがわかります。一方、データが釣鐘型に近い分布に由来する場合、データをより適切に記述し、別のカバレッジルールを持つ代替モデルを見つけることができます。

（68-95-99.7ルールに関する素敵な1つの事は、それが適用されるということです任意の平均値や標準偏差のためにそのパラメータに関係なく、正規分布。同様に、チェビシェフの不等式は、パラメータ、または均一な分布に関係なく適用されます、しかしのみしかし、たとえば、切り捨てられた正規モデルまたはスキュー正規モデルを適用する場合、「68-95-99.7」カバレッジの単純な同等物はありません。これは、分布のパラメータに依存するためです。 ）

これを正しい方法で使用しているかどうかを誰かが理解するのに役立ちますか？

ああ、それは簡単です。いいえ、正しく使用していません。

まず、かなり小さなデータセットを使用しています。このサイズセットから統計的動作をいじろうとすることは確かに可能ですが、信頼限界は（かなり）大きくなります。小さいデータセットの場合、予想される分布からの偏差はコースに対して同等であり、セットが小さいほど問題は大きくなります。「平均の法則は、最もとんでもない偶然を許すだけでなく、それらを必要とします。」

さらに悪いことに、使用している特定のデータセットは、正規分布とはあまり似ていません。考えてみてください。平均.498で、0.1未満の2つのサンプルがあり、さらに.748以上で3つのサンプルがあります。次に、.17から.22の間の3点のクラスターを取得します。この特定のデータセットを見て、それが正規分布でなければならないと主張することは、プロクルスタンの議論のかなり良いケースです。それはあなたにとってベルカーブのように見えますか？より大きな母集団が正規分布または修正された正規分布に従うことは完全に可能であり、より大きなサンプルサイズで問題に対処しますが、特に母集団について詳しく知らない限り、それには賭けません。

ケビン・リーが指摘したように、技術的には正規分布なので、修正正規と言いますはすべての実数が含まれるます。彼の答えに対するコメントでも指摘されているように、これは限られた範囲でそのような分布を適用し、有用な結果を得ることを妨げない。ことわざにあるように、「すべてのモデルが間違っています。一部は有用です。」

ただし、この特定のデータセットは、（限られた範囲であっても）正規分布を推測することは特に良い考えではありません。10個のデータポイントが.275、.325、.375、.425、.475、.525、.575、.625、.675、.725（平均0.500）のように見える場合、正規分布を仮定しますか？

コメントの1つで、「ランダムデータ」を使用したと言いましたが、どの分布から言ったかはわかりません。あなたが人間の身長について話している場合、それらはほぼ正規分布していますが、あなたのデータは人間の身長に対してリモートでは適切ではありません-あなたの身長はほんの数センチです！

また、データはリモートでは正常ではありません。境界が0と1の一様分布を使用していると思います。そして、非常に小さなサンプルを生成しました。より大きなサンプルで試してみましょう。

set.seed(1234)  #Sets a seed
x <- runif(10000, 0 , 1)
sd(x)  #0.28

そのため、データの境界を超えているため、平均から2 sdを超えるデータはありません。また、1 sd以内の部分は約0.56になります。

多くの場合、サンプルはすべて正でなければならないという制約がある場合、データの対数を調べて、分布が対数正規分布で近似できるかどうかを確認する価値があります。

標準偏差の計算は、平均に相対的です。常に正の数値に標準偏差を適用できますか？絶対に。サンプルセットの各値に1000を追加すると、同じ標準偏差値が表示されますが、ゼロよりも大きな呼吸空間が得られます。

ただし、データに任意の定数を追加することは表面的です。非常に小さいデータセットに標準偏差を使用する場合、未精製の出力を期待する必要があります。オートフォーカスカメラレンズのような標準偏差を考慮してください。時間（データ）を多く与えるほど、画像は鮮明になります。1000000個のデータポイントを追跡した後、平均値と標準偏差が10の場合と同じままである場合、実験の妥当性について疑問を持ち始める可能性があります。

ヒストグラムは、正規分布が適切ではないことを示しています。対数正規または非対称で厳密に正の何かを試すことができます

主なポイントは、私たちの多くは怠け者*であり、正規分布は私たちの怠け者にとっては便利だということです。正規分布を使用した計算は簡単で、数学的な基礎があります。そのため、データの操作方法の「モデル」です。このモデルは多くの場合驚くほどうまく機能し、時にはその表面が平らになります。

サンプルがデータの正規分布を示していないことは非常に明白です。あなたのジレンマに対する解決策は、異なる「モデル」を選択し、異なるディストリビューションで作業することです。ワイブル分布は方向性があり、他にもあります。

• 本当にデータを知ることができず、必要に応じてより良いモデルを選択することに怠慢です。

基本的に、間隔データではなく比率データを使用しています。地理学者は、特定の場所（たとえばLAシビックセンターでの100年以上のサンプルポイント）または降雪（ビッグベアーレイクでの100年以上の降雪サンプル）の年間降雨量のS / Dを計算するときに、これを常に実行します。正の数しか持つことができません、それはそうです。

気象学では、風速の分布はこのように見えます。定義上、風速も負ではありません。

だから、あなたの場合、私は間違いなくワイブル分布を見ます。

データが明らかに正規分布ではない場合、「正規分布に従う」ことから始めます。それが最初の問題です。「正規分布であるかどうかは関係ありません」と言います。これはまったくナンセンスです。データが正規分散されていない場合、正規分散データに関するステートメントは使用できません。

そして、あなたは文を誤解します。「99.7％は3つの標準偏差内でなければなりません」。そして、データの99.7％は実際に3つの標準偏差内でした。さらに良いことに、2つの標準偏差内で100％でした。したがって、このステートメントは真実です。