正規性違反の程度の良い指標とは何ですか？また、その指標にどんな説明ラベルを付けることができますか？

環境：

以前の質問で、@ Robbieは約600のケースを対象とした調査で、正規性の検定が有意な非正規性を示唆しているにもかかわらず、プロットが正規分布を示唆している理由を尋ねました。何人かの人々は、正規性の有意性検定はあまり有用ではないと主張しました。小さなサンプルの場合、このようなテストは正常性の軽度の違反を検出する能力があまりなく、大きなサンプルの場合、問題にならないほど十分に小さい正常性の違反を検出します。

この問題は、有意性検定と効果サイズに関する議論に似ているように思えます。有意性検定のみに焦点を当てると、大きなサンプルがある場合、実際的な目的には関係のない小さな影響を検出でき、小さなサンプルでは十分なパワーがありません。

いくつかの例では、小さな影響は統計的に有意であるため、サンプルが「大きすぎる」可能性があることを人々に助言するテキストを見たこともあります。

有意性検定と効果サイズのコンテキストでは、1つの簡単な解決策は、効果があるかどうかのバイナリー決定ルールに取り付かれるのではなく、関心のある効果のサイズの推定に焦点を当てることです。効果サイズの信頼区間はそのようなアプローチの1つですが、ベイジアンアプローチの何らかの形を採用することもできます。さらに、さまざまな研究領域は、「小さい」、「中」、「大きい効果」などのヒューリスティックラベルを適用して、特定の効果サイズが実際的な意味で何を意味するかについてのアイデアを構築します。これは、対象となる特定のパラメーターを推定する際の精度を最大化するために、サンプルサイズを最大化するというインテリジェントな推奨にもつながります。

これにより、効果サイズの信頼区間に基づく同様のアプローチが、仮定テスト、特に正規性テストに関してそれほど広く採用されないのはなぜでしょうか。

質問：

• データが正常性に違反している程度の最良の単一インデックスは何ですか？
• それとも、正規性違反の複数の指標（たとえば、歪度、尖度、異常値の有病率）について話した方が良いですか？
• インデックスの信頼区間はどのように計算できますか（またはおそらくベイジアンアプローチ）？
• 正常性の違反の程度を示すために、そのインデックスのポイントにどのような種類の口頭ラベルを割り当てることができますか（軽度、中程度、強い、極端など）？このようなラベルの目的は、正規性の違反が問題となる場合の直感を訓練する経験の少ないアナリストを支援することです。

A）データが正常性に違反している程度の最良の単一指標は何ですか？

B）それとも、正規性違反の複数の指標（たとえば、歪度、尖度、異常値の有病率）について話す方が良いですか？

私はBに投票します。違反が異なると、結果も異なります。たとえば、裾が重い単峰対称の分布では、CIが非常に広くなり、おそらく影響を検出するためのパワーが低下します。ただし、平均値はまだ「典型的な」値に達しています。非常に歪んだ分布の場合、たとえば平均値は、「典型的な値」のあまり意味のないインデックスではない可能性があります。

C）インデックスの信頼区間はどのように計算できますか（またはおそらくベイズのアプローチ）？

ベイジアン統計については知りませんが、正規性の古典的な検定に関しては、エルセグ・ハーンらを引用したいと思います。（2008）[2]：

別の問題は、仮定テストには独自の仮定があることです。正規性テストは通常​​、データが同値であることを前提としています。等分散性のテストでは、データが正規分布していると想定しています。正規性と等分散性の仮定に違反すると、仮定テストの有効性が著しく損なわれる可能性があります。著名な統計学者は、SPSSなどのソフトウェアに組み込まれた仮定テスト（たとえば、Leveneのテスト、Kolmogorov–Smirnovテスト）に致命的な欠陥があると説明し、これらのテストを使用しないことを推奨しています（D'Agostino、1986; Glass＆Hopkins、1996）。

D）正常性の違反の程度を示すために、そのインデックス上のポイントにどのような種類の口頭ラベルを割り当てることができますか（例：軽度、中程度、強、極度など）？

Micceri（1989）[1]は、心理学における440の大規模データセットの分析を行いました。彼は対称性とテールの重量を評価し、基準とラベルを定義しました。非対称のラベルの範囲は、「比較的対称」から「中程度->極端->指数非対称」までです。尾の重みのラベルは、「均一->ガウス未満->ガウスについて->中程度->極端->二重指数汚染」の範囲です。各分類は、複数の堅牢な基準に基づいています。

彼は、これらの440のデータセットから、28％だけが比較的対称的であり、15％だけが尾の重みに関してガウシアンについていたことを発見しました。したがって、論文の適切なタイトル：

ユニコーン、通常の曲線、その他のありそうもない生き物

私は、RMicceriの基準を自動的に評価し、ラベルを印刷する関数を作成しました。

# This function prints out the Micceri-criteria for tail weight and symmetry of a distribution
micceri <- function(x, plot=FALSE) {
    library(fBasics)
    QS <- (quantile(x, prob=c(.975, .95, .90)) - median(x)) / (quantile(x, prob=c(.75)) - median(x))

    n <- length(x)
    x.s <- sort(x)
    U05 <- mean(x.s[(.95*n ):n])
    L05 <- mean(x.s[1:(.05*n)])
    U20 <- mean(x.s[(.80*n):n])
    L20 <- mean(x.s[1:(.20*n)])
    U50 <- mean(x.s[(.50*n):n])
    L50 <- mean(x.s[1:(.50*n)])
    M25 <- mean(x.s[(.375*n):(.625*n)])
    Q <- (U05 - L05)/(U50 - L50)
    Q1 <- (U20 - L20)/(U50 - L50)
    Q2 <- (U05 - M25)/(M25 - L05)

    # mean/median interval
    QR <- quantile(x, prob=c(.25, .75)) # Interquartile range
    MM <- abs(mean(x) - median(x)) / (1.4807*(abs(QR[2] - QR[1])/2))

    SKEW <- skewness(x)
    if (plot==TRUE) plot(density(x))

    tail_weight <- round(c(QS, Q=Q, Q1=Q1), 2)
    symmetry <- round(c(Skewness=SKEW, MM=MM, Q2=Q2), 2)

    cat.tail <- matrix(c(1.9, 2.75, 3.05, 3.9, 4.3,
                         1.8, 2.3, 2.5, 2.8, 3.3,
                        1.6, 1.85, 1.93, 2, 2.3,
                        1.9, 2.5, 2.65, 2.73, 3.3,
                        1.6, 1.7, 1.8, 1.85, 1.93), ncol=5, nrow=5)

    cat.sym <- matrix(c(0.31, 0.71, 2,
                        0.05, 0.18, 0.37,
                        1.25, 1.75, 4.70), ncol=3, nrow=3)


    ts <- c()
    for (i in 1:5) {ts <- c(ts, sum(abs(tail_weight[i]) > cat.tail[,i]) + 1)}

    ss <- c()
    for (i in 1:3) {ss <- c(ss, sum(abs(symmetry[i]) > cat.sym[,i]) + 1)}

    tlabels <- c("Uniform", "Less than Gaussian", "About Gaussian", "Moderate contamination", "Extreme contamination", "Double exponential contamination")

    slabels <- c("Relatively symmetric", "Moderate asymmetry", "Extreme asymmetry", "Exponential asymmetry")

    cat("Tail weight indexes:\n")
    print(tail_weight)
    cat(paste("\nMicceri category:", tlabels[max(ts)],"\n"))
    cat("\n\nAsymmetry indexes:\n")
    print(symmetry)
    cat(paste("\nMicceri category:", slabels[max(ss)]))

    tail.cat <- factor(max(ts), levels=1:length(tlabels), labels=tlabels, ordered=TRUE)
    sym.cat  <- factor(max(ss), levels=1:length(slabels), labels=slabels, ordered=TRUE)

    invisible(list(tail_weight=tail_weight, symmetry=symmetry, tail.cat=tail.cat, sym.cat=sym.cat))
}

$t$

> micceri(rnorm(10000))
Tail weight indexes:
97.5%   95%   90%     Q    Q1 
 2.86  2.42  1.88  2.59  1.76 

Micceri category: About Gaussian 


Asymmetry indexes:
Skewness   MM.75%       Q2 
    0.01     0.00     1.00 

Micceri category: Relatively symmetric



> micceri(rt(10000, 8))
Tail weight indexes:
97.5%   95%   90%     Q    Q1 
 3.19  2.57  1.94  2.81  1.79 

Micceri category: Extreme contamination 


Asymmetry indexes:
Skewness   MM.75%       Q2 
   -0.03     0.00     0.98 

Micceri category: Relatively symmetric



> micceri(rlnorm(10000))
Tail weight indexes:
97.5%   95%   90%     Q    Q1 
 6.24  4.30  2.67  3.72  1.93 

Micceri category: Double exponential contamination 


Asymmetry indexes:
Skewness   MM.75%       Q2 
    5.28     0.59     8.37 

Micceri category: Exponential asymmetry

[1] Micceri、T.（1989）。ユニコーン、通常の曲線、およびその他のありそうもない生き物。Psychological Bulletin、 105、156-166。doi：10.1037 / 0033-2909.105.1.156

[2] Erceg-Hurn、DM、およびMirosevich、VM（2008）。最新の堅牢な統計手法：研究の精度と能力を最大化する簡単な方法。アメリカの心理学者、 63、591-601。