離散確率変数に基づくテストの保守性

離散検定統計の場合、対応する値の分布は離散的であり、一様分布よりも確率的に大きくなります。したがって、p値に基づく対応する仮説検定（たとえば、p値が0.05未満の場合は拒否）は、タイプIのエラーが発生する確率が0.05未満になるという意味で常に保守的です。mid-pvalueを使用することが推奨されることもあります。しかし、mid-pvalueを使用してもType Iエラーが制御されるという証拠はないと思います。保守性を減らす他の方法はありますか？この分野に精通している人は、これに関するいくつかのヒントや既存の文献を指摘できますか？$p$

中程度のp値を使用するよう提案されたことは聞いたことがありません。これは必ずしもタイプ1エラーを制御するものではありません。前述のように、.05のサイズを実現する正しい方法は、ランダム化されたテストを実行することです。ただし、テストがランダム化されているかどうかに関係なく、タイプ1のエラーは正しいです。保守的でランダム化されていないケースでは、テスト手順のサイズは公称アルファレベルよりも小さくなっています。いずれにしても、0.05のアルファレベルは任意であるため、テストのサイズを報告するのに十分なはずです。

一部の離散テスト統計の保守性を低減する1つの方法

（またはより一般的には、有意水準の選択肢が増える）

テストに応じて、ランダム化を必要としない1つの時折役立つアプローチは、別の合理的な統計のごく一部を追加して関係を壊すことです。

たとえば、ケンドールのタウをテストしていたが、小規模から中程度のサイズのサンプルではまだかなり離散的であるため、目的の有意水準に近い値を達成することは困難です。

具体的には、両側検定でに近いレベルが必要だとします。n = $\alpha = 10\%$$n=7$

達成可能な有意水準は6.9％または13.6％です。どちらも必要なものに非常に近いです！

私たちにできることの1つは、異なる統計のごく一部を追加することです。これは、現在の統計と完全には相関していません。これは、以前に関連付けられていた統計を提供する多くのアレンジメントは、それらの値が近いにもかかわらず、もはや関連付けられていないことを意味します。

たとえば、Spearmanのrhoを使用して引き分けを行う場合、たとえば調べると、値は以前とほぼ同じですが、達成可能な有意水準は8.9％と10.9％になりました- 完全ではありませんが、以前よりもはるかに良い-そしてこの場合、統計はまだ配布フリーです。$0.999 \tau + 0.001 \rho$

の重みは必要に応じて小さくできることに注意してください。$\rho$

これがイラストです。黒は元のケンドール相関のECDFで、赤は「ブレイクタイ」バージョンです。ここでは、スピアマンの相対的な貢献度をはるかに大きく（重み0.1）したので、効果をより明確に確認できます。

左端の2.5％と5％レベルの近くの領域を拡大してみましょう（片側が5％と10％の両側に対応するように）：

見てわかるように、このようにして希望する有意水準にはるかに近づけることができますが、他のすべての望ましいプロパティは、希望するどの程度の近さまで保持します。

結果をさらにKendallのようにするためにさまざまな調整があります（たとえば、各Kendall相関でのKendall相関に対する小さな調整の期待値がゼロになるように設定しますが、それが私にとってめったに問題になることはありません）。

[ノンパラメトリック相関に使用したいのがケンドールとスピアマンのどちらであるか本当にわからない場合は、より均一な混合のほうがはるかに正規に見える分布になります（ただし、そうしないと、分散を計算するのが少し難しくなります）正確な分布を計算します。ほぼすべて1つまたは他の統計を持つバージョンを使用する1つの優れた機能は、分布がそれほど良くなくても、既存の正規近似をより簡単に使用できることです。]

「より良い」有意水準（およびp値）を取得するためのこれと同じアプローチは、他のテストでも機能します。たとえば、これを符号テスト（適切に再スケーリングされた符号付きランク統計との関係を壊す）で使用するのを見てきました。