テストの結果に基づいて使用するテストを選択した場合、結果の複合テストには未知のプロパティ(タイプIおよびIIのエラー率)があるため、正式にはテストの仮定をテストすることはできません。これが、統計への「シックスシグマ」のようなアプローチ(テスト結果に基づく決定木を使用して、使用するテストを選択する)がプロの統計学者の間で悪いラップを得る理由の1つだと思います。
ただし、実際のデータでは、多くの場合、古典的な仮定が適用されない可能性があるサンプルを取得するため、何らかの方法で確認する必要があります。では、実際に仕事や研究で何をしているのですか?非公式チェックを実行します。たとえば、データの分布を見て、tを使用します-経験的分布が歪んでいないように見えるときのテスト?これは私がほとんどの場合行われていると思うものです。ただし、この「非公式テスト」の結果に基づいて決定を行う限り、テストのプロパティに影響を与えます。もちろん、チェックを使用して決定を行わない場合、チェックは役に立たないため、貴重な時間を無駄にしてはいけません。もちろん、正式なテストプロパティは過大評価されており、実際にはそれを信仰する必要はないと私に答えることができます。これが、理論的な背景だけでなく、実際にあなたが何をしているかに興味がある理由です。
別のアプローチは、より少ない仮定で常にテストを使用することです。通常、私が好むよう額装されたこのアプローチを見てきたノンパラメトリック上でテストをパラメトリック以下の前提条件(前者は検定統計量は、パラメータのベクトルでインデックスさ分布の家族から来て、これより堅牢であることを前提としないので、テスト)。これは一般的に正しいですか?このアプローチでは、場合によっては、パワー不足のテストを使用するリスクがありませんか?よく分かりません。適用される統計の有用な(おそらく単純な)参照はありますか?これは、使用するテスト/モデルのリストを、古典的なテスト(t検定、カイ2乗など)のより良い代替として、いつ使用するかを示していますか?