2つのグループのサンプルサイズが小さく、バランスが悪い-どうすればよいですか？

比較したい2つのグループ（つまり、サンプル）のデータがありますが、サンプルの合計サイズは小さく（n = 29）、非常に不均衡です（n = 22 vs n = 7）。

これらのデータはロジスティックに収集するのが困難でコストがかかるため、明らかな解決策としての「より多くのデータの収集」はこの場合は役に立ちません。

いくつかの異なる変数（出発日、到着日、移行期間など）が測定されたため、複数のテストがあり、その一部は分散が大きく異なります（小さいサンプルほど分散が大きくなります）。

最初に同僚がこれらのデータに対してt検定を実行しましたが、一部はP <0.001で統計的に有意であり、別の者はP = 0.069で有意ではありませんでした。一部のサンプルは正規分布していましたが、その他は分布していませんでした。一部のテストでは、「等しい」分散からの大きな逸脱が含まれていました。

いくつか質問があります。

1. ここでt検定は適切ですか？そうでない場合、なぜですか？これは、分散の正規性と平等性の仮定が満たされているテストにのみ適用されますか？
2. 適切な代替案は何ですか？おそらく順列検定ですか？
3. 不等分散はタイプIのエラーを膨らませますが、どうやって？そして、小さな不均衡なサンプルサイズはタイプIエラーにどのような影響を与えますか？

2つの母集団の分散が等しいと仮定するT検定は、2つの母集団の分散が異なる場合は無効であり、サンプルサイズが等しくない場合はさらに悪くなります。最小のサンプルサイズが最大の分散を持つものである場合、テストはタイプIエラーを膨らませます）。一方、t検定のウェルチサッターウェイトバージョンは、等しい分散を想定していません。フィッシャー・ピットマン順列検定について考えている場合も、分散が等しいと仮定します（低いp値から等しくない平均を推測したい場合）。

あなたが考えたくなるかもしれない他の多くの事柄があります：

（1）分散が明らかに等しくない場合でも、平均の違いにそれほど関心がありますか？

（2）推定値は、p値よりも役立つかもしれませんか？

（3）一連の単変量比較を行うだけでなく、データの多変量性質を検討しますか？

まず、Scortchiがすでに指摘しているように、T検定はデータの分布に関する仮定があるため、データにそれほど適していません。

2つ目のポイントとして、T検定の代替案を提案します。関心があるのが事実だけである場合、2つの標本の分布が等しいか等しくない場合は、ウィルコクソン順位和検定の両側バージョンを使用することもできます。ウィルコクソン順位和検定はノンパラメトリック検定です。この種のテストは、データの基になる分布が不明な場合に特に役立ちます。

これは、小さなサンプルサイズおよび大きなコホートのテストの正確なソリューションが存在します。また、ウィルコクソン順位和検定を実現するRパッケージもあります。

これはパラメーターのないテストであり、小さなサンプルサイズも処理するため、テストはテストケースに適しています。