グループの違いがないという仮説をテストする方法は？

数値従属変数（例：知能テストのスコア）を調べる2つのグループ（例：男性と女性）での研究があり、グループに違いがないという仮説があるとします。

質問：

• グループの違いがないかどうかをテストする良い方法は何ですか？
• グループの違いがないことを適切にテストするために必要なサンプルサイズをどのように決定しますか？

初期の考え：

• 帰無仮説を棄却できないからといって、対象のパラメーターがゼロに近い、またはゼロに近いわけではないため、標準のt検定を行うだけでは十分ではありません。これは、特に小さなサンプルの場合です。
• 95％の信頼区間を見て、すべての値が十分に小さい範囲内にあることを確認できました。たぶんプラスまたはマイナス0.3標準偏差。

同等性のテストについて質問していると思います。基本的に、2つのグループが実質的に同等であると結論付けるためには、差がどれだけ許容できるかを決定する必要があります。この決定により、95％（またはその他の）信頼区間の制限が定義され、これに基づいてサンプルサイズの計算が行われます。

トピックに関する本全体があります。

同等性テストの非常に一般的な臨床的「同等」は、非劣性テスト/試験です。この場合、あるグループを他のグループよりも「優先」し（確立された治療）、新しいレベルの治療が統計的証拠のあるレベルで確立された治療より劣らないことを示すテストを設計します。

私は信用する必要があると思うハーヴェイMotulskyをするためにGraphPad.com（下サイト「ライブラリ」）。

既に述べた、ある種の同等性テストの可能性に加えて、それらのほとんどは、私の知る限りでは、古き良き周波数主義の伝統でほとんどルーティングされていますが、実際に証拠の定量化を提供するテストを行う可能性があります帰無仮説、すなわちベイジアン検定を好む。

ベイジアンt検定の実装は、ここで見つけることができます：Wetzels、R.、Raaijmakers、JGW、Jakab、E.、＆Wagenmakers、E.-J. （2009）。帰無仮説に対する支持と反対の支持を定量化する方法：デフォルトのベイジアンt検定の柔軟なWinBUGS実装。Psychonomic Bulletin＆Review、16、752-760。

Rでこれをすべて行う方法に関するチュートリアルもあります。

http://www.ruudwetzels.com/index.php?src=SDtest

この論文では、Kruschkeによって、ベイジアンt検定の代替（おそらくより現代的なアプローチ）が（コード付きで）提供されています。

クルシュケ、JK（2013）。ベイズ推定はt検定に優先します。Journal of Experimental Psychology：General、142（2）、573–603。doi：10.1037 / a0029146

この答え（Kruschkeが追加される前）のすべての小道具は、同僚のDavid Kellenに送ってください。この質問から彼の答えを盗んだ。

チラコレオの答えに続いて、私は少し研究をしました。

R の等価パッケージにはtost()機能があります。

詳細については、Robinson and Frose（2004）の「等価性テストを使用したモデル検証」を参照してください。

私が知っているいくつかの論文があります。

トライオン、WW（2001）。推論信頼区間を使用した統計的差異、等価性、および不確定性の評価：帰無仮説統計検定を実施する統合代替方法。Psychological Methods、6、371-386。（無料PDF）

訂正：
Tryon、WW、およびLewis、C。（2008）。Tryon（2001）の低減係数を修正する統計的同等性を確立する推論信頼区間方法。Psychological Methods、13、272-278。（無料PDF）

さらに：

シーマン、マサチューセッツ州＆セルリン、RC（1998）。平均の2グループ比較の E 等価信頼区間。Psychological Methods、Vol 3（4）、403-411。

最近、2つの分布の平均ではなく、2つの分布間の距離に基づいた「等価性テスト」の代替方法について考えました。

2つのガウス分布の重なりに信頼区間を提供する方法がいくつかあります。

$O(P_1,P_2)$$P_1$$P_2$

$O(P_1,P_2)>0.9$$P_1$$P_2$$0.1$$10\%$

$\mu_1$$\mu_2$

$|\mu_1 - \mu_2|$$TV(P_1,P_2)$

$\frac{|\mu_1-\mu_2|}{\sigma}$

医学では、2つの片側検定（tost）ではなく、信頼区間アプローチを使用することが望ましいです。また、非常に明確にするために、ポイント推定値、CI、および事前に決定された等価マージンをグラフ化することをお勧めします。

あなたの質問はおそらくそのようなアプローチで対処されるでしょう。

この点に関して、非劣性/同等性の研究に関するCONSORTガイドラインは非常に有用です。

Piaggio G、Elbourne DR、Altman DG、Pocock SJ、Evans SJ、およびCONSORT Groupを 参照してください。非劣性および同等性のランダム化試験の報告：CONSORTステートメントの延長。JAMA。2006年3月8日; 295（10）：1152-60。（全文へのリンク。）

はい。これは等価テストです。基本的には、帰無仮説と対立仮説を逆転させ、平均値の差が等価のウィンドウ内にあることを示すために、標本サイズを検出力に基づいています。ブラックウェルダーはそれを「帰無仮説の証明」と呼んだ。これは一般に、市販薬とジェネリック薬の同等性がテストされるか、承認された薬が新しい製剤と比較される製薬臨床試験で行われます（多くの場合、生物学的同等性と呼ばれます）。片側バージョンは非劣性と呼ばれます。場合によっては、新薬が市販の競合他社より劣っていないことを示すだけで、薬を承認することができます。ShaoとPigeotは、クロスオーバーデザインを使用した生物学的同等性に対する一貫したブートストラップアプローチを開発しました。

2つのサンプルグループ間のブートストラップの違い（平均間の違いなど）を統計的有意性を確認します。別のコンテキストではありますが、このアプローチのより詳細な説明は、http：//www.automated-trading-system.com/a-different-application-of-the-bootstrap/にあります。