ウェルチのt検定は、より極端な差に対してより悪いp値を与えます

以下は、4つの異なる数値セットです。

A = {95.47、87.90、99.00}
B = { 79.2、75.3、66.3 }
C = { 38.4、40.4、32.8} D = { 1.8、1.2、1.1
}

等しい分散を仮定せずに2サンプルのt検定を使用して、B、C、およびDをAと比較し、次のp値を取得します。

0.015827（A vs B）
0.000283（A vs C）
0.001190（A vs D）

ADテストのp値がACテストよりも悪いのは奇妙だと思います。平均値の差は明らかにはるかに大きく、Dの分散はCの分散よりもはるかに低くなっています。直感的に（少なくとも私の直感では） ）、これらの両方の事実により、p値が低くなるはずです。

これがt検定の望ましい動作または期待される動作であるか、それとも私の特定のデータセット（おそらく極端に低いサンプルサイズ）をさらに処理する必要があるかどうか、誰かが説明できますか？t検定は、この特定のデータセットには不適切ですか？

純粋に計算の観点から、より悪いp値の理由は自由度であると思われます。これは、AD比較では2.018、AC比較では3.566です。しかし、確かに、これらの数値を見ただけの場合、ACと比較してADのケースでは帰無仮説を棄却するためのより強力な証拠があると思いませんか？

いずれにせよすべてのp値が非常に低いため、これはここでは問題ではないと示唆する人もいます。私の問題は、これら3つのテストが、私が実行している一連のテストの一部であることです。複数のテストを修正した後、AD比較ではカットされませんが、AC比較ではカットされます。これらの数値をプロットして（生物学者がよく行うようにエラーバーを含む棒グラフなど）、CがAと大幅に異なるが、Dはそうでない理由を正当化しようとしていると想像してみてください。

更新：これが本当に重要な理由

この観察が過去の研究の解釈に大きな影響を与える可能性がある理由を明確にしましょう。バイオインフォマティクスでは、t検定が大規模な小さなサンプルサイズに適用されることを確認しました（3〜5回の複製のみを使用して、数百または数千の遺伝子の異なる遺伝子発現、または細胞株に対する多くの異なる薬物の影響を考えてください） ）。通常の手順は、多くのt検定（各遺伝子または薬物に対して1つ）を実行し、その後に複数の検定修正（通常はFDR）を実行することです。ウェルチのt検定の動作の上記の観察を考えると、これは、いくつかの非常に最良のケースが体系的に除外されていることを意味します。ほとんどの人は、リストの一番上にある比較の実際のデータ（最高のp値を持つデータ）を確認しますが、帰無仮説がなかったすべての比較のリストを確認する人は誰も知りません。 t拒否されました。

はい、それは自由度です。グループB、C、DをAと比較すると、t統計自体が増加します。分子が大きくなり、分母が小さくなります。

なぜあなたのアプローチは「働かない」のですか？さて、自由度のSatterthwaite近似、および参照分布は（名前が示すように）単なる近似です。各グループにもっと多くのサンプルがあり、極端に重いデータではない場合、問題なく機能します。グループごとに3つの観測値は、ほとんどの目的にとって非常に小さいです。（また、p値はテストを行うのに役立ちますが、証拠を測定したり、データの観点から直接解釈してパラメーターを推定したりすることはありません。）

テスト統計の正確な分布、およびより適切に較正されたp値を実際に計算したい場合は、ここで引用した方法を使用できます。ただし、ここでは、正常性を確認することに依存しています。

この質問にはかなりの部分があり、その一部は私の理解を超えていると確信しています。したがって、私は「問題」といくつかの推測に対するおそらく解決策を持っていますが、私の「動作」を確認する必要があるかもしれません。

あなたは証拠に興味があります。フィッシャーはp値を証拠として使用することを提案しましたが、帰無仮説に対するデータセット内の証拠は、p値よりも尤度関数でより簡単に（賢明に？）示されます。ただし、より極端なp値はより強力な証拠です。

これが私の解決策です。ウェルチのt検定を使用しないでください。代わりに、平方根変換を使用してデータを変換し、分散を平均化してから、標準のスチューデントのt検定を使用します。この変換はデータに対して適切に機能し、異分散性のデータに対する標準的なアプローチの1つです。p値の順序が直感に一致し、証拠として役立ちます。

長期的な偽陽性エラーから保護しようとするのではなく、証拠としてp値を使用している場合、多重比較のためにp値を調整するための引数は、私の意見ではかなり弱くなります。

今、投機的な部分です。私が理解しているように、ウェルチのt検定はフィッシャーベーレンス問題の解決策です（検定とは、データの分散が等しくないことを意味します）。おそらくそれは根本的な哲学においてネイマン・ピアソニアンであろう。とにかく、t検定からのp値の証拠量は、p値とサンプルサイズに依存します。（これは広く認識されていません。おそらく、z検定からのp値の証拠がサンプルサイズに依存しないためです。）ウェルチのテストは、自由度の調整によってp値の証拠的な性質を台無しにしていると思います。

掘り下げた後、私の最終的な評決は次のようになると思います：

議論を簡単にするために、サンプルサイズが等しい場合のみを考えてみましょう。その場合、自由度の近似は次のように書くことができます。

$s_1^2$$s_2^2$$n$$(n-1)\cdot2$$(n-1)$

多くのt検定が実行される場合、比較をp値で並べ替えると、最良の比較がリストの先頭にならないか、複数の検定の調整後に除外される可能性があります。

私の個人的な意見では、これはウェルチのt検定の根本的な欠陥であり、分散が等しくないサンプル間の比較のために設計されていますが、分散が等しくないほど、パワーが失われます（pの順序が-値は正しくありません）。

私が考えることができる唯一の解決策は、代わりにいくつかの順列ベースのテストを使用するか、テストの分散が互いに離れすぎないようにデータを変換することです。

私が知る限り、サッタースウェイト近似を使用するウェルチのt検定を聞いた

0.05の有意性検定で検証されます。

つまり、P（カイ二乗分布の線形結合> c）= 0.05の場合、

おおよそのcを得ることができます。

したがって、p値は0.05前後でかなり信頼できると思います。

そして、明らかに0.05未満になると、そうではありません。

$p.value p2[m]=t.test(a,d, var.eqaul=F)$

0.05に近づくにつれて、p値がより正確になることがわかります...

したがって、ウェルチのt検定を使用する場合、0.05をはるかに下回るp値を使用してはなりません。

使用する場合は、論文を書いたほうがいいと思います。

とにかく、私は現在「統計学」について書いており、このテーマは興味深いものです。

あなたの許可を得て本を書いているあなたのデータを使用したいと思います。

あなたのデータを使用させてもらえますか？

そして、あなたがデータのソースとそこからのコンテキストを教えてくれるなら、私は感謝します

彼らが来ました！