「仮説のテスト」と「有意性のテスト」の違いは何ですか？

「仮説のテスト」と「有意性のテスト」というフレーズに違いはありますか、それとも同じですか？

@Micheal Lewからの詳細な回答の後、最近の仮説（たとえば、平均を検定するt検定）が「有意性検定」または「仮説検定」の例であるという混乱があります。それとも両方の組み合わせですか？簡単な例でそれらをどのように区別しますか？

有意性検定はフィッシャーが考案したものであり、仮説検定はネイマンとピアソンが有意性検定に代わる手段として考案したものです。それらは同じではなく、帰無仮説検定のほとんどのユーザーを驚かせる程度に相互に互換性がありません。

フィッシャーの有意性検定では、帰無仮説の下での観測値の極端さを表すp値が得られます。そのp値は、帰無仮説と有意水準に対する証拠のインデックスです。

ネイマンとピアソンの仮説検定は、帰無仮説と対立仮説の両方を設定し、帰無仮説を受け入れるための決定ルールとして機能します。簡単に説明すると（ここで説明できる以上のことがあります）、フォールスポジティブ推論の許容率であるアルファ（通常0.05）を選択し、p値がアルファを上回るか下回るかに基づいてnullを受け入れるか拒否します。偽陽性のエラーから保護する場合は、統計テストの決定に従う必要があります。

フィッシャーのアプローチにより、結果の解釈にあなたが好きなものを考慮に入れることができます。例えば、結果の解釈と提示で既存の証拠を非公式に考慮することができます。NPアプローチでは、実験設計段階でしか実行できず、ほとんど実行されないようです。私の意見では、フィッシャーのアプローチは、NPアプローチよりも基本的な生物科学研究においてより有用です。

有意性検定と仮説検定の間の不一致、および両者の不幸な交配についての実質的な文献があります。この論文から始めることができます：グッドマン、エビデンスに基づく医療統計に向けて。1：P値の誤り。 http://www.ncbi.nlm.nih.gov/sites/entrez?Db=pubmed&Cmd=ShowDetailView&TermToSearch=10383371

多くの場合、これら2つのステートメントは同じことを意味します。ただし、それらはまったく異なる場合もあります。

仮説のテストでは、まず、何らかの現象で発生すると思われることを言ってから、この現象に対する何らかの種類のテストを開発し、次に現象が実際に発生したかどうかを判断します。多くの場合、仮説の検定には、いかなる種類の統計検定も必要ありません。物理学者アーネスト・ラザフォードによるこの引用を思い出します - あなたの実験が統計を必要とするなら、あなたはより良い実験をするべきでした。 とはいえ、仮説のテストでは通常、何らかの統計ツールが使用されます。

対照的に、有意性の検定は純粋に統計的な概念です。本質的に、2つの仮説があります。2つの（またはそれ以上の）データのコレクションに違いがないことを示す帰無仮説です。対立仮説は、偶然に発生しなかった2つのサンプル間に違いがあるというものです。

スタディの設計に基づいて、統計テストを使用して2つ（またはそれ以上）のサンプルを比較します。これにより数値が得られ、参照分布（正規分布、t分布、F分布など）と比較されます。この検定統計量が臨界値を超えている場合、帰無仮説を棄却し、2つ（またはそれ以上）のサンプルに差があると結論付けます。この基準は通常、偶然に生じる差の確率が20分の1未満である（p <0.05）ことですが、他の場合もあります。