単一の統計的検定により、帰無仮説（H0）が偽であり、したがって対立仮説（H1）が真であるという証拠が得られます。ただし、H0を拒否しなくてもH0が真であることを意味しないため、H0が真であることを示すために使用することはできません。

しかし、互いに独立した多数のデータセットがあるため、統計テストを何度も実行できる可能性があると仮定しましょう。すべてのデータセットは同じプロセスの結果であり、プロセス自体に対して何らかのステートメント（H0 / H1）を作成し、各単一テストの結果には関心がありません。次に、結果のp値をすべて収集し、ヒストグラムプロットを介して、p値が明らかに均一に分布していることを偶然確認します。

私の今の推論は、これはH0が真の場合にのみ起こり得るということです。それ以外の場合、p値は異なって分布します。したがって、これはH0が真であると結論付けるのに十分な証拠ですか？または、ここで不可欠なものが欠けています。「H0が正しいと結論する」と書くのに多くの意志が必要だったからです。

私はあなたの質問が好きですが、残念ながら私の答えはNOです、それは$H_0$証明しません。その理由は非常に簡単です。p値の分布が均一であることをどのように知っていますか？おそらく、独自のp値を返す均一性のテストを実行する必要があり、回避しようとしていたのと同じ種類の推論の質問になります。元の$H_0$ p値を調べる代わりに、元のp値の分布の均一性について、別の$H'_0$ p値を調べます。

更新

これがデモンストレーションです。ガウス分布とポアソン分布から100個の観測値の100個のサンプルを生成し、各サンプルの正規性検定用に100個のp値を取得します。したがって、質問の前提は、p値が一様分布からのものである場合、帰無仮説が正しいことを証明することです。これは、統計的推論における通常の「拒否に失敗」よりも強力なステートメントです。問題は、「p値が一様である」という仮説自体であり、何らかの方法でテストする必要があるということです。

下の写真（最初の行）では、GuassianおよびPoissonサンプルの正規性テストのp値のヒストグラムを示しています。一方が他方よりも均一であるかどうかを判断するのは難しいことがわかります。それが私の重要なポイントでした。

2番目の行は、各分布からのサンプルの1つを示しています。サンプルは比較的小さいため、実際にはビンをあまり多く持つことはできません。実際、この特定のガウスサンプルは、ヒストグラム上ではそれほどガウスに見えません。

3番目の行では、ヒストグラム上の各分布の10,000個の観測値のサンプルを組み合わせて表示しています。ここでは、より多くのビンを使用でき、形状がより明確になります。

最後に、同じ正規性検定を実行し、結合されたサンプルのp値を取得します。ポアソンでは正規性を拒否しますが、ガウスでは拒否しません。p値は次のとおりです。[0.45348631] [0.]

もちろんこれは証明ではありませんが、サブサンプルからp値の分布を分析するのではなく、組み合わせたサンプルで同じテストを実行する方が良いというアイデアのデモンストレーションです。

Pythonコードは次のとおりです。

import numpy as np
from scipy import stats
from matplotlib import pyplot as plt

def pvs(x):
    pn = x.shape[1]
    pvals = np.zeros(pn)
    for i in range(pn):
        pvals[i] = stats.jarque_bera(x[:,i])[1]
    return pvals

n = 100
pn = 100
mu, sigma = 1, 2
np.random.seed(0)
x = np.random.normal(mu, sigma, size=(n,pn))
x2 = np.random.poisson(15, size=(n,pn))
print(x[1,1])

pvals = pvs(x)
pvals2 = pvs(x2)

x_f = x.reshape((n*pn,1))
pvals_f = pvs(x_f)

x2_f = x2.reshape((n*pn,1))
pvals2_f = pvs(x2_f)
print(pvals_f,pvals2_f)

print(x_f.shape,x_f[:,0])


#print(pvals)
plt.figure(figsize=(9,9))
plt.subplot(3,2,1)
plt.hist(pvals)
plt.gca().set_title('True Normal')
plt.gca().set_ylabel('p-value')

plt.subplot(3,2,2)
plt.hist(pvals2)
plt.gca().set_title('Poisson')
plt.gca().set_ylabel('p-value')

plt.subplot(3,2,3)
plt.hist(x[:,0])
plt.gca().set_title('a small sample')
plt.gca().set_ylabel('x')

plt.subplot(3,2,4)
plt.hist(x2[:,0])
plt.gca().set_title('a small Sample')
plt.gca().set_ylabel('x')

plt.subplot(3,2,5)
plt.hist(x_f[:,0],100)
plt.gca().set_title('Full Sample')
plt.gca().set_ylabel('x')

plt.subplot(3,2,6)
plt.hist(x2_f[:,0],100)
plt.gca().set_title('Full Sample')
plt.gca().set_ylabel('x')

plt.show()

$\sqrt{n}$

$H_0$$H_0$

デビッド・ヒュームと帰納の問題

$H_0$$H_0$

$\forall_{a \in A} \left[ a \in B \right]$

• 何世紀もの間、ヨーロッパ人によって観察された白鳥はすべて白いものでした。その後、ヨーロッパ人はオーストラリアを発見し、黒い白鳥を見ました。

• 何世紀もの間、ニュートンの重力の法則は観測に同意し、正しいと考えられていました。しかしそれは、アインシュタインの一般相対性理論によって覆されました。

$H_0$

今後の方法の（不完全な）リスト：

カールポッパーと偽造

でカール・ポパーのビュー、科学的な法律は、これまで真の証明されていません。私たちには科学的法則のみがあり、まだ間違っていると証明されていません。

ポッパーは、仮説を推測し、それらを厳密な精査にかけることにより、科学が前進すると主張した。それは帰納法（観測証明理論が偽）からではなく、推論（観測証明理論が偽）によって前進します。頻繁な統計の多くは、この哲学と一致して構築されました。

ポッパーの見解は非常に大きな影響力を持っていますが、クーンらが論じたように、成功した科学の経験的に観察された実践とはまったく一致していません。

ベイジアン、主観確率

$\theta$

$\theta$$\theta$$\theta$$P(\theta)$$P(\theta \mid X)$$\theta$$X$。さまざまな状況であなたがどのように振る舞うかは、これらの主観的な確率にある程度対応しています。

これはあなた自身の主観的な信念をモデル化する論理的な方法ですが、現実との対応の観点から真実である確率を生み出す魔法の方法ではありません。ベイジアン解釈のトリッキーな質問は、事前分布はどこから来るのでしょうか？また、モデルの指定が間違っている場合はどうなりますか？

ジョージ・P・ボックス

の有名な格言 George EP Boxのは、「すべてのモデルは間違っていますが、一部は有用です」というものです。

ニュートンの法則は真実ではないかもしれませんが、それでも多くの問題に役立ちます。Boxの見解は、研究が圧倒的であり、基本的に意味のある提案をすべて拒否できる現代のビッグデータのコンテキストでは非常に重要です。厳密に正しいか間違っているかは悪い質問です。重要なのは、モデルがデータの理解に役立つかどうかです。

追加コメント

$\theta \approx 0$大きな標準誤差との対小さな標準誤差とは！確実性は不可能であるため、厳密な精査を通過することは無関係であると考えて立ち去らないでください。

おそらく興味深いのは、複数の研究の結果を統計的に分析することです メタ分析ます。

狭い統計解釈をどの程度まで超えることができるかは、難しい質問です。

ある意味で、あなたは正しい（p曲線を参照）いくつかの小さな警告があります：

1. $p \leq \alpha$$\alpha$$H_0$
2. あなたは本当にあなたが非常に近いことを示すことができるだけです $H_0$$H_0$

現実的なアプリケーションでは、追加の問題が発生する傾向があります。これらは主に発生します。なぜなら、1人の人/研究室/研究グループは通常、必要なすべての研究を行うことができないからです。その結果、多くのグループからの研究を見る傾向があり、その時点で、過少報告、重要/驚くべき発見の選択的報告に関する懸念が高まっています（少なくとも、関連するすべての実験を自分で行っている場合） Pハッキング、複数のテスト/複数のテストの修正など。

帰無仮説（H0）：重力により、宇宙のすべてが地球の表面に向かって落下します。

対立仮説（H1）：何も落ちない。

数十の家庭用オブジェクトで100万回の実験を行ったが、 H0を拒否しなかった$p < 0.01$毎回なかった。H0は本当ですか？