エフロンとハスティの「コンピュータ時代統計推論」の姿を再現

私の質問の要約版

（2018年12月26日）

EfronとHastieによるComputer Age Statistical Inferenceから図2.2を再現しようとしていますが、理解できない何らかの理由で、数値が本の数値と一致していません。

観測データ 2つの可能な確率密度関数、帰無仮説密度と代替密度間で決定しようとしていると仮定します。テストルールは、データを観測することを選択するまたはを示します。このようなルールには、2つの頻度エラーの確率が関連付けられています。実際にが生成したときに選択すること、およびその逆 $x$ $f_0\left(x\right)$ $f_1\left(x\right)$ $t\left(x\right)$ $0$ $1$ $x$ $f_1$ $f_0$ $x$

α = {Pr}_{f_{0}} {t （ バツ ） = 1} 、

$\alpha = \text{Pr}_{f_0} \{t(x)=1\},$

β = {Pr}_{f_{1}} {t （ バツ ） = 0} 。

$\beta = \text{Pr}_{f_1} \{t(x)=0\}.$

ましょうである尤度比、 $L(x)$

L （ バツ ） = \frac{f_{1} （ バツ ）}{f_{0} （ バツ ）}

$L(x) = \frac{f_1\left(x\right)}{f_0\left(x\right)}$

したがって、Neyman–Pearson補題は、形式のテストルールが最適な仮説テストアルゴリズムであると述べています。 $t_c(x)$

t_{c} （ バツ ） = {\begin{cases} 1 ログの場合 L （ バツ ） \geq c \\ 0 ログの場合 L （ バツ ） < c 。 \end{cases}

$t_c(x) = \left\{ \begin{array}{ll} 1\enspace\text{if log } L(x) \ge c\\ 0\enspace\text{if log } L(x) \lt c.\end{array} \right.$

ため、およびサンプルサイズの値であるもの以下のためのと遮断のための？ $f_0 \sim \mathcal{N} \left(0,1\right), \enspace f_1 \sim \mathcal{N} \left(0.5,1\right)$ $n=10$ $\alpha$ $\beta$ $c=0.4$

図2.2のコンピュータ時代の統計的推論・エフロンとHastieによって、私たちは持っています：
- $\alpha=0.10$ カットオフ場合、および $\beta=0.38$ $c=0.4$
2つの異なるアプローチを使用して、カットオフに対してとを見つけました：A）シミュレーションとB）分析的。 $\alpha=0.15$ $\beta=0.30$ $c=0.4$

カットオフに対しておよびを取得する方法を誰かに説明していただければです。ありがとう。 $\alpha=0.10$ $\beta=0.38$ $c=0.4$

私の質問の要約版はここで終わります。今からあなたは見つけるでしょう：

セクションA）で、私のシミュレーションアプローチの詳細と完全なPythonコード。
セクションB）で、分析的アプローチの詳細と完全なPythonコード。

A）完全なPythonコードと説明を含む私のシミュレーションアプローチ

（2018年12月20日）

本から...

同じ精神で、Neyman–Pearson補題は、最適な仮説検定アルゴリズムを提供します。これはおそらく、最もエレガントな頻度主義建築です。最も簡単な定式化では、NP補題は、観測データ 2つの可能な確率密度関数、帰無仮説密度と代替密度間で決定しようとしていると想定しています。。テストルールは、データを観測することを選択するまたはを示します。そのようなルールには、2つの頻度の高いエラー確率が関連付けられています。実際に生成されたときに選択する $x$ $f_0\left(x\right)$ $f_1\left(x\right)$ $t\left(x\right)$ $0$ $1$ $x$ $f_1$ 、およびその逆

$α = {Pr}_{f_{0}} {t （バツ） = 1} 、$ $\alpha = \text{Pr}_{f_0} \{t(x)=1\},$ $β = {Pr}_{f_{1}} {t （バツ） = 0} 。$ $\beta = \text{Pr}_{f_1} \{t(x)=0\}.$

ましょうである尤度比、 $L(x)$

$L （バツ） = \frac{f_{1} （バツ）}{f_{0} （バツ）}$ $L(x) = \frac{f_1\left(x\right)}{f_0\left(x\right)}$

（出典：Efron、B。、およびHastie、T。（2016）。コンピューター時代の統計的推論：アルゴリズム、証拠、およびデータサイエンス。ケンブリッジ：Cambridge University Press。）

だから、私は以下のPythonコードを実装しました...

import numpy as np

def likelihood_ratio(x, f1_density, f0_density):
    return np.prod(f1_density.pdf(x)) / np.prod(f0_density.pdf(x))

再び、本から...

およびテストルール定義することによって

$t_{c} （バツ） = {\begin{cases} 1 ログの場合 L （バツ） \geq c \\ 0 ログの場合 L （バツ） < c 。 \end{cases}$ $t_c(x) = \left\{ \begin{array}{ll} 1\enspace\text{if log } L(x) \ge c\\ 0\enspace\text{if log } L(x) \lt c.\end{array} \right.$

（出典：Efron、B。、およびHastie、T。（2016）。コンピューター時代の統計的推論：アルゴリズム、証拠、およびデータサイエンス。ケンブリッジ：Cambridge University Press。）

だから、私は以下のPythonコードを実装しました...

def Neyman_Pearson_testing_rule(x, cutoff, f0_density, f1_density):
    lr = likelihood_ratio(x, f1_density, f0_density)
    llr = np.log(lr)

    if llr >= cutoff:
        return 1
    else:
        return 0

最後に、本から...

カットオフはおよびを意味すると結論付けることができる場合。 $c=0.4$ $\alpha=0.10$ $\beta=0.38$

だから、私は以下のPythonコードを実装しました...

def alpha_simulation(cutoff, f0_density, f1_density, sample_size, replicates):
    NP_test_results = []

    for _ in range(replicates):
        x = f0_density.rvs(size=sample_size)
        test = Neyman_Pearson_testing_rule(x, cutoff, f0_density, f1_density)
        NP_test_results.append(test)

    return np.sum(NP_test_results) / float(replicates)

def beta_simulation(cutoff, f0_density, f1_density, sample_size, replicates):
    NP_test_results = []

    for _ in range(replicates):
        x = f1_density.rvs(size=sample_size)
        test = Neyman_Pearson_testing_rule(x, cutoff, f0_density, f1_density)
        NP_test_results.append(test)

    return (replicates - np.sum(NP_test_results)) / float(replicates)

そしてコード...

from scipy import stats as st

f0_density = st.norm(loc=0, scale=1)
f1_density = st.norm(loc=0.5, scale=1)

sample_size = 10
replicates = 12000

cutoffs = []
alphas_simulated = []
betas_simulated = []
for cutoff in np.arange(3.2, -3.6, -0.4):
    alpha_ = alpha_simulation(cutoff, f0_density, f1_density, sample_size, replicates)
    beta_ = beta_simulation(cutoff, f0_density, f1_density, sample_size, replicates)

    cutoffs.append(cutoff)
    alphas_simulated.append(alpha_)
    betas_simulated.append(beta_)

そしてコード...

import matplotlib.pyplot as plt
%matplotlib inline

# Reproducing Figure 2.2 from simulation results.
plt.xlabel('$\\alpha$')
plt.ylabel('$\\beta$')
plt.xlim(-0.1, 1.05)
plt.ylim(-0.1, 1.05)
plt.axvline(x=0, color='b', linestyle='--')
plt.axvline(x=1, color='b', linestyle='--')
plt.axhline(y=0, color='b', linestyle='--')
plt.axhline(y=1, color='b', linestyle='--')
figure_2_2 = plt.plot(alphas_simulated, betas_simulated, 'ro', alphas_simulated, betas_simulated, 'k-')

このようなものを取得するには：

これは本の元の図に似ていますが、シミュレーションの3タプルは、同じカットオフ本の値と比較すると、と値が異なります。。例えば： $(c,\alpha,\beta)$ $\alpha$ $\beta$ $c$

私たちが持っている本から $(c=0.4, \alpha=0.10, \beta=0.38)$
私のシミュレーションから：
- $(c=0.4, \alpha=0.15, \beta=0.30)$
- $(c=0.8, \alpha=0.10, \beta=0.39)$

私のシミュレーションのカットオフは、本のカットオフと同等のようです。 $c=0.8$ $c=0.4$

私がここで間違っていることを誰かに説明していただければ幸いです。ありがとう。

B）完全なPythonコードと説明を使用した計算アプローチ

（2018年12月26日）

私のシミュレーションの結果（alpha_simulation(.), beta_simulation(.)）と本に掲載されている結果の違いを理解しようと、統計学者（ソフィア）の友人の助けを借りて、シミュレーションではなく分析的にとを計算しました。。 $\alpha$ $\beta$

一度

f_{0} 〜 N （ 0 、 1 ）

$f_0 \sim \mathcal{N} \left(0,1\right)$

f_{1} 〜 N （ 0.5 、 1 ）

$f_1 \sim \mathcal{N} \left(0.5,1\right)$

その後

f （ バツ | μ 、 σ^{2} ） = Π_{私 = 1}^{ん} \frac{1}{\sqrt{2 π σ^{2}}} e^{- \frac{{（ {バツ}_{私} - μ ）}^{2}}{2 σ^{2}}}

$f\left(x \;\middle\vert\; \mu, \sigma^2 \right) = \prod_{i = 1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{\left(x_i-\mu\right)^2}{2\sigma^2}}$

また、

L （ バツ ） = \frac{f_{1} （ バツ ）}{f_{0} （ バツ ）}

$L(x) = \frac{f_1\left(x\right)}{f_0\left(x\right)}$

そう、

L （ バツ ） = \frac{f_{1} （ バツ | μ_{1} 、 σ^{2} ）}{f_{0} （ バツ | μ_{0} 、 σ^{2} ）} = \frac{Π_{私 = 1}^{ん} \frac{1}{\sqrt{2 π σ^{2}}} e^{- \frac{{（ {バツ}_{私} - μ_{1} ）}^{2}}{2 σ^{2}}}}{Π_{私 = 1}^{ん} \frac{1}{\sqrt{2 π σ^{2}}} e^{- \frac{{（ {バツ}_{私} - μ_{0} ）}^{2}}{2 σ^{2}}}}

$L(x) = \frac{f_1\left(x\;\middle\vert\; \mu_1, \sigma^2\right)}{f_0\left(x\;\middle\vert\; \mu_0, \sigma^2\right)} = \frac{\prod_{i = 1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{\left(x_i-\mu_1\right)^2}{2\sigma^2}}}{\prod_{i = 1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{\left(x_i-\mu_0\right)^2}{2\sigma^2}}}$

したがって、次のような代数的簡略化を実行すると、次のようになります。

L （ バツ ） = \frac{{（ \frac{1}{\sqrt{2 π σ^{2}}} ）}^{ん} e^{- \frac{Σ_{私 = 1}^{ん} {（ {バツ}_{私} - μ_{1} ）}^{2}}{2 σ^{2}}}}{{（ \frac{1}{\sqrt{2 π σ^{2}}} ）}^{ん} e^{- \frac{Σ_{私 = 1}^{ん} {（ {バツ}_{私} - μ_{0} ）}^{2}}{2 σ^{2}}}}

$L(x) = \frac{\left(\frac{1}{\sqrt{2\pi\sigma^2}}\right)^n e^{-\frac{\sum_{i = 1}^{n} \left(x_i-\mu_1\right)^2}{2\sigma^2}}}{\left(\frac{1}{\sqrt{2\pi\sigma^2}}\right)^n e^{-\frac{\sum_{i = 1}^{n} \left(x_i-\mu_0\right)^2}{2\sigma^2}}}$

= e^{\frac{- Σ_{私 = 1}^{ん} {（ {バツ}_{私} - μ_{1} ）}^{2} + Σ_{私 = 1}^{ん} {（ {バツ}_{私} - μ_{0} ）}^{2}}{2 σ^{2}}}

$= e^{\frac{-\sum_{i = 1}^{n} \left(x_i-\mu_1\right)^2 + \sum_{i = 1}^{n} \left(x_i-\mu_0\right)^2}{2\sigma^2}}$

= e^{\frac{- Σ_{私 = 1}^{ん} （ {バツ}_{私}^{2} - 2 {バツ}_{私} μ_{1} + μ_{1}^{2} ） + Σ_{私 = 1}^{ん} （ {バツ}_{私}^{2} - 2 {バツ}_{私} μ_{0} + μ_{0}^{2} ）}{2 σ^{2}}}

$= e^{\frac{-\sum_{i = 1}^{n} \left(x_i^2 -2x_i\mu_1 + \mu_1^2\right) + \sum_{i = 1}^{n} \left(x_i^2 -2x_i\mu_0 + \mu_0^2\right)}{2\sigma^2}}$

= e^{\frac{- Σ_{私 = 1}^{ん} {バツ}_{私}^{2} + 2 μ_{1} Σ_{私 = 1}^{ん} {バツ}_{私} - Σ_{私 = 1}^{ん} μ_{1}^{2} + Σ_{私 = 1}^{ん} {バツ}_{私}^{2} - 2 μ_{0} Σ_{私 = 1}^{ん} {バツ}_{私} + Σ_{私 = 1}^{ん} μ_{0}^{2}}{2 σ^{2}}}

$= e^{\frac{-\sum_{i = 1}^{n}x_i^2 + 2\mu_1\sum_{i = 1}^{n}x_i - \sum_{i = 1}^{n}\mu_1^2 + \sum_{i = 1}^{n}x_i^2 - 2\mu_0\sum_{i = 1}^{n}x_i + \sum_{i = 1}^{n}\mu_0^2}{2\sigma^2}}$

= e^{\frac{2 （ μ_{1} - μ_{0} ） Σ_{私 = 1}^{ん} {バツ}_{私} + ん （ μ_{0}^{2} - μ_{1}^{2} ）}{2 σ^{2}}}

$= e^{\frac{2\left(\mu_1-\mu_0\right)\sum_{i = 1}^{n}x_i + n\left(\mu_0^2-\mu_1^2\right)}{2\sigma^2}}$ 。

だから、

t_{c} （ バツ ） = {\begin{cases} 1 ログの場合 L （ バツ ） \geq c \\ 0 ログの場合 L （ バツ ） < c 。 \end{cases}

$t_c(x) = \left\{ \begin{array}{ll} 1\enspace\text{if log } L(x) \ge c\\ 0\enspace\text{if log } L(x) \lt c.\end{array} \right.$

次に、場合： $\text{log } L(x) \ge c$

ログ （ e^{\frac{2 （ μ_{1} - μ_{0} ） Σ_{私 = 1}^{ん} {バツ}_{私} + ん （ μ_{0}^{2} - μ_{1}^{2} ）}{2 σ^{2}}} ） \geq c

$\text{log } \left( e^{\frac{2\left(\mu_1-\mu_0\right)\sum_{i = 1}^{n}x_i + n\left(\mu_0^2-\mu_1^2\right)}{2\sigma^2}} \right) \ge c$

\frac{2 （ μ_{1} - μ_{0} ） Σ_{私 = 1}^{ん} {バツ}_{私} + ん （ μ_{0}^{2} - μ_{1}^{2} ）}{2 σ^{2}} \geq c

$\frac{2\left(\mu_1-\mu_0\right)\sum_{i = 1}^{n}x_i + n\left(\mu_0^2-\mu_1^2\right)}{2\sigma^2} \ge c$

Σ_{私 = 1}^{ん} {バツ}_{私} \geq \frac{2 c σ^{2} - ん （ μ_{0}^{2} - μ_{1}^{2} ）}{2 （ μ_{1} - μ_{0} ）}

$\sum_{i = 1}^{n}x_i \ge \frac{2c\sigma^2 - n\left(\mu_0^2-\mu_1^2\right)}{2\left(\mu_1-\mu_0\right)}$

Σ_{私 = 1}^{ん} {バツ}_{私} \geq \frac{2 c σ^{2}}{2 （ μ_{1} - μ_{0} ）} - \frac{ん （ μ_{0}^{2} - μ_{1}^{2} ）}{2 （ μ_{1} - μ_{0} ）}

$\sum_{i = 1}^{n}x_i \ge \frac{2c\sigma^2}{2\left(\mu_1-\mu_0\right)} - \frac{n\left(\mu_0^2-\mu_1^2\right)}{2\left(\mu_1-\mu_0\right)}$

Σ_{私 = 1}^{ん} {バツ}_{私} \geq \frac{c σ^{2}}{（ μ_{1} - μ_{0} ）} - \frac{ん （ μ_{0}^{2} - μ_{1}^{2} ）}{2 （ μ_{1} - μ_{0} ）}

$\sum_{i = 1}^{n}x_i \ge \frac{c\sigma^2}{\left(\mu_1-\mu_0\right)} - \frac{n\left(\mu_0^2-\mu_1^2\right)}{2\left(\mu_1-\mu_0\right)}$

Σ_{私 = 1}^{ん} {バツ}_{私} \geq \frac{c σ^{2}}{（ μ_{1} - μ_{0} ）} + \frac{ん （ μ_{1}^{2} - μ_{0}^{2} ）}{2 （ μ_{1} - μ_{0} ）}

$\sum_{i = 1}^{n}x_i \ge \frac{c\sigma^2}{\left(\mu_1-\mu_0\right)} + \frac{n\left(\mu_1^2-\mu_0^2\right)}{2\left(\mu_1-\mu_0\right)}$

Σ_{私 = 1}^{ん} {バツ}_{私} \geq \frac{c σ^{2}}{（ μ_{1} - μ_{0} ）} + \frac{ん （ μ_{1} - μ_{0} ） （ μ_{1} + μ_{0} ）}{2 （ μ_{1} - μ_{0} ）}

$\sum_{i = 1}^{n}x_i \ge \frac{c\sigma^2}{\left(\mu_1-\mu_0\right)} + \frac{n\left(\mu_1-\mu_0\right)\left(\mu_1+\mu_0\right)}{2\left(\mu_1-\mu_0\right)}$

Σ_{私 = 1}^{ん} {バツ}_{私} \geq \frac{c σ^{2}}{（ μ_{1} - μ_{0} ）} + \frac{ん （ μ_{1} + μ_{0} ）}{2}

$\sum_{i = 1}^{n}x_i \ge \frac{c\sigma^2}{\left(\mu_1-\mu_0\right)} + \frac{n\left(\mu_1+\mu_0\right)}{2}$

（ \frac{1}{ん} ） Σ_{私 = 1}^{ん} {バツ}_{私} \geq （ \frac{1}{ん} ） （ \frac{c σ^{2}}{（ μ_{1} - μ_{0} ）} + \frac{ん （ μ_{1} + μ_{0} ）}{2} ）

$\left(\frac{1}{n}\right) \sum_{i = 1}^{n}x_i \ge \left(\frac{1}{n}\right) \left( \frac{c\sigma^2}{\left(\mu_1-\mu_0\right)} + \frac{n\left(\mu_1+\mu_0\right)}{2}\right)$

\frac{Σ_{私 = 1}^{ん} {バツ}_{私}}{ん} \geq \frac{c σ^{2}}{ん （ μ_{1} - μ_{0} ）} + \frac{（ μ_{1} + μ_{0} ）}{2}

$\frac{\sum_{i = 1}^{n}x_i}{n} \ge \frac{c\sigma^2}{n\left(\mu_1-\mu_0\right)} + \frac{\left(\mu_1+\mu_0\right)}{2}$

\bar{バツ} \geq \frac{c σ^{2}}{ん （ μ_{1} - μ_{0} ）} + \frac{（ μ_{1} + μ_{0} ）}{2}

$\bar{x} \ge \frac{c\sigma^2}{n\left(\mu_1-\mu_0\right)} + \frac{\left(\mu_1+\mu_0\right)}{2}$

\bar{バツ} \geq k 、 どこ k = \frac{c σ^{2}}{ん （ μ_{1} - μ_{0} ）} + \frac{（ μ_{1} + μ_{0} ）}{2}

$\bar{x} \ge k \text{, where } k = \frac{c\sigma^2}{n\left(\mu_1-\mu_0\right)} + \frac{\left(\mu_1+\mu_0\right)}{2}$

その結果

t_{c} （ バツ ） = {\begin{cases} 1 もし \bar{バツ} \geq k \\ 0 もし \bar{バツ} < k 。 \end{cases} 、 どこ k = \frac{c σ^{2}}{ん （ μ_{1} - μ_{0} ）} + \frac{（ μ_{1} + μ_{0} ）}{2}

$t_c(x) = \left\{ \begin{array}{ll} 1\enspace\text{if } \bar{x} \ge k\\ 0\enspace\text{if } \bar{x} \lt k.\end{array} \right. \enspace \enspace \text{, where } k = \frac{c\sigma^2}{n\left(\mu_1-\mu_0\right)} + \frac{\left(\mu_1+\mu_0\right)}{2}$

とを計算するために、次のことがわかります。 $\alpha$ $\beta$

α = {Pr}_{f_{0}} {t （ バツ ） = 1} 、

$\alpha = \text{Pr}_{f_0} \{t(x)=1\},$

β = {Pr}_{f_{1}} {t （ バツ ） = 0} 。

$\beta = \text{Pr}_{f_1} \{t(x)=0\}.$

そう、

\begin{array}{ll} α = {Pr}_{f_{0}} {\bar{バツ} \geq k} 、 \\ β = {Pr}_{f_{1}} {\bar{バツ} < k} 。 \end{array} どこ k = \frac{c σ^{2}}{ん （ μ_{1} - μ_{0} ）} + \frac{（ μ_{1} + μ_{0} ）}{2}

$\begin{array}{ll} \alpha = \text{Pr}_{f_0} \{\bar{x} \ge k\},\\ \beta = \text{Pr}_{f_1} \{\bar{x} \lt k\}.\end{array} \enspace \enspace \text{ where } k = \frac{c\sigma^2}{n\left(\mu_1-\mu_0\right)} + \frac{\left(\mu_1+\mu_0\right)}{2}$

以下のための ... $\alpha$

α = {Pr}_{f_{0}} {\bar{バツ} \geq k} = {Pr}_{f_{0}} {\bar{バツ} - μ_{0} \geq k - μ_{0}}

$\alpha = \text{Pr}_{f_0} \{\bar{x} \ge k\} = \text{Pr}_{f_0} \{\bar{x} - \mu_0 \ge k - \mu_0\}$

α = {Pr}_{f_{0}} {\frac{\bar{バツ} - μ_{0}}{\frac{σ}{\sqrt{ん}}} \geq \frac{k - μ_{0}}{\frac{σ}{\sqrt{ん}}}}

$\alpha = \text{Pr}_{f_0} \left\{\frac{\bar{x} - \mu_0}{\frac{\sigma}{\sqrt{n}}} \ge \frac{k - \mu_0}{\frac{\sigma}{\sqrt{n}}}\right\}$

α = {Pr}_{f_{0}} {Zスコア \geq \frac{k - μ_{0}}{\frac{σ}{\sqrt{ん}}}} どこ k = \frac{c σ^{2}}{ん （ μ_{1} - μ_{0} ）} + \frac{（ μ_{1} + μ_{0} ）}{2}

$\alpha = \text{Pr}_{f_0} \left\{\text{z-score} \ge \frac{k - \mu_0}{\frac{\sigma}{\sqrt{n}}}\right\} \enspace \enspace \text{ where } k = \frac{c\sigma^2}{n\left(\mu_1-\mu_0\right)} + \frac{\left(\mu_1+\mu_0\right)}{2}$

だから、私は以下のpythonコードを実装しました：

def alpha_calculation(cutoff, m_0, m_1, variance, sample_size):
    c = cutoff
    n = sample_size
    sigma = np.sqrt(variance)

    k = (c*variance)/(n*(m_1-m_0)) + (m_1+m_0)/2.0

    z_alpha = (k-m_0)/(sigma/np.sqrt(n))

    # Pr{z_score >= z_alpha}
    return 1.0 - st.norm(loc=0, scale=1).cdf(z_alpha)

以下のための ... $\beta$

β = {Pr}_{f_{1}} {\bar{バツ} < k} = {Pr}_{f_{1}} {\bar{バツ} - μ_{1} < k - μ_{1}}

$\beta = \text{Pr}_{f_1} \{\bar{x} \lt k\} = \text{Pr}_{f_1} \{\bar{x} - \mu_1 \lt k - \mu_1\}$

β = {Pr}_{f_{1}} {\frac{\bar{バツ} - μ_{1}}{\frac{σ}{\sqrt{ん}}} < \frac{k - μ_{1}}{\frac{σ}{\sqrt{ん}}}}

$\beta = \text{Pr}_{f_1} \left\{\frac{\bar{x} - \mu_1}{\frac{\sigma}{\sqrt{n}}} \lt \frac{k - \mu_1}{\frac{\sigma}{\sqrt{n}}}\right\}$

β = {Pr}_{f_{1}} {Zスコア < \frac{k - μ_{1}}{\frac{σ}{\sqrt{ん}}}} どこ k = \frac{c σ^{2}}{ん （ μ_{1} - μ_{0} ）} + \frac{（ μ_{1} + μ_{0} ）}{2}

$\beta = \text{Pr}_{f_1} \left\{\text{z-score} \lt \frac{k - \mu_1}{\frac{\sigma}{\sqrt{n}}}\right\} \enspace \enspace \text{ where } k = \frac{c\sigma^2}{n\left(\mu_1-\mu_0\right)} + \frac{\left(\mu_1+\mu_0\right)}{2}$

以下のpythonコードになります：

def beta_calculation(cutoff, m_0, m_1, variance, sample_size):
    c = cutoff
    n = sample_size
    sigma = np.sqrt(variance)

    k = (c*variance)/(n*(m_1-m_0)) + (m_1+m_0)/2.0

    z_beta = (k-m_1)/(sigma/np.sqrt(n))

    # Pr{z_score < z_beta}
    return st.norm(loc=0, scale=1).cdf(z_beta)

そしてコード...

alphas_calculated = []
betas_calculated = []
for cutoff in cutoffs:
    alpha_ = alpha_calculation(cutoff, 0.0, 0.5, 1.0, sample_size)
    beta_ = beta_calculation(cutoff, 0.0, 0.5, 1.0, sample_size)

    alphas_calculated.append(alpha_)
    betas_calculated.append(beta_)

そしてコード...

# Reproducing Figure 2.2 from calculation results.
plt.xlabel('$\\alpha$')
plt.ylabel('$\\beta$')
plt.xlim(-0.1, 1.05)
plt.ylim(-0.1, 1.05)
plt.axvline(x=0, color='b', linestyle='--')
plt.axvline(x=1, color='b', linestyle='--')
plt.axhline(y=0, color='b', linestyle='--')
plt.axhline(y=1, color='b', linestyle='--')
figure_2_2 = plt.plot(alphas_calculated, betas_calculated, 'ro', alphas_calculated, betas_calculated, 'k-')

最初のシミュレーションと非常によく似たと図と値を取得するには $\alpha$ $\beta$

そして最後に、シミュレーションと計算の結果を並べて比較します...

df = pd.DataFrame({
    'cutoff': np.round(cutoffs, decimals=2), 
    'simulated alpha': np.round(alphas_simulated, decimals=2),
    'simulated beta': np.round(betas_simulated, decimals=2),
    'calculated alpha': np.round(alphas_calculated, decimals=2),
    'calculate beta': np.round(betas_calculated, decimals=2)
})
df

その結果

これは、シミュレーションの結果が分析アプローチの結果と非常に似ている（同じではない場合）ことを示しています。

要するに、私はまだ私の計算で何が間違っているのかを理解するのに助けが必要です。ありがとう。:)

— フランシスコ・フォンセカ
ソース

読者が11ページのコンピューターコード、統計出力、および代数に目を通すことを必要とする質問は、だれにも読まれそうになく、まともな回答もないようです。あなたがこれに費やした時間と注意からそうであるように、これを追求することに興味がある場合は、問題の核心を特定し、それを説明して質問できるかどうかを確認することをお勧めします1ページまたは最大2ページの資料？

— whuber

こんにちは@whuber、ご提案ありがとうございます！私の意図は、誰でも私の結果を再現できるように詳細（ソースコードと説明）を投稿することでしたが、この戦略は正しく観察したようにうまく機能しなかったようです:)。ありがとうございました。次に、質問を編集して、投稿の冒頭で疑問を要約しました。これがうまくいくことを願っています。

— Francisco Fonseca

書籍Computer Age Statistical InferenceのWebサイトには、Trevor HastieとBrad Efronがしばしばいくつかの質問に答えるディスカッションセッションがあります。そこで、私はこの質問を（以下に）投稿し、Trevor Hastieから、修正される本にエラーがあることの確認を受け取りました（つまり、私のシミュレーションと計算-この質問のPythonで実装されている-は正しいです））。

Trevor Hastieが「実際にはそのプロットのc = .75」と答えたとき、下の図（本の元の図2.2）では、カットオフはではなくになるはずです。 $c$ $c=0.75$ $c=0.4$

だから、私の機能を使用してalpha_simulation(.)、beta_simulation(.)、alpha_calculation(.)およびbeta_calculation(.)（その完全なPythonのコードはこの質問で利用可能です）私が得たおよびカットオフするために私のコードが正しいことを確認として。 $\alpha=0.10$ $\beta=0.38$ $c=0.75$

alpha_simulated_c075 = alpha_simulation(0.75, f0_density, f1_density, sample_size, replicates)
beta_simulated_c075 = beta_simulation(0.75, f0_density, f1_density, sample_size, replicates)

alpha_calculated_c075 = alpha_calculation(0.75, 0.0, 0.5, 1.0, sample_size)
beta_calculated_c075 = beta_calculation(0.75, 0.0, 0.5, 1.0, sample_size)

print("Simulated: c=0.75, alpha={0:.2f}, beta={1:.2f}".format(alpha_simulated_c075, beta_simulated_c075))
print("Calculated: c=0.75, alpha={0:.2f}, beta={1:.2f}".format(alpha_calculated_c075, beta_calculated_c075))

最後に、Trevor Hastieが「... xのしきい値が.4になる」と回答した場合、次の方程式でであることを意味します（この質問のセクションBを参照）： $k=0.4$

\bar{バツ} \geq k 、 どこ k = \frac{c σ^{2}}{ん （ μ_{1} - μ_{0} ）} + \frac{（ μ_{1} + μ_{0} ）}{2}

$\bar{x} \ge k \text{, where } k = \frac{c\sigma^2}{n\left(\mu_1-\mu_0\right)} + \frac{\left(\mu_1+\mu_0\right)}{2}$

その結果

t_{c} （ バツ ） = {\begin{cases} 1 もし \bar{バツ} \geq k \\ 0 もし \bar{バツ} < k 。 \end{cases} 、 どこ k = \frac{c σ^{2}}{ん （ μ_{1} - μ_{0} ）} + \frac{（ μ_{1} + μ_{0} ）}{2}

したがって、Pythonでは、次のようにカットオフに対してを取得できます。 $k=0.4$ $c=0.75$

n = 10
m_0 = 0.0
m_1 = 0.5
variance = 1.0
c = 0.75

k = (c*variance)/(n*(m_1-m_0)) + (m_1+m_0)/2.0
threshold_for_x = k

print("threshold for x (when cutoff c=0.75) = {0:.1f}".format(threshold_for_x))

— フランシスコ・フォンセカ
ソース