途方もなく大きなZスコアに関連する確率を計算する方法は？

ネットワークモチーフ検出用のソフトウェアパッケージは、非常に高いZスコアを返すことがあります（私が見た最高は600,000+ですが、100を超えるZスコアは非常に一般的です）。これらのZスコアが偽であることを示すつもりです。

巨大なZスコアは、非常に低い関連確率に対応します。関連する確率の値は、最大6のZスコアの正規分布ウィキペディアページ（およびおそらくすべての統計テキスト）に記載されています。

質問：誤差関数$1-\mathrm{erf}(n/\sqrt{2})$nで最大1,000,000の場合、たとえば？

私は特に、このために既に実装されたパッケージを望んでいます（可能な場合）。私がこれまでに見つけた中で最高のものはWolframAlphaで、n = 150で計算できます（こちら）。

質問は補完的な誤差関数に関する

$$\textrm{erfc}(x) = \frac{2}{\sqrt{\pi}}\int_{x}^{\infty}\exp(-t^2) d t$$

「大きい」値の場合$x$（$=n/\sqrt{2}$元の質問の 2）-つまり、100〜700,000程度です。（実際には、約6を超える値は、「大きい」と見なされる必要があります。）これはp値の計算に使用されるため、3桁を超える（10進数）桁を取得することはほとんどありません。 。

まず、@ Iteratorによって提案された近似を検討します。

$$f(x) = 1 - \sqrt{1 - \exp \left(-x^2 \left(\frac{4 + ax^2}{\pi + ax^2}\right)\right)},$$

どこ

$$a = \frac{8(\pi-3)}{3(4-\pi)} \approx 0.439862.$$

これはエラー関数自体の優れた近似ですが、恐ろしい近似です。ただし、それを体系的に修正する方法があります。$\textrm{erfc}$

このような大きな値に関連付けられたp値については、相対誤差f （x ）/ erfc（x ）− 1に関心があります。3桁の精度で絶対値が0.001未満になることを願っています。残念ながら、この式は、倍精度計算のアンダーフローのため、大きなxを調べるのは困難です。ここでは対相対誤差プロット1つの試みであり、Xのための0 ≤ X ≤ 5.8：$x$ $f(x)/\textrm{erfc}(x) - 1$$x$$x$$0 \le x \le 5.8$

が5.3程度を超えると計算が不安定になり、5.8を超える1桁の有効数字を提供できなくなります。これは驚くべきことではない：EXP （- 5.8 2）≈ 10 - 14.6倍精度演算の限界を押しています。xが大きい場合に相対誤差が許容できるほど小さくなるという証拠はないため、もっとうまくやる必要があります。$x$$\exp(-5.8^2) \approx 10^{-14.6}$$x$

拡張演算（Mathematicaを使用）で計算を実行すると、何が起こっているのかがわかります：

エラーはとともに急速に増加し、横ばいの兆候は見られません。過去のx = 10前後では、この近似は1桁の信頼できる情報も提供しません！$x$$x=10$

ただし、プロットは線形に見え始めています。相対誤差は正比例すると推測できます。（これは、理論的な根拠に基づいて理にかなって：ERFCは明らか奇関数であり、fはさえ明らかであるので、それらの比は奇関数であるべきで、それは増加した場合にこのように、我々は、相対誤差が予想される、奇数電源のように動作する。X。）これにより、xで割った相対誤差を調べることになります。等価的に、私は検討することを選択したX ⋅ ERFC（X ）/ F （X $x$$\textrm{erfc}$$f$$x$ $x$$x \cdot \textrm{erfc}(x)/f(x)$なぜなら、これには一定の制限値が必要だからです。そのグラフは次のとおりです。

私たちの推測は裏付けられているように見えます。この比率は、約8程度の限界に近づいているようです。尋ねられたら、Mathematicaはそれを提供します：

a1 = Limit[x (Erfc[x]/f[x]), x -> \[Infinity]]

値は、1 = 2。 これは、推定値を改善することを可能に：私たちは取ります$a_1 = \frac{2 }{\sqrt{\pi }}e^{\frac{3 (-4+\pi )^2}{8 (-3+\pi )}} \approx 7.94325$

$$f_1(x) = f(x) \frac{a_1}{x}$$

近似の最初の改良として。本当に大きいです-数千を上回る-この近似はだけで結構です。5.3から2000程度の興味深い範囲の引数に対してはまだ十分ではないので、手順を繰り返しましょう。今回は、逆相対誤差、具体的には式1 − erfc（x ）/ f 1（x ） -は、大きなxに対して1 / x 2のように動作するはずです（以前のパリティの考慮事項により）。したがって、x 2を掛けます$x$$5.3$$2000$$1 - \textrm{erfc}(x)/f_1(x)$$1/x^2$$x$$x^2$ 次の制限を見つけます。

a2 = Limit[x^2 (a1 - x (Erfc[x]/f[x])), x -> \[Infinity]] 

値は

$$a_2 = \frac{1}{32 \sqrt{\pi }} e^{\frac{3 (-4+\pi )^2}{8 (-3+\pi )}} \left(32-\frac{9 (-4+\pi )^3 \pi }{(-3+\pi )^2}\right) \approx 114.687.$$

このプロセスは、必要な限り続行できます。私はそれをもう一歩踏み出し、見つけました

a3 = Limit[x^2 (a2 - x^2 (a1 - x (Erfc[x]/f[x]))), x -> \[Infinity]] 

値は約1623.67です。（完全な式は8次の有理関数を含み、長すぎてここでは役に立ちません。）$\pi$

これらの操作を解くと、最終的な近似が得られます

$$f_3(x) = f(x)\left(a_1 - a_2/x^2 + a_3/x^4\right)/x.$$

誤差は比例します。インポートは比例定数なので、x 6（1 − erfc（x ）/ f 3（x ））をプロットします。$x^{-6}$$x^6(1 - \textrm{erfc}(x) / f_3(x))$

2660.59付近の制限値に急速に近づきます。近似を使用して、すべてのx > 0に対して相対精度が2661 / x 6より優れているerfc（x ）の推定値を取得します。一度、xは 20かそこら超える（として、またははるかに、私たちは3つの重要な数字を持って、xが大きくなります）。チェックとして、ここでの近似に正しい値を比較した表であるXとの間の10と20：$f_3$$\textrm{erfc}(x)$$2661/x^6$$x \gt 0$$x$$x$$x$$10$$20$

 x  Erfc    Approximation      
10  2.088*10^-45    2.094*10^-45
11  1.441*10^-54    1.443*10^-54
12  1.356*10^-64    1.357*10^-64
13  1.740*10^-75    1.741*10^-75
14  3.037*10^-87    3.038*10^-87
15  7.213*10^-100   7.215*10^-100
16  2.328*10^-113   2.329*10^-113
17  1.021*10^-127   1.021*10^-127
18  6.082*10^-143   6.083*10^-143
19  4.918*10^-159   4.918*10^-159
20  5.396*10^-176   5.396*10^-176

実際、この近似により、に少なくとも2つの有効桁数の精度が得られます。これは、歩行者の計算（Excelの関数など）が変化するところです。$x=8$NormSDist

最後に、初期近似を計算する能力について心配するかもしれません。ただし、それは難しくありません。xが指数関数でアンダーフローを引き起こすのに十分な大きさである場合、平方根は指数関数の半分で近似されます。$f$$x$

$$f(x) \approx \frac{1}{2} \exp \left(-x^2 \left(\frac{4 + ax^2}{\pi + ax^2}\right)\right).$$

これの対数の計算（10を底とする）は簡単で、望ましい結果がすぐに得られます。たとえば、ます。この近似の常用対数は$x=1000$

$$\log_{10}(f(x)) \approx \left(-1000^2 \left(\frac{4 + a \cdot 1000^2}{\pi + a \cdot 1000^2}\right) - \log(2)\right) / \log(10) \sim -434295.63047.$$

累乗利回り

$$f(1000) \approx 2.34169 \cdot 10^{-434296}.$$

（）補正を適用すると、$f_3$

$$\textrm{erfc}(1000) \approx 1.86003\ 70486\ 32328 \cdot 10^{-434298}.$$

補正は99％以上、元の近似値を減少させることに留意されたい（そして実際、1 / X ≈ 1 ％）のみ最後の桁に正しい値から（この近似が異なる別の周知の近似。EXP （- X 2）/（X √$a_1/x \approx 1\text{%}$、等しい1.860038⋅10 - 434298、第六の上位桁に誤ります。同じテクニックを使用して、必要に応じてそれも改善できると確信しています。）$\exp(-x^2)/(x\sqrt{\pi})$$1.860038 \cdot 10^{-434298}$

単純な上限

法線の上限確率の計算における引数の値が非常に大きい場合、おそらく倍精度浮動小数点を使用する他の方法を使用した場合と同等の優れた境界が存在します。以下のために、聞かせて S （Z ）：= P（Z > Z ）= ∫ ∞ Z φ （Z ）のD$z > 0$ ここで、 φ （Z ）= （2 π ）- 1 / 2 E - Z 2 / 2は、標準正規PDFです。私は、生存分析で標準表記法を尊重して表記法 S （z ）を使用しました。エンジニアリングコンテキストでは、この関数を Q関数と呼び、 Q （z ）で示します。

$$\renewcommand{\Pr}{\mathbb{P}}\newcommand{\rd}{\mathrm{d}} S(z) := \Pr(Z > z) = \int_z^\infty \varphi(z) \rd z \>,$$ $\varphi(z) = (2\pi)^{-1/2} e^{-z^2/2}$$S(z)$$Q$$Q(z)$

次に、基本上限非常に簡単であり、

$$\newcommand{\Su}{\hat{S}_u} \newcommand{\Sl}{\hat{S}_\ell} S(z) \leq \frac{\varphi(z)}{z} =: \Su(z) \> ,$$

$$S(z) \geq \frac{z}{z^2+1} \varphi(z) =: \Sl(z) \> .$$

絵

$S(z)$

どれくらいいいですか？

$z$

$$\newcommand{\err}{\mathcal{E}} \err(z) = \left|\frac{\Su(z) - S(z)}{S(z)}\right| \>.$$

$\Su(z)$$\Sl(z)$

$$\err(z) = \frac{\Su(z) - S(z)}{S(z)} \leq \frac{\Su(z) - \Sl(z)}{\Sl(z)} = z^{-2} \> ,$$ したがって、これは、 $z \geq 10$ 上限は1％以内で正しい $z \geq 28$ それは0.1％以内で正しい $z \geq 100$ 0.01％以内に正しいです。

実際、境界の単純な形式は、他の「近似」に関する適切なチェックを提供します。より複雑な近似の数値計算で、これらの範囲外の値を取得した場合、ここで指定された上限などの値を取得するように「修正」することができます。

これらの境界には多くの改良点があります。ここで述べたラプラスの境界は、上と下の境界の素晴らしいシーケンスを提供します$S(z)$ フォームの $R(z) \varphi(z)$ どこ $R(z)$ 有理関数です。

最後に、ここでは別の、やや関連の質問と答えがあります。

より単純な関数で近似することができます-詳細については、このウィキペディアのセクションを参照してください。基本的な近似は$\textrm{erf}(x) \approx \textrm{sgn}(x)\sqrt{1 - \exp(-x^2 \frac{4/\pi + ax^2}{1+ax^2}})$

記事には、そのセクションの誤ったリンクがあります。参照されているPDFは、Sergei Winitzkiのファイルまたはこのリンクにあります。