なぜ正規分布の

初めて正規分布モンテカルロシミュレーションを行ったときにショックを受けたのは、サンプルサイズがのみであるサンプルからの標準偏差の平均がはるかに小さいことが判明したことです。つまり、回の平均よりも、母集団の生成に使用される\ sigmaです。ただし、これはあまり覚えていない場合はよく知られていますが、私はそれを知っていました。これがシミュレーションです。$100$$100$$n=2$$\sqrt{\frac{2}{\pi }}$$\sigma$

100、n = 2、\ text {SD}の推定値、および\ text {E}（s_ {n = 2}）= \ sqrt \を使用してN（0,1）の 95％信頼区間を予測する例を次に示します。 frac {\ pi} {2} \ text {SD}。$N(0,1)$$n=2$$\text{SD}$$\text{E}(s_{n=2})=\sqrt\frac{\pi}{2}\text{SD}$

 RAND()   RAND()    Calc    Calc    
 N(0,1)   N(0,1)    SD      E(s)    
-1.1171  -0.0627    0.7455  0.9344  
 1.7278  -0.8016    1.7886  2.2417  
 1.3705  -1.3710    1.9385  2.4295  
 1.5648  -0.7156    1.6125  2.0209  
 1.2379   0.4896    0.5291  0.6632  
-1.8354   1.0531    2.0425  2.5599  
 1.0320  -0.3531    0.9794  1.2275  
 1.2021  -0.3631    1.1067  1.3871  
 1.3201  -1.1058    1.7154  2.1499  
-0.4946  -1.1428    0.4583  0.5744  
 0.9504  -1.0300    1.4003  1.7551  
-1.6001   0.5811    1.5423  1.9330  
-0.5153   0.8008    0.9306  1.1663  
-0.7106  -0.5577    0.1081  0.1354  
 0.1864   0.2581    0.0507  0.0635  
-0.8702  -0.1520    0.5078  0.6365  
-0.3862   0.4528    0.5933  0.7436  
-0.8531   0.1371    0.7002  0.8775  
-0.8786   0.2086    0.7687  0.9635  
 0.6431   0.7323    0.0631  0.0791  
 1.0368   0.3354    0.4959  0.6216  
-1.0619  -1.2663    0.1445  0.1811  
 0.0600  -0.2569    0.2241  0.2808  
-0.6840  -0.4787    0.1452  0.1820  
 0.2507   0.6593    0.2889  0.3620  
 0.1328  -0.1339    0.1886  0.2364  
-0.2118  -0.0100    0.1427  0.1788  
-0.7496  -1.1437    0.2786  0.3492  
 0.9017   0.0022    0.6361  0.7972  
 0.5560   0.8943    0.2393  0.2999  
-0.1483  -1.1324    0.6959  0.8721  
-1.3194  -0.3915    0.6562  0.8224  
-0.8098  -2.0478    0.8754  1.0971  
-0.3052  -1.1937    0.6282  0.7873  
 0.5170  -0.6323    0.8127  1.0186  
 0.6333  -1.3720    1.4180  1.7772  
-1.5503   0.7194    1.6049  2.0115  
 1.8986  -0.7427    1.8677  2.3408  
 2.3656  -0.3820    1.9428  2.4350  
-1.4987   0.4368    1.3686  1.7153  
-0.5064   1.3950    1.3444  1.6850  
 1.2508   0.6081    0.4545  0.5696  
-0.1696  -0.5459    0.2661  0.3335  
-0.3834  -0.8872    0.3562  0.4465  
 0.0300  -0.8531    0.6244  0.7826  
 0.4210   0.3356    0.0604  0.0757  
 0.0165   2.0690    1.4514  1.8190  
-0.2689   1.5595    1.2929  1.6204  
 1.3385   0.5087    0.5868  0.7354  
 1.1067   0.3987    0.5006  0.6275  
 2.0015  -0.6360    1.8650  2.3374  
-0.4504   0.6166    0.7545  0.9456  
 0.3197  -0.6227    0.6664  0.8352  
-1.2794  -0.9927    0.2027  0.2541  
 1.6603  -0.0543    1.2124  1.5195  
 0.9649  -1.2625    1.5750  1.9739  
-0.3380  -0.2459    0.0652  0.0817  
-0.8612   2.1456    2.1261  2.6647  
 0.4976  -1.0538    1.0970  1.3749  
-0.2007  -1.3870    0.8388  1.0513  
-0.9597   0.6327    1.1260  1.4112  
-2.6118  -0.1505    1.7404  2.1813  
 0.7155  -0.1909    0.6409  0.8033  
 0.0548  -0.2159    0.1914  0.2399  
-0.2775   0.4864    0.5402  0.6770  
-1.2364  -0.0736    0.8222  1.0305  
-0.8868  -0.6960    0.1349  0.1691  
 1.2804  -0.2276    1.0664  1.3365  
 0.5560  -0.9552    1.0686  1.3393  
 0.4643  -0.6173    0.7648  0.9585  
 0.4884  -0.6474    0.8031  1.0066  
 1.3860   0.5479    0.5926  0.7427  
-0.9313   0.5375    1.0386  1.3018  
-0.3466  -0.3809    0.0243  0.0304  
 0.7211  -0.1546    0.6192  0.7760  
-1.4551  -0.1350    0.9334  1.1699  
 0.0673   0.4291    0.2559  0.3207  
 0.3190  -0.1510    0.3323  0.4165  
-1.6514  -0.3824    0.8973  1.1246  
-1.0128  -1.5745    0.3972  0.4978  
-1.2337  -0.7164    0.3658  0.4585  
-1.7677  -1.9776    0.1484  0.1860  
-0.9519  -0.1155    0.5914  0.7412  
 1.1165  -0.6071    1.2188  1.5275  
-1.7772   0.7592    1.7935  2.2478  
 0.1343  -0.0458    0.1273  0.1596  
 0.2270   0.9698    0.5253  0.6583  
-0.1697  -0.5589    0.2752  0.3450  
 2.1011   0.2483    1.3101  1.6420  
-0.0374   0.2988    0.2377  0.2980  
-0.4209   0.5742    0.7037  0.8819  
 1.6728  -0.2046    1.3275  1.6638  
 1.4985  -1.6225    2.2069  2.7659  
 0.5342  -0.5074    0.7365  0.9231  
 0.7119   0.8128    0.0713  0.0894  
 1.0165  -1.2300    1.5885  1.9909  
-0.2646  -0.5301    0.1878  0.2353  
-1.1488  -0.2888    0.6081  0.7621  
-0.4225   0.8703    0.9141  1.1457  
 0.7990  -1.1515    1.3792  1.7286  

 0.0344  -0.1892    0.8188  1.0263  mean E(.)
                    SD pred E(s) pred   
-1.9600  -1.9600   -1.6049 -2.0114    2.5%  theor, est
 1.9600   1.9600    1.6049  2.0114   97.5%  theor, est
                    0.3551 -0.0515    2.5% err
                   -0.3551  0.0515   97.5% err

スライダーを下にドラッグして、総計を表示します。ここで、通常のSD推定器を使用して、平均ゼロ付近で95％の信頼区間を計算しましたが、それらは0.3551標準偏差単位だけずれています。E（s）推定量は、0.0515標準偏差単位だけオフです。標準偏差、平均の標準誤差、またはt統計を推定する場合、問題がある可能性があります。

私の推論は次のとおりでした、2つの値の人口平均はに関してどこにでもあり得、には絶対に位置しません。次のように、大幅に過小評価するように二乗します。$\mu$$x_1$$\frac{x_1+x_2}{2}$$\sigma$

wlog let、その後は、最も可能性の低い結果。$x_2-x_1=d$$\Sigma_{i=1}^{n}(x_i-\bar{x})^2$$2 (\frac{d}{2})^2=\frac{d^2}{2}$

つまり、標準偏差は

$\text{SD}=\sqrt{\frac{\Sigma_{i=1}^{n}(x_i-\bar{x})^2}{n-1}}$ 、

母標準偏差（）のバイアス付き推定量です。その式では、の自由度を1減らし、で除算することに注意してください。つまり、何らかの修正を行いますが、漸近的には正しいだけで、がより良い経験則です。私達のための例式たちを与える、統計学的に妥当でない最小値として、より良い期待値（）は$\sigma$$n$のn - 3 / 2 X 2 - X 1 = D SD S D = $n-1$$n-3/2$$x_2-x_1=d$$\text{SD}$μ≠ˉXSE（S）=$SD=\frac{d}{\sqrt 2}\approx 0.707d$$\mu\neq \bar{x}$$s$N<10のSDσN25、N<25N=$E(s)=\sqrt{\frac{\pi }{2}}\frac{d}{\sqrt 2}=\frac{\sqrt\pi }{2}d\approx0.886d$。通常の計算では、場合、少数バイアスと呼ばれる非常に大きな過小評価に悩まされます。これは、が約ときに過小評価に1％しか近づきません。多くの生物学的実験には、これは確かに問題です。以下のために、エラー100,000約25重量部です。一般に、少数のバイアス補正は、正規分布の母集団標準偏差の不偏推定量が$n<10$$\text{SD}$$\sigma$$n$$25$$n<25$$n=1000$

$\text{E}(s)\,=\,\,\frac{\Gamma\left(\frac{n-1}{2}\right)}{\Gamma\left(\frac{n}{2}\right)}\sqrt{\frac{\Sigma_{i=1}^{n}(x_i-\bar{x})^2}{2}}>\text{SD}=\sqrt{\frac{\Sigma_{i=1}^{n}(x_i-\bar{x})^2}{n-1}}\; .$

ウィキペディア、クリエイティブ・コモンズの下で1がのSDの過小評価のプロットがあるライセンス$\sigma$

SDは母標準偏差のバイアス付き推定量であるため、としてMVUEであることに満足しない限り、母標準偏差の最小分散不偏推定量MVUEにすることはできません。$n\rightarrow \infty$

非正規分布とほぼ偏りのないは、こちらをお読みください。$SD$

質問Q1が来ました

それが証明できること上記MVUEのためのものであるサンプルサイズの正規分布の、ここで 1より大きい正の整数大きいですか？$\text{E}(s)$$\sigma$$n$$n$

ヒント：（しかし、答えではありません）を参照してください。正規分布からのサンプル標準偏差の標準偏差を見つけるにはどうすればよいですか？。

次の質問、Q2

とにかくを使用している理由を誰かが説明してくれますか？つまり、ほとんどすべてにを使用しないのはなぜですか？$\text{SD}$$\text{E}(s)$補足として、以下の回答では、分散が不偏であることが明らかになりましたが、その平方根は偏っています。私は、偏りのない標準偏差をいつ使用すべきかという問題に答えを求めます。

結局のところ、部分的な答えは、上記のシミュレーションのバイアスを回避するために、SD値ではなく分散を平均化することができたということです。この効果を確認するために、上記のSD列を2乗し、それらの値を平均すると0.9994が得られます。 95％テールの場合-0.0006。これは、分散が加法的であるため、それらを平均化することはエラーの少ない手順であることに注意してください。ただし、標準偏差には偏りがあり、分散を媒介として使用する余裕がない場合は、少数の修正が必要です。分散を仲介として使用できる場合でも、この場合は$n=100$、小さなサンプルの修正は、不偏分散0.9996915の平方根に1.002528401を掛けて、標準偏差の不偏推定値として1.002219148を与えることを示唆しています。それで、はい、小さな数の修正を使用して遅延させることができますが、それを完全に無視する必要がありますか？

ここでの質問は、その使用を無視するのではなく、いつ少数補正を使用すべきかであり、主に、その使用を回避しました。

別の例として、エラーのある線形トレンドを確立するための空間内の最小ポイント数は3です。これらの点を通常の最小二乗法で近似する場合、そのような多くの近似の結果は、非線形性がある場合は折り畳まれた正規残余パターンであり、線形性がある場合は半分の正規形です。半正規の場合、分布の平均には小さな数の修正が必要です。4つ以上のポイントを使用して同じトリックを試みると、分布は通常、正常に関連せず、特性化も容易ではありません。分散を使用して、これらの3点の結果を何らかの形で組み合わせることができますか？おそらく、そうではないでしょう。ただし、距離とベクトルの観点から問題を考えるのは簡単です。

より制限された質問の場合

バイアスされた標準偏差の式が通常使用されるのはなぜですか？

簡単な答え

関連付けられた分散推定量は不偏であるためです。実際の数学的/統計的正当化はありません。

多くの場合正確です。

ただし、これは必ずしもそうとは限りません。理解すべきこれらの問題には、少なくとも2つの重要な側面があります。

まず、サンプルの分散は、ガウス確率変数に偏っていないだけです。それはのために公平である任意の有限の分散の分布σ 2（私の元の答えに、以下に説明するように）。質問は、sがσに対して不偏ではないことに注意し、ガウス確率変数に対して不偏である代替案を提案します。ただし、分散とは異なり、標準偏差については、「分布のない」不偏推定量を使用できないことに注意することが重要です（*下の注を参照）。$s^2$$\sigma^2$$s$$\sigma$

第二に、whuberのコメントで述べたように、がバイアスされているという事実は標準の「t検定」に影響を与えません。ガウス分布変数については、その最初の音符のx、我々は、サンプルからのzスコアを推定する場合、{ X I }のように 、Z iは = X I - $s$$x$$\{x_i\}$ これらはバイアスされます。

$$z_i=\frac{x_i-\mu}{\sigma}\approx\frac{x_i-\bar{x}}{s}$$

ただしt統計は、通常の文脈で使用されるサンプリング分布の。この場合、Zスコアは以下のようになり 、Z ˉ X = ˉ X - $\bar{x}$ ただし、μも分からないため、zもtも計算できません。あればそれにもかかわらず、Z ˉ X統計が正常になり、その後のt統計はスチューデントのt分布に従います。これは大きなnの近似ではありません。唯一の仮定は、x個のサンプルがiid Gaussianであるということです。

$$z_{\bar{x}}=\frac{\bar{x}-\mu}{\sigma_{\bar{x}}}\approx\frac{\bar{x}-\mu}{s/\sqrt{n}}=t$$ $z$$t$$\mu$$z_{\bar{x}}$$t$$n$$x$

（一般t検定はおそらく非ガウスのために、より広く適用されている。これはない大に依存して、N、その中心極限定理によって確実ˉ X依然としてガウスであろう。）$x$$n$$\bar{x}$

---

*「分布のない不偏推定量」に関する説明

「分布なし」とは、推定器が標本{ x 1、… 、x n }以外の母集団に関する情報に依存できないことを意味します。「公正」でIは、予想されるエラーことを意味E [ θ N ] - θは、サンプルサイズとは無関係に、一様にゼロであるN。（単に漸近的に不偏の、別名「一貫性のある」推定器とは対照的に、バイアスはn → ∞として消失します。）$x$$\{x_1,\ldots,x_n\}$$\mathbb{E}[\hat{\theta}_n]-\theta$$n$$n\to\infty$

コメントでは、これは「分布のない不偏推定量」の可能な例として与えられました。ビットを引き抜く、この推定器の形式はσ = F [ S 、N 、κ X ]、κ xは、過剰尖度であるX。この推定量はないとして、「配布フリー」κ xは、の分布に依存するのx。推定器は満足すると言われているE [ σ ] - σ X = O [ 1$\hat{\sigma}=f[s,n,\kappa_x]$$\kappa_x$$x$$\kappa_x$$x$、ここで、σ 2 xはの分散であるX。よって推定は、として一貫性が、（絶対的に）「公正」ではないO[$\mathbb{E}[\hat{\sigma}]-\sigma_x=\mathrm{O}[\frac{1}{n}]$$\sigma_x^2$$x$は、小さなnに対して任意に大きくすることができます。$\mathrm{O}[\frac{1}{n}]$$n$

---

注：以下は私の元の「答え」です。これ以降、コメントは標準の「サンプル」平均と分散に関するもので、「分布のない」不偏推定量です（つまり、母集団はガウス分布ではないと仮定されます）。

これは完全な答えではなく、サンプルの分散式が一般的に使用される理由の説明です。

ランダムサンプル所与、限り変数は、共通の平均値を有するように、推定ˉ X = $\{x_1,\ldots,x_n\}$は不偏、つまり E[xi]=$\bar{x}=\frac{1}{n}\sum_ix_i$

$$\mathbb{E}[x_i]=\mu \implies \mathbb{E}[\bar{x}]=\mu$$

変数にも共通の有限分散があり、それらが無相関の場合、推定量であろう、また、公正であること、すなわち E[XI、XJ]-μ2={ σ 2 iが= J 0 、I ≠ $s^2=\frac{1}{n-1}\sum_i(x_i-\bar{x})^2$ 注これらの推定量の不偏は依存していることのみ上記仮定に（及び直線期待;証拠はわずか代数です）。結果は、ガウス分布などの特定の分布に依存しません。変数 x iは共通の分布を持つ必要はなく、独立している必要さえありません（つまり、サンプルがiidである必要はありません）。

$$\mathbb{E}[x_ix_j]-\mu^2=\begin{cases}\sigma^2&i=j\\0&i\neq{j}\end{cases} \implies \mathbb{E}[s^2]=\sigma^2$$ $x_i$

「サンプル標準偏差」は、不偏推定量s ≠ σではありませんが、それでも一般的に使用されています。私の推測では、これは単に不偏サンプル分散の平方根だからです。（これ以上の洗練された正当化なし。）$s$$\mathbb{s}\neq\sigma$

IIDガウス試料の場合には、最尤推定パラメータ（MLE）であるμ M L E = ˉ Xおよび（σ 2 ）M L E = N - 1$\hat{\mu}_\mathrm{MLE}=\bar{x}$、つまり分散はn2ではなくnで除算されます。さらに、iidガウスの場合、標準偏差MLEはMLE分散の平方根にすぎません。ただし、これらの式は、質問で示唆された式と同様に、Gaussian iidの仮定に依存しています。$(\hat{\sigma}^2)_\mathrm{MLE}=\frac{n-1}{n}s^2$$n$$n^2$

---

更新：「バイアスあり」と「バイアスなし」に関する追加の説明。

検討前記と-elementサンプルを、X = { X 1、... 、XがN }和平方偏差、 δ 2 、N = Σ I（X I - ˉ X）2 最初の部分上に概説した仮定が与えられると、我々は必ずしも有するE [ δ 2 N ] = （N - 1 ）σ 2 （ガウス）MLE推定器が付勢されているように、 ^ σ $n$$X=\{x_1,\ldots,x_n\}$

$$\delta^2_n=\sum_i(x_i-\bar{x})^2$$ $$\mathbb{E}[\delta^2_n]=(n-1)\sigma^2$$ $$\widehat{\sigma^2_n}=\tfrac{1}{n}\delta^2_n \implies \mathbb{E}[\widehat{\sigma^2_n}]=\tfrac{n-1}{n}\sigma^2$$ while the "sample variance" estimator is unbiased $$s^2_n=\tfrac{1}{n-1}\delta^2_n \implies \mathbb{E}[s^2_n]=\sigma^2$$

Now it is true that $\widehat{\sigma^2_n}$ becomes less biased as the sample size $n$ increases. However $s^2_n$ has zero bias no matter the sample size (so long as $n>1$). For both estimators, the variance of their sampling distribution will be non-zero, and depend on $n$.

As an example, the below Matlab code considers an experiment with $n=2$ samples from a standard-normal population $z$. To estimate the sampling distributions for $\bar{x},\widehat{\sigma^2},s^2$, the experiment is repeated $N=10^6$ times. (You can cut & paste the code here to try it out yourself.)

% n=sample size, N=number of samples
n=2; N=1e6;
% generate standard-normal random #'s
z=randn(n,N); % i.e. mu=0, sigma=1
% compute sample stats (Gaussian MLE)
zbar=sum(z)/n; zvar_mle=sum((z-zbar).^2)/n;
% compute ensemble stats (sampling-pdf means)
zbar_avg=sum(zbar)/N, zvar_mle_avg=sum(zvar_mle)/N
% compute unbiased variance
zvar_avg=zvar_mle_avg*n/(n-1)

Typical output is like

zbar_avg     =  1.4442e-04
zvar_mle_avg =  0.49988
zvar_avg     =  0.99977

confirming that

$$\begin{align} \mathbb{E}[\bar{z}]&\approx\overline{(\bar{z})}\approx\mu=0 \\ \mathbb{E}[s^2]&\approx\overline{(s^2)}\approx\sigma^2=1 \\ \mathbb{E}[\widehat{\sigma^2}]&\approx\overline{(\widehat{\sigma^2})}\approx\frac{n-1}{n}\sigma^2=\frac{1}{2} \end{align}$$

---

Update 2: Note on fundamentally "algebraic" nature of unbiased-ness.

In the above numerical demonstration, the code approximates the true expectation $\mathbb{E}[\,]$ using an ensemble average with $N=10^6$ replications of the experiment (i.e. each is a sample of size $n=2$). Even with this large number, the typical results quoted above are far from exact.

To numerically demonstrate that the estimators are really unbiased, we can use a simple trick to approximate the $N\to\infty$ case: simply add the following line to the code

% optional: "whiten" data (ensure exact ensemble stats)
[U,S,V]=svd(z-mean(z,2),'econ'); z=sqrt(N)*U*V';

(placing after "generate standard-normal random #'s" and before "compute sample stats")

With this simple change, even running the code with $N=10$ gives results like

zbar_avg     =  1.1102e-17
zvar_mle_avg =  0.50000
zvar_avg     =  1.00000

The sample standard deviation $S=\sqrt{\frac{\sum (X - \bar{X})^2}{n-1}}$ is complete and sufficient for $\sigma$ so the set of unbiased estimators of $\sigma^k$ given by

$$\frac{(n-1)^\frac{k}{2}}{2^\frac{k}{2}} \cdot \frac{\Gamma\left(\frac{n-1}{2}\right)}{\Gamma\left(\frac{n+k-1}{2}\right)} \cdot S^k = \frac{S^k}{c_k}$$

(See Why is sample standard deviation a biased estimator of $\sigma$?) are, by the Lehmann–Scheffé theorem, UMVUE. Consistent, though biased, estimators of $\sigma^k$ can also be formed as

$$\tilde{\sigma}^k_j= \left(\frac{S^j}{c_j}\right)^\frac{k}{j}$$

(the unbiased estimators being specified when $j=k$). The bias of each is given by

$$\operatorname{E}\tilde{\sigma}^k_j - \sigma^k =\left( \frac{c_k}{c_j^\frac{k}{j}} -1 \right) \sigma^k$$

& its variance by

$$\operatorname{Var}\tilde{\sigma}^{k}_j=\operatorname{E}\tilde{\sigma}^{2k}_j - \left(\operatorname{E}\tilde{\sigma}^k_j\right)^2=\frac{c_{2k}-c_k^2}{c_j^\frac{2k}{j}} \sigma^{2k}$$

For the two estimators of $\sigma$ you've considered, $\tilde{\sigma}^1_1=\frac{S}{c_1}$ & $\tilde{\sigma}^1_2=S$, the lack of bias of $\tilde{\sigma}_1$ is more than offset by its larger variance when compared to $\tilde{\sigma}_2$:

$$\begin{align} \operatorname{E}\tilde{\sigma}_1 - \sigma &= 0 \\ \operatorname{E}\tilde{\sigma}_2 - \sigma &=(c_1 -1) \sigma \\ \operatorname{Var}\tilde{\sigma}_1 =\operatorname{E}\tilde{\sigma}^{2}_1 - \left(\operatorname{E}\tilde{\sigma}^1_1\right)^2 &=\frac{c_{2}-c_1^2}{c_1^2} \sigma^{2} = \left(\frac{1}{c_1^2}-1\right) \sigma^2 \\ \operatorname{Var}\tilde{\sigma}_2 =\operatorname{E}\tilde{\sigma}^{2}_1 - \left(\operatorname{E}\tilde{\sigma}_2\right)^2 &=\frac{c_{2}-c_1^2}{c_2} \sigma^{2}=(1-c_1^2)\sigma^2 \end{align}$$ (Note that $c_2=1$, as $S^2$ is already an unbiased estimator of $\sigma^2$.)

The mean square error of $a_k S^k$ as an estimator of $\sigma^2$ is given by

$$\begin{align} (\operatorname{E} a_k S^k - \sigma^k)^2 + \operatorname{E} (a_k S^k)^2 - (\operatorname{E} a_k S^k)^2 &= [ (a_k c_k -1)^2 + a_k^2 c_{2k} - a_k^2 c_k^2 ] \sigma^{2k}\\ &= ( a_k^2 c_{2k} -2 a_k c_k + 1 ) \sigma^{2k} \end{align}$$

& therefore minimized when

$$a_k = \frac{c_k}{c_{2k}}$$

, allowing the definition of another set of estimators of potential interest:

$$\hat{\sigma}^k_j= \left(\frac{c_j S^j}{c_{2j}}\right)^\frac{k}{j}$$

Curiously, $\hat{\sigma}^1_1=c_1S$, so the same constant that divides $S$ to remove bias multiplies $S$ to reduce MSE. Anyway, these are the uniformly minimum variance location-invariant & scale-equivariant estimators of $\sigma^k$ (you don't want your estimate to change at all if you measure in kelvins rather than degrees Celsius, & you want it to change by a factor of $\left(\frac{9}{5}\right)^k$ if you measure in Fahrenheit).

None of the above has any bearing on the construction of hypothesis tests or confidence intervals (see e.g. Why does this excerpt say that unbiased estimation of standard deviation usually isn't relevant?). And $\tilde{\sigma}^k_j$ & $\hat{\sigma}^k_j$ exhaust neither estimators nor parameter scales of potential interest—consider the maximum-likelihood estimator^† $\sqrt{\frac{n-1}{n}}S$, or the median-unbiased estimator $\sqrt{\frac{n-1}{\chi^2_{n-1}(0.5)}}S$; or the geometric standard deviation of a lognormal distribution $\mathrm{e}^\sigma$. It may be worth showing a few more-or-less popular estimates made from a small sample ($n=2$) together with the upper & lower bounds, $\sqrt{\frac{(n-1)s^2}{\chi^2_{n-1}(\alpha)}}$ & $\sqrt{\frac{(n-1)s^2}{\chi^2_{n-1}(1-\alpha)}}$, of the equal-tailed confidence interval having coverage $1-\alpha$:

The span between the most divergent estimates is negligible in comparison with the width of any confidence interval having decent coverage. (The 95% C.I., for instance, is $(0.45s,31.9s)$.) There's no sense in being finicky about the properties of a point estimator unless you're prepared to be fairly explicit about what you want you want to use it for—most explicitly you can define a custom loss function for a particular application. A reason you might prefer an exactly (or almost) unbiased estimator is that you're going to use it in subsequent calculations during which you don't want bias to accumulate: your illustration of averaging biased estimates of standard deviation is a simple example of such (a more complex example might be using them as a response in a linear regression). In principle an all-encompassing model should obviate the need for unbiased estimates as an intermediate step, but might be considerably more tricky to specify & fit.

† The value of $\sigma$ that makes the observed data most probable has an appeal as an estimate independent of consideration of its sampling distribution.

Q2: Would someone please explain to me why we are using SD anyway as it is clearly biased and misleading?

This came up as an aside in comments, but I think it bears repeating because it's the crux of the answer:

The sample variance formula is unbiased, and variances are additive. So if you expect to do any (affine) transformations, this is a serious statistical reason why you should insist on a "nice" variance estimator over a "nice" SD estimator.

In an ideal world, they'd be equivalent. But that's not true in this universe. You have to choose one, so you might as well choose the one that lets you combine information down the road.

Comparing two sample means? The variance of their difference is sum of their variances.
Doing a linear contrast with several terms? Get its variance by taking a linear combination of their variances.
Looking at regression line fits? Get their variance using the variance-covariance matrix of your estimated beta coefficients.
Using F-tests, or t-tests, or t-based confidence intervals? The F-test calls for variances directly; and the t-test is exactly equivalent to the square root of an F-test.

In each of these common scenarios, if you start with unbiased variances, you'll remain unbiased all the way (unless your final step converts to SDs for reporting).
Meanwhile, if you'd started with unbiased SDs, neither your intermediate steps nor the final outcome would be unbiased anyway.

This post is in outline form.

(1) Taking a square root is not an affine transformation (Credit @Scortchi.)

(2) ${\rm var}(s) = {\rm E} (s^2) - {\rm E}(s)^2$, thus ${\rm E}(s) = \sqrt{{\rm E}(s^2) -{\rm var}(s)}\neq{\sqrt{\rm var(s)}}$

(3) ${\rm var}(s)=\frac{\Sigma_{i=1}^{n}(x_i-\bar{x})^2}{n-1}$, whereas $\text{E}(s)\,=\,\,\frac{\Gamma\left(\frac{n-1}{2}\right)}{\Gamma\left(\frac{n}{2}\right)}\sqrt{\frac{\Sigma_{i=1}^{n}(x_i-\bar{x})^2}{2}}$$\neq\sqrt{\frac{\Sigma_{i=1}^{n}(x_i-\bar{x})^2}{n-1}}={\sqrt{\rm var(s)}}$

(4) Thus, we cannot substitute ${\sqrt{\rm var(s)}}$ for $\text{E}(s)$, for $n$ small, as square root is not affine.

(5) ${\rm var}(s)$ and $\text{E}(s)$ are unbiased (Credit @GeoMatt22 and @Macro, respectively).

(6) For non-normal distributions $\bar{x}$ is sometimes (a) undefined (e.g., Cauchy, Pareto with small $\alpha$) and (b) not UMVUE (e.g., Cauchy ($\rightarrow$ Student's-$t$ with $df=1$), Pareto, Uniform, beta). Even more commonly, variance may be undefined, e.g. Student's-$t$ with $1\leq df\leq2$. Then one can state that $\text{var}(s)$ is not UMVUE for the general case distribution. Thus, there is then no special onus to introducing an approximate small number correction for standard deviation, which likely has similar limitations to $\sqrt{\text{var}(s)}$, but is additionally less biased, $\hat\sigma = \sqrt{ \frac{1}{n - 1.5 - \tfrac14 \gamma_2} \sum_{i=1}^n (x_i - \bar{x})^2 }$ ,

where $\gamma_2$ is excess kurtosis. In a similar vein, when examining a normal squared distribution (a Chi-squared with $df=1$ transform), we might be tempted to take its square root and use the resulting normal distribution properties. That is, in general, the normal distribution can result from transformations of other distributions and it may be expedient to examine the properties of that normal distribution such that the limitation of small number correction to the normal case is not so severe a restriction as one might at first assume.

For the normal distribution case:

A1: By Lehmann-Scheffe theorem ${\rm var}(s)$ and $\text{E}(s)$ are UMVUE (Credit @Scortchi).

A2: (Edited to adjust for comments below.) For $n\leq 25$, we should use $\text{E}(s)$ for standard deviation, standard error, confidence intervals of the mean and of the distribution, and optionally for z-statistics. For $t$-testing we would not use the unbiased estimator as $\frac{ \bar X - \mu} {\sqrt{\text{var}(n)/n}}$ itself is Student's-$t$ distributed with $n-1$ degrees of freedom (Credit @whuber and @GeoMatt22). For z-statistics, $\sigma$ is usually approximated using $n$ large for which $\text{E}(s)-\sqrt{\text{var}(n)}$ is small, but for which $\text{E}(s)$ appears to be more mathematically appropriate (Credit @whuber and @GeoMatt22).

I want to add the Bayesian answer to this discussion. Just because your assumption is that the data is generated according to some normal with unknown mean and variance, that doesn't mean that you should summarize your data using a mean and a variance. This whole problem can be avoided if you draw the model, which will have a posterior predictive that is a three parameter noncentral scaled student's T distribution. The three parameters are the total of the samples, total of the squared samples, and the number of samples. (Or any bijective map of these.)

Incidentally, I like civilstat's answer because it highlights our desire to combine information. The three sufficient statistics above are even better than the two given in the question (or by civilstat's answer). Two sets of these statistics can easily be combined, and they give the best posterior predictive given the assumption of normality.