ブートストラップの統計の「滑らかさ」？

統計が「スムーズ」ではないということの意味を誰かが説明できるかどうか疑問に思っていました。

たとえば、2.6.2 p。DavisonとHinkleyの 41人は、「標準の展開理論が適用されないように、サンプルにスムーズでないまたは不安定な方法で依存している」という統計について話します。

また、サンプルモーメントの微分可能な関数である関数についても触れていますが、これが「スムーズ」なのかどうかはわかりません。

もしそうなら、そのフレーズの意味を説明できますか？

$\newcommand{\OLS}{\operatorname{OLS}}$これは、私が知る限り、本質的に、統計用語ではなく、数学用語に関する質問です。

いずれにせよ、統計はサンプルの微分可能な関数ではない、またはサンプルの倍の連続微分可能な関数ではないことがポイントです。$n-$

言い換えると、サンプルの変化に対する統計の応答が理想的ではない、またはデータの線形関数または多項式関数のように、見た目が不快（つまり、用語が「滑らか」）である場所がある可能性があります。決して持つことができませんでした。

Wikipediaのページ円滑な機能については、ポイントでおそらく不必要な技術ですが、うまくいけば絵の一部と拡張の議論はあなたの用語「滑らかさ」によって喚起されることになって何のためにいくつかの直感を与えることができます。

特定の関数が「サンプルモーメントの微分可能な関数」である場合、そのコンテキストで「スムーズ」がどのような意味で使用されているかによって、サンプルモーメントのスムーズな関数になる場合があります。ほとんどの場合、「スムーズ」は無限に何度も連続的に微分可能であることを意味するために使用されます（たとえば、多項式または線形関数または正弦と余弦のように）。ただし、Wikipediaのページで言及されているように、この用語はそれほど厳密ではない意味で使用できます。

いずれにせよ、それが微分可能性に関連していることは間違いなく正しいです。それが鍵となる考えです。

また、連続的であるが「スムーズ」ではない関数が存在することにも注意する必要があります。つまり、連続性は一般に優れた規則性のプロパティですが、多くの場合、望ましくない病理学的な振る舞いを多く許容しますが、そのような病理学的な振る舞いはできません。連続関数よりもさらに優れているため、滑らかな関数で発生します。

例：たとえば、正規直交共変量を持つLASSO推定器を考えます。

$$\hat{\beta}_j = S_{N \lambda}(\hat{\beta}_j^{\OLS}) = \hat{\beta}_j^{\OLS} \max\left\{ 0, 1 - \frac{N \lambda}{\left|\hat{\beta}^{\OLS}_j \right|} \right\},$$ ここで。$\hat{\beta}^{OLS} = (X^T X)^{-1}X^Ty = X^T y$

まず、我々は注意しての座標に線形であり及びのでで線形であり及びように、（仮定そのまたははサンプルを表します）はすべて完全に滑らかな関数であり、非滑らかさの原因ではありません。代わりに、滑らかさの、の定義にある最大関数由来します。以下で説明します。$\hat{\beta}_j^{\OLS}$$X$$y$$\hat{\beta}^{\OLS}$$X$$y$$X$$y$$\hat{\beta}_j^{\OLS}$$\max$$\hat{\beta}_j$

アイデンティティー（ここで説明および証明）を使用して、上記の式を次のように書き換えます：$\max\{x, y \} = \frac{x+y +|x-y|}{2}$

$$\begin{array}{rcl} \hat{\beta}_j & = & \displaystyle\frac{\hat{\beta}_j^{\OLS}}{2}\left[ -\left( \frac{N \lambda}{\left|\hat{\beta}_j^{\OLS}\right|} - 1 \right) + \left|\frac{N \lambda}{\left|\hat{\beta}_j^{\OLS}\right|}-1\right| \enspace \right] \\ & = & \begin{cases} 0, & \text{when } \displaystyle\frac{N \lambda}{\left|\hat{\beta}^{\OLS}\right|} \ge 1 \\ \hat{\beta}_j^{\OLS}\left(1 - \displaystyle\frac{N \lambda}{\left|\hat{\beta}_j^{\OLS}\right|} \right), & \text{when } \displaystyle\frac{N \lambda}{\left|\hat{\beta}^{\OLS}\right|} \le 1 \end{cases} \end{array}$$

この形式で書かれていると、滑らかでない動作の原因として少なくとも2つ考えられる原因があることは明らかです。（1）場合、分母が消えます（2）ポイントと可能な尖点 もちろんこれらの点では、2つの異なる関数「結合」ですこれは、であるポイントで同じ値であっても $\hat{\beta}_j^{\OLS}=0$

$$\frac{N \lambda}{\left| \hat{\beta}^{\OLS}_j \right|} = 1 \iff N\lambda = \left| \hat{\beta}^{\OLS}_j \right|,$$ $\hat{\beta}_j$$\left(0\text{ and }\hat{\beta}_j^{\OLS}\left(1 - \frac{N \lambda}{\left|\hat{\beta}_j^{\OLS}\right|} \right) \right)$$N\lambda = \left| \hat{\beta}^{\OLS}_j \right|$は、左側と右側の導関数がすべてのについて一致するような方法で、必ずしも「うまく再生する」とは限りません。これが失敗する関数の最も基本的な例は、値：最初の左側の導関数は、最初の右側の導関数はであるため、では滑らかではありません。であるこれらのポイントで、関数に類似の現象が発生する可能性があると思います 、がその入力の滑らかな関数にならないようにします。$n$$|x|$$x=0$$-1$$1$$x=0$$\hat{\beta}_j$$N \lambda = \left| \hat{\beta}^{\OLS}_j \right|$$\hat{\beta}_j$

関数は、スムーズであると見なされるために、入力引数に関してのみスムーズである必要があります。おそらく、その入力引数はサンプル自体、またはサンプルの一部の関数です。場合関数の関数であるそしてある得る組成物によって、サンプルの GET新しい機能スキップこと仲介者（つまり、関心のある同じ出力を返し、直接サンプルの関数です）。連鎖規則により、この構成された関数は、両方の関数と$\hat{\beta}_j$$g$$\hat{\beta}_j$$g$$\hat{\beta}_j \circ g$$\tilde{\hat{\beta}}_j$$\tilde{\hat{\beta}}_j = \hat{\beta}_j \circ g$$\hat{\beta}_j$$g$ 滑らかです。