壊れたスティックの最大の断片の分布（間隔）

長さ1のスティックを、ランダムに一様に断片に分割します。最も長いフラグメントの長さの分布は何ですか？ $k+1$

より正式には、をIIDとし、関連する順序統計、つまり単純に順序付けします。そのような方法で試料。ましょう。 $(U_1, \ldots U_k)$ $U(0,1)$ $(U_{(1)}, \ldots, U_{(k)})$ $U_{(1)} \leq U_{(2)} \leq, \ldots , \leq U_{(k)}$ $Z_k = \max \left(U_{(1)}, U_{(2)}-U_{(1)}, \ldots, U_{(k)} - U_{(k-1)}, 1-U_{(k)}\right)$

の分布に興味があり $Z_k$ 。モーメント、漸近結果、または近似 $k \uparrow \infty$ も興味深いものです。

— gui11aume
ソース

これはよく研究された問題です。R. Pyke（1965）、「Spacings」、 JRSS（B） 27：3、pp。395-449を参照してください。誰かが私に打ち負かさない限り、後で情報を追加するために戻ってきます。同じ著者による1972年の論文もあります（ " Spacings revisited "）が、あなたが望んでいるのは最初のほとんどすべてだと思います。Devroye（1981）の「等間隔の順序統計の反復対数の法則」にいくつかの漸近現象があります。プロバブ。、9：5、860-867。

— Glen_b -Reinstate Monica

また、必要に応じて後の作品を見つけるための優れた検索用語を提供する必要があります。

— Glen_b-モニカの復職

これはすごい。最初の参照を見つけるのは難しいです。興味のある方のために、私はそれをThe Grand Locusに載せました。

— gui11aume

ミスプリントを修正してください：

代わりに

。

Y_{(k)}

$Y_{(k)}$

U_{(k)}

$U_{(k)}$

— ビクトル

ありがとう@Viktor！このような小さなことについては、自分で編集することをためらわないでください（承認のために他のユーザーによってレビューされると思います）。

— gui11aume

@Glen_bから提供された情報で、答えを見つけることができました。質問と同じ表記法を使用する

P （ Z_{k} \leq バツ ） = \sum_{j = 0}^{k + 1} （ \binom{k + 1}{j} ） （ - 1 ）^{j} （ 1 - j バツ ）_{+}^{k} 、

$P(Z_k \leq x) = \sum_{j=0}^{k+1} { k+1 \choose j } (-1)^j (1-jx)_+^k,$

ここ $a_+ = a$ 場合 $a > 0$ と $0$ そうでありません。また、Gumbel（NB：Betaではなく）分布に期待と漸近収束を与えます

E （ Z_{k} ） = \frac{1}{k + 1} \sum_{私 = 1}^{k + 1} \frac{1}{私} 〜 \frac{ログ （ k + 1 ）}{k + 1} 、 P （ Z_{k} \leq バツ ） 〜 \exp （ - e^{- （ k + 1 ） バツ + ログ （ k + 1 ）} ） 。

$E(Z_k)= \frac{1}{k+1}\sum_{i=1}^{k+1}\frac{1}{i} \sim \frac{\log(k+1)}{k+1}, \\ P(Z_k \leq x) \sim \exp\left(- e^{-(k+1)x + \log(k+1)} \right).$

証拠の資料は、参考文献にリンクされているいくつかの出版物から取られています。それらはやや長めですが、簡単です。

1.正確な分布の証明

してみましょう区間内のIID一様ランダム変数である。それらを順序付けることにより、と示される順序統計を取得します。は、として定義され、およびです。順序付けられた間隔は、対応する順序付けられた統計です。対象の変数はです。 $(U_1, \ldots, U_k)$ $(0,1)$ $k$ $(U_{(1)}, \ldots, U_{(k)})$ $\Delta_i = U_{(i)} - U_{(i-1)}$ $U_{(0)} = 0$ $U_{(k+1)} = 1$ $\Delta_{(1)} \leq \ldots \leq \Delta_{(k+1)}$ $\Delta_{(k+1)}$

固定場合、インジケーター変数を定義します。対称性により、ランダムベクトルは交換可能であるため、サイズサブセットの共同分布は、次の共同分布と同じです。最初の。製品を拡張することにより、こうして得られます $x \in (0,1)$ $\mathbb{1}_i = \mathbb{1}_{\{\Delta_i > x\}}$ $(\mathbb{1}_1, \ldots, \mathbb{1}_{k+1})$ $j$ $j$

P （ △_{（ k + 1 ）} \leq バツ ） = E （ \prod_{私 = 1}^{k + 1} （ 1 - 1_{私} ） ） = 1 + \sum_{j = 1}^{k + 1} （ \binom{k + 1}{j} ） （ - 1 ）^{j} E （ \prod_{私 = 1}^{j} 1_{私} ） 。

$P(\Delta_{(k+1)} \leq x) = E \left( \prod_{i=1}^{k+1} (1 - \mathbb{1}_i) \right) = 1 + \sum_{j=1}^{k+1} { k+1 \choose j } (-1)^j E \left( \prod_{i=1}^j \mathbb{1}_i \right).$

であることを証明します。これにより、上記の分布が確立されます。一般的な場合も同様に証明されるため、についてこれを証明します。 $E \left( \prod_{i=1}^j \mathbb{1}_i \right) = (1-jx)_+^k$ $j=2$

E (\prod_{i = 1}^{2} 1_{i}) = P (Δ_{1} > x \cap Δ_{2} > x) = P (Δ_{1} > x) P (Δ_{2} > x | Δ_{1} > x) .

$E \left( \prod_{i=1}^2 \mathbb{1}_i \right) = P(\Delta_1 > x \cap \Delta_2 > x) = P(\Delta_1 > x) P(\Delta_2 > x | \Delta_1 > x).$

場合、ブレークポイントは、間隔にある。このイベントの条件付きで、ブレークポイントはまだ交換可能であるため、2番目と1番目のブレークポイント間の距離がよりも大きい確率は、最初のブレークポイントと左バリア（距離）間の距離と同じ確率ですよりも大きい。そう $\Delta_1 > x$ $k$ $(x,1)$ $x$ $x$ $x$

P (Δ_{2} > x | Δ_{1} > x) = P (all points are in (2 x, 1) | all points are in (x, 1)), so P (Δ_{2} > x \cap Δ_{1} > x) = P (all points are in (2 x, 1)) = (1 - 2 x)_{+}^{k} .

$P(\Delta_2 > x | \Delta_1 > x) = P\big(\text{all points are in } (2x,1) \big| \text{all points are in } (x,1)\big), \; \text{so} \\ P(\Delta_2 > x \cap \Delta_1 > x) = P\big(\text{all points are in } (2x,1)\big) = (1-2x)_+^k.$

2.期待

サポートが有限のディストリビューションの場合、

E (X) = \int P (X > x) d x = 1 - \int P (X \leq x) d x .

$E(X) = \int P(X > x)dx = 1 - \int P(X \leq x)dx.$

分布積分、我々が入手します $\Delta_{(k+1)}$

E (Δ_{(k + 1)}) = \frac{1}{k + 1} \sum_{j = 1}^{k + 1} (\binom{k + 1}{j}) \frac{(- 1)^{j + 1}}{j} = \frac{1}{k + 1} \sum_{j = 1}^{k + 1} \frac{1}{j} .

$E\left(\Delta_{(k+1)}\right) = \frac{1}{k+1}\sum_{j=1}^{k+1}{k+1 \choose j}\frac{(-1)^{j+1}}{j} = \frac{1}{k+1}\sum_{j=1}^{k+1}\frac{1}{j}.$

最後の等式は、調古典的な表現です。これを以下に示します。 $H_i = 1+ \frac{1}{2}+ \ldots + \frac{1}{i}$

H_{k + 1} = \int_{0}^{1} 1 + バツ + \dots + {バツ}^{k} d バツ = \int_{0}^{1} \frac{1 - {バツ}^{k + 1}}{1 - バツ} d バツ 。

$H_{k+1} = \int_0^1 1 + x + \ldots + x^k dx = \int_0^1 \frac{1-x^{k+1}}{1-x}dx.$

変数を変更し、製品を展開すると、次のようになります。 $u = 1-x$

H_{k + 1} = \int_{0}^{1} \sum_{j = 1}^{k + 1} （ \binom{k + 1}{j} ） （ - 1 ）^{j + 1} {あなたは}^{j - 1} d あなたは = \sum_{j = 1}^{k + 1} （ \binom{k + 1}{j} ） \frac{（ - 1 ）^{j + 1}}{j} 。

$H_{k+1} = \int_0^1\sum_{j=1}^{k+1}{ k+1 \choose j }(-1)^{j+1}u^{j-1}du = \sum_{j=1}^{k+1}{k+1 \choose j}\frac{(-1)^{j+1}}{j}.$

3.等間隔の代替構造

最大のフラグメントの漸近分布を取得するには、指数変数を合計で除算した均一な間隔の古典的な構成を示す必要があります。関連する順序統計の確率密度は $(U_{(1)}, \ldots, U_{(k)})$

f_{{うん}_{（ 1 ）} 、 \dots {うん}_{（ k ）}} （ {あなたは}_{（ 1 ）} 、 \dots 、 {あなたは}_{（ k ）} ） = k ！ 、 0 \leq {あなたは}_{（ 1 ）} \leq \dots \leq {あなたは}_{（ k + 1 ）} 。

$f_{U_{(1)}, \ldots U_{(k)}}(u_{(1)}, \ldots, u_{(k)}) = k!, \; 0 \leq u_{(1)} \leq \ldots \leq u_{(k+1)}.$

を示す場合、で、を取得します。 $\Delta_i = U_{(i)} - U_{(i-1)}$ $U_{(0)} = 0$

f_{△_{1} 、 \dots △_{k}} （ δ_{1} 、 \dots 、 δ_{k} ） = k ！ 、 0 \leq δ_{私} + \dots + δ_{k} \leq 1。

$f_{\Delta_1, \ldots \Delta_k}(\delta_1, \ldots, \delta_k) = k!, \; 0 \leq \delta_i + \ldots + \delta_k \leq 1.$

定義することにより、次のようになります。 $U_{(k+1)} = 1$

f_{△_{1} 、 \dots △_{k + 1}} （ δ_{1} 、 \dots 、 δ_{k + 1} ） = k ！ 、 δ_{1} + \dots + δ_{k} = 1。

$f_{\Delta_1, \ldots \Delta_{k+1}}(\delta_1, \ldots, \delta_{k+1}) = k!, \; \delta_1 + \ldots + \delta_k = 1.$

ここで、を平均1のIID指数確率変数とし、ます。変数を簡単に変更すると、次のことがわかります。 $(X_1, \ldots, X_{k+1})$ $S = X_1 + \ldots + X_{k+1}$

f_{{バツ}_{1} 、 \dots {バツ}_{k} 、 S} （ {バツ}_{1} 、 \dots 、 {バツ}_{k} 、 s ） = e^{- s} 。

$f_{X_1, \ldots X_k, S}(x_1, \ldots, x_k, s) = e^{-s}.$

定義し、変数を変更することで取得するようにします $Y_i = X_i/S$

f_{Y_{1} 、 \dots Y_{k} 、 S} （ y_{1} 、 \dots 、 y_{k} 、 s ） = s^{k} e^{- s} 。

$f_{Y_1, \ldots Y_k, S}(y_1, \ldots, y_k, s) = s^k e^{-s}.$

この密度をに関して積分すると、次のようになります。 $s$

f_{Y_{1}, \dots Y_{k},} (y_{1}, \dots, y_{k}) = \int_{0}^{\infty} s^{k} e^{- s} d s = k!, 0 \leq y_{i} + \dots + y_{k} \leq 1, and thus f_{Y_{1}, \dots Y_{k + 1},} (y_{1}, \dots, y_{k + 1}) = k!, y_{1} + \dots + y_{k + 1} = 1.

$f_{Y_1, \ldots Y_k,}(y_1, \ldots, y_k) = \int_0^{\infty}s^k e^{-s}ds = k!, \; 0 \leq y_i + \ldots + y_k \leq 1, \; \text{and thus} \\ f_{Y_1, \ldots Y_{k+1},}(y_1, \ldots, y_{k+1}) = k!, \; y_1 + \ldots + y_{k+1} = 1.$

そのため、間隔上の均一な間隔の結合分布は、指数ランダム変数の結合分布を合計で割ったものと同じです。次の分布の等価になります $k+1$ $(0,1)$ $k+1$

Δ_{(k + 1)} \equiv \frac{X_{(k + 1)}}{X_{1} + \dots + X_{k + 1}} .

$\Delta_{(k+1)} \equiv \frac{X_{(k+1)}}{X_1 + \ldots + X_{k+1}}.$

4.漸近分布

上記の等価性を使用して、以下を取得します

\begin{aligned} P ((k + 1) Δ_{(k + 1)} - \log (k + 1) \leq x) & = P (X_{(k + 1)} \leq (x + \log (k + 1)) \frac{X_{1} + \dots + X_{k + 1}}{k + 1}) \\ = P (X_{(k + 1)} - \log (k + 1) \leq x + (x + \log (k + 1)) T_{k + 1}), \end{aligned}

$\begin{align} P\big((k+1)\Delta_{(k+1)} - \log(k+1) \leq x\big) &= P\left(X_{(k+1)} \leq (x + \log(k+1))\frac{X_1 + \ldots + X_{k+1}}{k+1}\right) \\ &= P\left(X_{(k+1)} - \log(k+1) \leq x + (x + \log(k+1))T_{k+1}\right), \end{align}$

ここで、です。この変数は、および。漸近的に、分布はの分布と同じです。はIIDであるため、 $T_{k+1} = \frac{X_1+\ldots+X_{k+1}}{k+1} -1$ $E\left(T_{k+1}\right) = 0$ $Var\big(\log(k+1)T_{k+1}\big) = \frac{(\log(k+1))^2}{k+1} \downarrow 0$ $X_{(k+1)} - \log(k+1)$ $X_i$

\begin{aligned} P （ {バツ}_{（ k + 1 ）} - ログ （ k + 1 ） \leq バツ ） & = P {（ {バツ}_{1} \leq バツ + ログ （ k + 1 ） ）}^{k + 1} \\ = {（ 1 - e^{- バツ - ログ （ k + 1 ）} ）}^{k + 1} = {（ 1 - \frac{e^{- バツ}}{k + 1} ）}^{k + 1} 〜 \exp {- e^{- バツ}} 。 \end{aligned}

$\begin{align} P\left(X_{(k+1)} - \log(k+1) \leq x \right) &= P\left(X_1 \leq x + \log(k+1)\right)^{k+1} \\ &= \left(1-e^{-x - \log(k+1)}\right)^{k+1} = \left(1-\frac{e^{-x}}{k+1}\right)^{k+1} \sim \exp\left\{-e^{-x}\right\}. \end{align}$

5.グラフィカルな概要

以下のプロットは、異なる値に対する最大フラグメントの分布を示しています。以下のために、私はまた、漸近ガンベル分布（細線）を重ねてきました。Gumbelは小さな値の非常に悪い近似なので、画像を過負荷にしないためにそれらを省略します。ガンベル近似はから良好です。 $k$ $k=10, 20, 50$ $k$ $k \approx 50$

6.参照

上記の証明は参考文献2および3から取られています。引用文献には、任意のランクの順序付けられた間隔の分布、それらの制限分布、および順序付けられた均一な間隔のいくつかの代替構造など、さらに多くの結果が含まれています。キー参照には簡単にアクセスできないため、全文へのリンクも提供します。

バイラモフ等。（2010）規則正しい間隔の制限結果、Stat論文、51：1、pp 227-240
ホルスト（1980）ランダムに壊れた棒の破片の長さについて、 J。Appl。Prob。、17、pp 623-634
Pyke（1965）Spacings、JRSS（B）27：3、pp。395-449
Renyi（1953）オーダー統計の理論について、Acta math Hung、4、pp 191-231

— gui11aume
ソース

ブリリアント。ところで、既知の漸近はありますか？

E (Z_{k}^{2})

$E(Z_k ^2)$

— アミールサギフ

@AmirSagivこれはいい質問です。参考文献をざっと見てみると、見つかりませんでした。上記の証明も適応できませんでした。これにより、Gumbelの正方形の分布が何であるかわからないことがわかりました。おそらく開始するのに適した場所ですか？

— gui11aume

$ gui11aumeここをクリックしてください：mathoverflow.net/a/293381/42864

— アミール・サギフ

@AmirSagivこれは非常に良い投稿です。何らかの理由で、私はあなたの質問を誤解し、漸近分布に興味があると思ったので（あなたのコメントは非常に明確でしたが）、上記の私のコメントはそれほど関連性がありません。

Z_{k}^{2}

$Z_k^2$

— gui11aume

これは完全な答えではありませんが、簡単なシミュレーションをいくつか行いました。これは私が得たものです。最長フラグメントのヒストグラム

iidの一様分布の順序統計はベータwikiであるため、これは非常にベータに近いように見え、これは少し理にかなっています。

これにより、結果のPDFを導出するための出発点が得られる場合があります。

最終的な解決策が得られたら更新します。

乾杯！

— リマ
ソース

ただ、もう一つのこと、離れて得ることから、大幅に変更されませんKを増大させるためのヒストグラムの形状は、0に近い「踏み付け」

— リマ

@Limaのご意見をお寄せいただきありがとうございます（そしてCross Validatedへようこそ）。あなたの答えは改善できると思います。第一に、証拠のない発言は控えます。これが正しくない場合、このスレッドを見た人を間違った方向に追い込む可能性があります。第二に、あなたがしたことを文書化します。使用したの値もコードもなければ、図は誰にも役に立たない。最後に、回答をコピー編集し、質問に直接回答していないものをすべて削除します。

k

$k$

— gui11aume

提案をありがとう。それらはスタック交換を超えて有効であり、私はそれらを使用することを忘れないでしょう。

— リマ

2005年にシエナ（イタリア）で開催された会議の回答を作成しました。論文（2006）は、こちらの Webサイト（pdf）に掲載されています。すべての間隔（最小から最大）の正確な分布は、75ページおよび76ページにあります。

2016年9月にマンチェスター（イングランド）で開催されるRSSカンファレンスで、このトピックに関するプレゼンテーションを行いたいと考えています。

— CJスティーブン
ソース

サイトへようこそ。私たちは質の高い統計情報の永続的なリポジトリを質問と回答の形で構築しようとしています。したがって、linkrotによるリンクのみの回答には注意が必要です。完全な引用と情報の要約をリンクに投稿できますか？また、ここで投稿に署名しないでください。すべての投稿には、その情報を投稿できるユーザーページへのリンクがあります。

— GUNG -復活モニカ