連続分布からのデータの最適な離散化の決定

あなたは、データセットがあると濃度と連続分布から上に支持され知られていないが、のカーネル密度ので、（例えば）値はかなり大きく、、かなり正確です。特定のアプリケーションのために私は、新しいデータセット生成するカテゴリの有限数に観測されたデータを変換する必要が $Y_{1}, ..., Y_{n}$ $p(y)$ $[0,1]$ $n$ $\hat{p}(y)$ $Z_{1}, ..., Z_{n}$ 暗黙の質量関数ます。 $g(z)$

簡単な例は次のようになりときに及びとき。この場合、誘導される質量関数は $Z_{i} = 0$ $Y_{i} \leq 1/2$ $Z_{i} = 1$ $Y_{i} > 1/2$

\hat{g} (0) = \int_{0}^{1 / 2} \hat{p} (y) d y, \hat{g} (1) = \int_{1 / 2}^{1} \hat{p} (y) d y

$\hat{g}(0) = \int_{0}^{1/2} \hat{p}(y) dy, \ \ \ \hat{g}(1) = \int_{1/2}^{1} \hat{p}(y)dy$

ここでの2つの「調整パラメーター」は、グループの数と、しきい値の長さベクトルです。誘発される質量関数を表し。 $m$ $(m-1)$ $\lambda$ $\hat{g}_{m,\lambda}(y)$

たとえば、「グループの数を増やして（そこで最適なを選択すると）無視できるほどの改善が得られるように、最適な選択肢は何ですか」と答える手順を教えてください。おそらく、その分布を導き出すことができるテスト統計を作成できる（多分KLの相違の違いなど）。アイデアや関連文献はありますか？ $m, \lambda$ $m+1$ $\lambda$

編集：連続変数の時間測定値を等間隔に配置し、時間依存性をモデル化するために不均一なマルコフ連鎖を使用しています。率直に言って、離散状態マルコフチェーンの方がはるかに扱いやすく、それが私の動機です。観測されたデータはパーセンテージです。私は現在非常によく見えるアドホックな離散化を使用していますが、これは正式な（そして一般的な）ソリューションが可能な興味深い問題だと思います。

編集2： KLの相違を実際に最小化することは、データをまったく離散化しないことと同じであるため、そのアイデアは完全に外れています。それに応じて本文を編集しました。

continuous-data discrete-data

— 大きい
ソース

ほとんどの場合、後続のアプリケーションのニーズがソリューションの良さを決定します。おそらく、私たちにいくつかのガイダンスを与えるために、あなたはそれについてもっと言うことができます。

— whuber

まず、ごくわずかとはどういう意味かを定義します。これは率直に言えば、レート歪みの問題に関連しているようです。カバー＆トーマス・テキストは、そのような話題に素敵読める紹介しています。

— 枢機卿

k

$k$

k - 1

$k-1$

離散化が実際に良い動きかどうかはわかりません。離散値が観測の元の空間に作成する境界を一般化することはできません。

— bayerj 2011

この問題の解決策をしばらく前に紹介します。これは正式な統計テストではありませんが、有用なヒューリスティックを提供する可能性があります。

$Y_{1}, Y_{2}, ..., Y_{n}$ $[0,1]$ $m$ $0 < \lambda_{1} < \lambda_{2} < \cdots < \lambda_{m-1} < 1$

$Y_{i}$ $Z_{i}(m, {\boldsymbol \lambda})$ ${\boldsymbol \lambda} = \{ \lambda_{1}, \lambda_{2}, \cdots, \lambda_{m-1} \}$ $Y_{i}$ $m, {\boldsymbol \lambda}$

v a r (Y_{i}) = v a r (E (Y_{i} | Z_{i} (m, λ))) + E (v a r (Y_{i} | Z_{i} (m, λ))) .

$\begin{equation} {\rm var}(Y_{i}) = {\rm var} \Big( E(Y_{i} | Z_{i}(m, {\boldsymbol \lambda})) \Big) + E \Big( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda})) \Big). \end{equation}$

によって定量化されたグループ内の分散が比較的少ない場合、特定の分類は均質なグループの生成に成功します。、我々は倹約的なグループ分けその付与ほとんどの変動の追求と。用語Inを特に、レベルを追加してグループ内の均一性を大幅に追加しないようにを選択します。これを念頭に置いて、固定値の最適なを次のように定義します。 $E( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda}) )$ $Y_{i}$ ${\rm var}( E(Y_{i} | Z_{i}(m, {\boldsymbol \lambda}) )$ $m$ ${\boldsymbol \lambda}$ $m$

λ_{m}^{⋆} = {a r g m i n}_{λ} E (v a r (Y_{i} | Z_{i} (m, λ)))

$\begin{equation} {\boldsymbol \lambda}^{\star}_{m} = {\rm argmin}_{\boldsymbol \lambda} E \Big( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda})) \Big) \end{equation}$

どの選択が適切かを決定するための大まかな診断は、関数として-この軌道は単調に増加せず、急激に減少した後、より多くのカテゴリを含めることにより、精度が比較的低くなっていることがわかります。このヒューリスティックは、「スクリープロット」を使用して、バリエーションの「十分な」数を説明する主成分がいくつあるかを確認するために時々使用される方法と同じです。 $m$ $E \Big( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda}^{\star}_{m} )) \Big)$ $m$

— 大きい
ソース