コーシー確率変数の依存性の定量化

7

2つのコーシー確率変数および与えられます。それは独立していない。確率変数の依存構造は、多くの場合、それらの共分散または相関係数で定量化できます。ただし、これらのコーシー確率変数にはモーメントがありません。したがって、共分散と相関は存在しません。 $\theta_1 \sim \mathrm{Cauchy}(x_0^{(1)}, \gamma^{(1)})$ $\theta_2 \sim \mathrm{Cauchy}(x_0^{(2)}, \gamma^{(2)})$

確率変数の依存関係を表す他の方法はありますか？モンテカルロでそれらを推定することは可能ですか？

— ジョナス
ソース

3

相互情報などの一般的な依存関係の指標を検討できます：en.wikipedia.org/wiki/Mutual_information

— John Madden

9

共分散がないからといって、通常共分散に関連付けられている基本的な $x^t\Sigma^{-1} x$ 構造を使用できないという意味ではありません。実際、多変量（ $k$ 次元）コーシーは次のように書くことができます。

f (x; μ, Σ, k) = \frac{Γ (\frac{1 + k}{2})}{Γ (\frac{1}{2}) π^{\frac{k}{2}} {| Σ |}^{\frac{1}{2}} {[1 + (x - μ)^{T} Σ^{- 1} (x - μ)]}^{\frac{1 + k}{2}}}

$f({\mathbf x}; {\mathbf\mu},{\mathbf\Sigma}, k)= \frac{\Gamma\left(\frac{1+k}{2}\right)}{\Gamma(\frac{1}{2})\pi^{\frac{k}{2}}\left|{\mathbf\Sigma}\right|^{\frac{1}{2}}\left[1+({\mathbf x}-{\mathbf\mu})^T{\mathbf\Sigma}^{-1}({\mathbf x}-{\mathbf\mu})\right]^{\frac{1+k}{2}}}$

Wikipediaのページから削除しました。これは、1自由度の多変量スチューデント分布です。 $t$

直感を深めるために、相関関係ではない場合でも、の正規化された非対角要素を相関関係であるかのように使用します。それらは、相関関係と非常によく似た方法で、変数間の線形関係の強さを反映します。は正定対称でなければなりません。場合対角で、変量等、独立しています $\Sigma$ $\Sigma$ $\Sigma$

パラメータの最尤推定は、EMアルゴリズムを使用して行うことができます。この場合、EMアルゴリズムは簡単に実装できます。尤度関数の対数は次のとおりです。

L (μ, Σ) = - \frac{n}{2} | Σ | - \frac{k + 1}{2} \sum_{i = 1}^{n} \log (1 + s_{i})

$\mathcal{L}(\mu, \Sigma) = -{n\over 2}|\Sigma| - {k+1 \over 2}\sum_{i=1}^n\log(1+s_i)$

ここで、です。微分すると、次の単純な式になります。 $s_i = (x_i-\mu)^T\Sigma^{-1}(x_i-\mu)$

μ = \sum w_{i} x_{i} / \sum w_{i}

$\mu = \sum w_ix_i/\sum w_i$

Σ = \frac{1}{n} \sum w_{i} (x_{i} - μ) (x_{i} - μ)^{T}

$\Sigma = {1 \over n}\sum w_i(x_i-\mu)(x_i-\mu)^T$

w_{i} = (1 + k) / (1 + s_{i})

$w_i = (1+k)/(1+s_i)$

EMアルゴリズムは、これらの3つの式を繰り返し処理し、各ステップですべてのパラメーターの最新の推定値を代入します。

これについて詳しくは、多変量t分布の推定方法、NadarajahおよびKotz、2008年を参照してください。

— jbowman
ソース

これは非常に良い計画であり、非常に詳細な回答です。もう1つ質問があります。あなたがしたように、コーシーの共同配布を作成することは可能ですかガウシアンの場合、同様の答えはイエスです。しかし、ガウスについても、相関と依存は同等です。コーシーもそうですか？

— Jonas

はい、これは多変量コーシー密度を書く標準的な方法です。MV Cauchyの場合、疑似相関と依存も同等です。すべての直感が引き継がれます。、常になどを意味します

σ_{i j} = σ_{i} σ_{j}

$\sigma_{ij} = \sigma_i\sigma_j$

x_{i}

$x_i$

= x_{j}

$= x_j$

— jbowman

6

ながらコーシー周辺分布を持つ変量の対に対して、存在しない、、例えば、有界関数のために存在しません。実際、共分散行列の概念は、変換のもとでは不変ではないため、すべての設定で共同分布を記述するのに適していません。 $\text{cov}(X,Y)$ $\text{cov}(\Phi(X),\Phi(Y))$ $\Phi(\cdot)$

コピュラの概念（これは共同分布の定義にも役立つ可能性があります借用して、限界累積分布関数を使用して、とを均一変量に変換できますおよび、そして結果の変量の共分散または相関関係を調べます。 $(X,Y)$ $X$ $Y$ $(0,1)$ $\Phi_X(X)\sim\mathcal{U}(0,1)$ $\Phi_Y(Y)\sim\mathcal{U}(0,1)$

たとえば、とが両方とも標準コーシーである場合、は標準法線として配布され、共同分布は、共同正規になるように選択できます。これはガウスコピュラです。 $X$ $Y$

Z_{X} = Φ^{- 1} ({\arg \tan (X) / π + 1} / 2)

$Z_X=\Phi^{-1}(\{\arg\tan(X)/\pi+1\}/2)$

(Z_{X}, Z_{Y})

$(Z_X,Z_Y)$

(Z_{X}, Z_{Y}) \sim N_{2} (0_{2}, Σ)

$(Z_X,Z_Y) \sim \mathcal{N}_2(0_2,\Sigma)$

— 西安
ソース

お返事ありがとうございます。しかし、これが正しい方法であるかどうかは、完全にはわかりません。コーシー分布でサンプリングされた値は、非常に大きくなる可能性があります。このようにそれらをガウスに変換すると、おそらくすべての値がガウスの尾の非常に小さなセットに入れられます。その場合には、我々はまだ、共分散を推定することができますが、私は相関が1に近いだろうと思います

— ジョナス

私のポイントは、相関は分布のパラメーター化に依存する依存性の線形測定であるということです。2つのコーシー変量がガウスに変換されると、それらの相関は-1から1の間になる可能性がありますcopula。Wikipediaでキーワードを確認してください。

— 西安