タグ付けされた質問 「covariance」

現在、回帰の最小二乗（および他の）推定について学習しています。また、いくつかの適応アルゴリズムの文献でも読んでいるところから、「... and error surface isconvex ...」というフレーズが表示され、そもそも凸である理由についての深さはどこにも見当たりません。 ...だから、それを正確に凸状にするのは何ですか？ 私は自分のコスト関数で自分の適応アルゴリズムを設計できるようにしたいので、この繰り返しの省略はやや面倒ですが、コスト関数が凸誤差曲面を生成するかどうかわからない場合、私はすることができませんグローバルな最小値はないので、勾配降下のようなものを適用するのは遠すぎます。たぶん私は創造的になりたい-たぶん、私はエラー基準として最小二乗を使いたくないでしょう さらに掘り下げてみると（そして私の質問はここから始まります）、凸状のエラーサーフェスがあるかどうかを判断するには、ヘッセ行列が正の半正定行列であることを確認する必要があります。対称行列の場合、このテストは簡単です-ヘッセ行列のすべての固有値が非負であることを確認してください。（行列が対称でない場合、Gramianにより、行列を独自の転置に追加して同じ固有値検定を実行することで対称にすることができますが、ここでは重要ではありません）。 ヘッセ行列とは何ですか？ヘッセ行列は、コスト関数の部分の可能なすべての組み合わせを成文化します。パーシャルはいくつありますか？フィーチャベクトル内のフィーチャの数。パーシャルの計算方法は？元のコスト関数から「手動」で偏導関数を取得します。 それがまさに私がやったことです：マトリックスXで示されるmmm x nnnデータマトリックスがあると仮定します。ここで、mは例の数を示し、nは例ごとの特徴の数を示します。（これはパーシャルの数にもなります）。私は、我々が持っていると言うことができると仮定メートルの時間サンプルおよびnは、センサからの空間サンプルを、物理的なアプリケーションは、ここではあまり重要ではありません。XXXmmmnnnmmmnnn さらに、サイズm x 1のベクトルもあります。（これは「ラベル」ベクトル、またはXのすべての行に対応する「答え」です）。簡単にするために、この特定の例ではm = n = 2と仮定しました。したがって、2つの「例」と2つの「機能」です。yyymmm111XXXm=n=2m=n=2m=n=2 ここで、ここで最適な「ライン」または多項式を確認したいとします。つまり、コスト関数が次のようになるように、多項式係数ベクトルに対して入力データフィーチャを投影します。θθ\boldsymbol{\theta} J(θ)=12m∑i=1m[θ0x0[i]+θ1x1[i]−y[i]]2J(θ)=12m∑i=1m[θ0x0[i]+θ1x1[i]−y[i]]2 J(\theta) = \frac{1}{2m} \sum_{i=1}^{m} \bigg[\theta_{0}x_{0}[i] + \theta_{1}x_{1}[i] - y[i]\bigg]^{2} 今、私たちが最初の偏微分WRTみましょうしたがって、（機能0）：θ0θ0\theta_{0} δJ(θ)δθ0=1m∑i=1m[θ0x0[i]+θ1x1[i]−y[i]]x0[i]δJ(θ)δθ0=1m∑i=1m[θ0x0[i]+θ1x1[i]−y[i]]x0[i] \frac{\delta J(\theta)}{\delta\theta_0} = \frac{1}{m}\sum_{i=1}^{m} \bigg[\theta_{0}x_{0}[i] + \theta_{1}x_{1}[i] - y[i]\bigg] x_{0}[i] δJ(θ)δθ0=1m∑i=1m[θ0x20[i]+θ1x1[i]x0[i]−y[i]x0[i]]δJ(θ)δθ0=1m∑i=1m[θ0x02[i]+θ1x1[i]x0[i]−y[i]x0[i]] \frac{\delta J(\theta)}{\delta\theta_0} = \frac{1}{m}\sum_{i=1}^{m} \bigg[\theta_{0}x_{0}^{2}[i] + …

17 autocorrelation  covariance  least-squares  optimization 

これらの概念の間に直接の関係があるかどうかを把握しようとしています。厳密には定義から、それらは一般的に異なる概念であるように見えます。しかし、私はそれについて考えるほど、彼らは非常に似ていると思います。 レッツX,YX,YX,Y WSSランダムベクトルとします。共分散、CXYCXYC_{XY}、で与えられるCXY=E[(X−μx)(Y−μy)H]CXY=E[(X−μx)(Y−μy)H]C_{XY}=E\left[(X-\mu_x)(Y-\mu_y)^H\right]HHHベクトルのエルミートを表します。 してみましょうZZZ WSSランダムベクトルとします。自己相関関数RXXRXXR_{XX}、で与えられるRZZ(τ)=E[(Z(n)−μz)(Z(n+τ)−μz)H]RZZ(τ)=E[(Z(n)−μz)(Z(n+τ)−μz)H]R_{ZZ}(\tau)=E\left[\left(Z(n)-\mu_z\right)\left(Z(n+\tau)-\mu_z\right)^H\right] 注の編集信号処理に適用されるこの定義には修正があります。以下のマットの回答を参照してください。 共分散は時間の概念を含まず、ランダムベクトルの各要素がランダムジェネレーターの異なる実現であると想定しています。自己相関は、ランダムベクトルが初期ランダムジェネレーターの時間発展であると想定しています。しかし結局のところ、これらは両方とも同じ数学的実体、つまり数列です。あなたが聞かせている場合X=Y=ZX=Y=ZX=Y=Z、表示されますCXY=RZZCXY=RZZC_{XY}=R_{ZZ}私が行方不明ですがより微妙なそこに何かありますか？

12 autocorrelation  covariance  proof 

私が共分散行列を理解したと思うたびに、誰かが別の定式化で登場します。 私は現在この論文を読んでいます： J.ベネスティ、「パッシブ音源定位のための適応固有値分解アルゴリズム」、J。アコースト。Soc。午前。107巻、第1号、384-391頁（2000） よくわからない製剤に出会いました。ここで、作成者は2つの信号バツ1バツ1x_1と間の共分散行列を作成していバツ2バツ2x_2ます。これらの2つの信号は、異なるセンサーからのものです。 1つの信号の共分散行列については、回帰行列を計算し、同じ行列のエルミート行列を掛けて、元のベクトルの長さであるNNNで割ることで得られることを知っています。ここでの共分散行列のサイズは任意であり、最大サイズはN× NN×NN\times Nです。 我々は、そのエルミートによって乗算次いで、最初の行の最初の信号、及びマトリクスの第2行の第2の信号を配置するとともに、除算場合に2つの空間の信号の共分散行列は、NNN、我々は得る2 × 22×22\times 2両方の空間信号の2共分散行列。 ただし、この論文では、著者は4つの行列R 1のように見えるものを計算します。、および R 2R11、R12、R21R11、R12、R21R_1{}_1, R_1{}_2, R_2{}_1、そしてそれらをスーパー行列に入れ、それを共分散行列と呼びます。R22R22R_2{}_2 これはなぜですか？これはテキストの画像です：

9 covariance