多重打ち切りデータの共分散行列の不偏推定

環境サンプルの化学分析は、報告限界またはさまざまな検出/定量限界でしばしば打ち切られます。後者は、通常、他の変数の値に比例して変化します。たとえば、ある化合物の濃度が高いサンプルは、分析のために希釈する必要があり、そのサンプルで同時に分析される他のすべての化合物の打ち切り限界が比例的に増大する場合があります。別の例として、化合物の存在により、他の化合物に対する試験の反応が変化する場合があります（「マトリックス干渉」）。これが研究室で検出されると、それに応じてレポートの制限が膨らみます。

特に多くの化合物が50％を超える打ち切りを経験する場合に、このようなデータセットの分散共分散行列全体を推定する実用的な方法を模索しています。従来の分布モデルでは、（真の）濃度の対数は多重正規分布であり、これは実際にはうまく適合するようであるため、この状況の解決策が役立ちます。

（「実用的」とは、R、Python、SASなどの少なくとも1つの一般的に利用可能なソフトウェア環境で、複数の代入で発生するような反復再計算をサポートするのに十分迅速に実行される方法で、確実にコーディングできる方法を意味します。そして、これはかなり安定している[だからこそ、一般的なベイジアンソリューションは歓迎されているが、BUGSの実装を検討するのを嫌がる]。

この件についてのご意見を事前に感謝します。

マトリックス干渉の問題を完全に内部化したわけではありませんが、1つのアプローチがあります。させてください：

は、未希釈サンプル中のすべてのターゲット化合物の濃度を表すベクトルです。$Y$

は希釈サンプルの対応するベクトルです。$Z$

は希釈係数です。つまり、サンプルは希釈されます$d$$d$：1にます。

私たちのモデルは：

$Y \sim N(\mu,\Sigma)$

$Z = \frac{Y}{d} + \epsilon$

どこ$\epsilon \sim N(0,\sigma^2\ I)$による希釈エラーにエラーを表します。

したがって、次のようになります。

$Z \sim N(\frac{\mu}{d}, \Sigma + \sigma^2\ I)$

f Z（。）による上記の分布を示し$Z$$f_Z(.)$ます。

ましょう観察された濃度であるとτそれは、化合物を検出することができない以下の試験器の閾値を表します。次に、i t h化合物について：$O$$\tau$$i^{th}$

$O_i = Z_i I(Z_i > \tau) + 0 I(Z_i \le \tau)$

一般性を失うことなく、最初の化合物がしきい値を下回るようにします。次に、尤度関数は次のように記述できます。$k$

$L(O_1, ... O_k, O_{k+1},...O_n |- ) = [\prod_{i=1}^{i=k}{Pr(Z_i \le \tau)}] [\prod_{i=k+1}^{i=n}{f(O_i |-)}]$

どこで

$f(O_i |-) = \int_{j\neq i}{f_Z(O_i|-) I(O_i > \tau)}$

推定は、最尤法またはベイジアンアイデアのいずれかを使用することの問題です。上記がどれほど扱いやすいかはわかりませんが、いくつかのアイデアが得られることを願っています。

もう1つのより計算効率の良いオプションは、「二相化ガウス」と呼ばれるモデル（実際には単なるガウスコピュラモデル）を使用したモーメントマッチングによって共分散行列を近似することです。

Macke et al 2010からの最近の論文は、（検閲された）経験的共分散行列といくつかの2変量正規確率の計算のみを含むこのモデルを適合させるための閉じた形式の手順を説明しています。同じグループ（MPI Tuebingenのベスゲラボ）は、おそらくここで必要なハイブリッド離散/連続ガウスモデルについても説明しています（つまり、ガウスRVは完全に「二分」されていないため、しきい値以下のもののみです）。

批判的に、これはML推定量ではなく、そのバイアスプロパティが何であるかがわからないのではないかと心配しています。

サンプルにはいくつの化合物が含まれていますか？（または、問題の共分散行列の大きさは？）

Alan Genzには、さまざまな言語（R、Matlab、Fortran、こちらを参照）で非常に優れたコードがあり、超長方形上の多変量正規密度の積分（つまり、尤度を評価するために必要な積分の種類）を計算します。user28）。

私はこれらの関数（ "ADAPT"および "QSIMVN"）を最大10-12次元までの積分に使用し、そのページのいくつかの関数は次元100までの問題に対して積分（および必要な関連微分）をアドバタイズしました。それがあなたの目的にとって十分な次元であるかどうかはわかりませんが、そうであれば、おそらく傾斜上昇による最尤推定値を見つけることができるでしょう。