事前分布が不明な観測から最適なバイナリ決定ルールのしきい値を決定する

8

事前の情報が不明なガウスノイズによって摂動されたバイナリ信号の観測のみが与えられた場合、どのようにして最適な判定しきい値を推定できますか？

（いいえ、これは宿題ではありません）

具体的には、次のモデルについて考えていますは2つの状態ランダム変数です。 $Y$ $(H_0,H_1)$

$P(Y|H_0) \sim \mathcal N(\mu_0,\sigma)$
$P(Y|H_1) \sim \mathcal N(\mu_1,\sigma),\quad \mu_0 < \mu_1$
$P(H_0) = \pi_0$
$P(H_1) = 1-\pi_0$

未知のパラメータ：。 $\mu_0, \mu_1, \sigma, \pi_0$

最大事後確率対数しきい値は、私が知っている場合、これらのパラメーターから計算できます。私は当初、しきい値に到達するために最初にパラメーターを推定する方法を考えてい。しかし、私はを直接推定する方がより堅牢かもしれないと思っています。 $Y_t$ $Y_t$

思考：正規化の観察（サンプル平均値を減算し、標準偏差で割る）2次元にパラメータ空間を減少させる： $\pi_0$ と $\frac \sigma{\mu_1-\mu_0}$ 。

— マーク・ボーガーディング
ソース

この問題は、Pi0が0.5であると想定できればはるかに簡単です。:-)

— ジム・クレイ

：この質問ややこれらに関連するかもしれないstackoverflow.com/questions/1504378/...またはstackoverflow.com/questions/5451089/...

— hotpaw2

平均や分散などを推定するために、観測のトレーニングシーケンスを利用できますか？または、いくつかの値がからのとからのデータのシーケンスが与えられただけで、どちらがどれかわからないのですか？

H_{0}

$H_0$

H_{1}

$H_1$

— Dilip Sarwate、2012年

6

私の直感は、あなたが見つけると期待する正しい決定のしきい値を導き出すのは難しいだろうということです：

τ = \frac{1}{2} （ μ_{0} + μ_{1} ） - \frac{σ^{2}}{‖ μ_{0} - μ_{1} ‖^{2}} ログ \frac{π}{1 - π} （ μ_{0} - μ_{1} ）

$\tau = \frac{1}{2}\left(\mu_0 + \mu_1\right) - \frac{\sigma^2}{\lVert\mu_0 - \mu_1\rVert^2} \log \frac{\pi}{1 - \pi}\left(\mu_0 - \mu_1\right)$

検討しているグローバル統計から（サンプル平均： ;標準偏差：より複雑な式ですが、ログが関係しているとは思えません）。 $\pi \mu_0 + (1 - \pi) \mu_1$

私はこの方法で問題に取り組みます：

が小さいと仮定できる場合 $\sigma$

両方のクラスをオーバーラップできるようにが十分に高い場合にのみ、決定しきい値が影響を受けることに留意してください。場合は sが数以上に離れている、クラス事前確率は、意思決定プロセスに何も言うことはありません！ $\pi$ $\sigma$ $\mu$ $\sigma$
- 観測値に対してk-meansを実行します（は小さく、両方のクラスで共有されているため、この場合、k-means は混合モデルのEMです）。これらの観測を2値化したいだけで、他のデータは必要ない場合は、ここで終了できます。 $\sigma$
- 2値化する新しい観測値があり、それらが同じプロセスで生成されていることがわかっている場合は、トレーニングデータのk平均によって検出されたクラスの重心を推定値として使用し、中央を決定しきい値として使用できます。 $\mu$
について想定できない場合 $\sigma$
- トレーニングデータに対してEMアルゴリズム（プールされた対角共分散を使用）を実行します。推定された「ソフトクラスメンバーシップ」変数を使用して、観測値を2値化します。
- 同じプロセスで生成された新しいデータを2値化するために、EMによって指定されたパラメーターから決定しきい値計算します。 $\tau$

— ピケネット
ソース

2

要約すると、パラメータが不明な2つの分布と、いずれかの確率過程に由来する可能性のある測定があります。これは通常、データの関連付けの問題と呼ばれ、追跡コミュニティ内では非常に一般的で、広く研究されています。確率データアソシエーションフィルター（PDAF）またはマルチヒポテシストラッキング（MHT）アルゴリズムの使用を検討してください。これにより、各分布の平均と分散の推定値が得られます。
または、ノイズが白色でガウスであるため、ML、MAP、およびMMSEはすべて同等であり、前の応答で効果的に説明されているように、平均二乗誤差（コスト関数）を最小化することで見つけることができます。動的プログラミング手法を使用して、コスト関数の最小値を見つけます。これは、前述のEM /クラスタリング手法よりも（計算上）複雑ではないはずです。もう1つのコメント：PDAFは再帰的です。単純な信号モデルを考えると、それは非常に効果的に機能するはずであり、EMアルゴリズムの計算の複雑さのほんの一部が期待されます。頑張って、-B

— ブラント・ジェイムソン
ソース

1

ガウス分布のこの問題を解決する「最小エラーしきい値処理」と呼ばれる、1980年代半ばからのキットラーとイリングワースによるアルゴリズムがあります。最近Mike Titterington（グラスゴー大学）とJH Xue（現在UCLにいる）はこれをより正式な統計フレームワークに入れました、彼らの共同ジャーナル出版物を見てください。

— 役立つ
ソース