評価関数を最大化する確率分布を選択（CDCインフルエンザ予測コンテストの場合）

サポート確率質量関数を持つ離散確率変数があるとします。ような関数は、最大化しエッジケースの処理を回避するには、と仮定し。 $X$ $p(x) = P(X=x)$ $0,\ldots,n$ $q(x)\ge 0$ $\sum_{x=0}^n q(x) = 1$

E (\log [q (X - 1) + q (X) + q (X + 1)]) ?

$E(\log[q(X-1)+q(X)+q(X+1)])?$

P (X = 0) = P (X = n) = 0

$P(X=0)=P(X=n)=0$

関連する質問：

上記の期待を最大化するは、が単調であるため、も最大化すると考えてい。あれは正しいですか？ $q(x)$ $E[q(X-1)+q(X)+q(X+1)]$ $\log$
勝るものはありますか？ $p(x)=q(x)$

関心のある人にとって、この質問は、予測値を評価するための効用関数として、ターゲット値と近隣値の確率の合計のログを使用するCDCインフルエンザ予測コンテストから生じます。

— ハラドニエミ
ソース

リンクを提供していただけませんか？おそらく非常に明白な理由から、私は特に興味があります...

— Cliff AB

溶液なぜ表示されないの溶液と同じでなければならない

max_{q} E [q (X - 1) + q (X) + q (X + 1)]

$\max_q \mathbb{E}[q(X-1)+q(X)+q(X+1)]$

max_{q} E [\log {q (X - 1) + q (X) + q (X + 1)}]

$\max_q \mathbb{E}[\log\{q(X-1)+q(X)+q(X+1)\}]$

— Xi'an

ニュースリリースへのリンクを追加しました。残念ながら、実際の競技サイトへの記事内のリンクは現在ダウンしています。うまくいけば、すぐに戻ってくるでしょう。

— jaradniemi

目的は、ピーク週などのターゲットのpmfを評価することですが、データ自体にノイズが多いため、ターゲットは不確かです。

— jaradniemi

@jaradniemi：ああ、それは正確に区間打ち切りデータの問題であり、あなたの問題の解決策は区間打ち切りNPMLEです。

— クリフAB

回答:

クールな問題！西安の導出が示すように、それはQからPへのKLの相違を最小化することに関連しています。クリフはいくつかの重要なコンテキストも提供します。

問題は最適化ソフトウェアを使用して簡単に解決できますが、一般的なソリューションの閉じた形式の数式を書く方法がわかりません。がバインドされない場合、直感的な式があります。 $q_i \geq 0$

ほぼ間違いなく最適な（最後にある私のグラフ例を参照してくださいが、近いかもしれません）。そして、はと同じ問題ではありません。はと同等の目的ではないことに注意してください。それは単調な変化ではありません。期待が合計であり、ログは行くの内側に、それは目的関数の単調変換ではありませんので、合計。 $\mathbf{q} \neq \mathbf{p}$ $\max \mathrm{E}[x]$ $\max \mathrm{E}[\log(x)]$ $x + y$ $\log(x) + \log(y)$

ソリューションのKKT条件（つまり、必要かつ十分な条件）：

および定義し。問題は次のとおりです： $q_0 = 0$ $q_{n+1} = 0$

\begin{array}{llr} maximize (over q_{i}) & \sum_{i = 1}^{n} p_{i} \log (q_{i - 1} + q_{i} + q_{i + 1}) \\ subject to & q_{i} \geq 0 \\ \sum_{i = 1}^{n} q_{i} = 1 \end{array}

$\begin{equation} \begin{array}{*2{>{\displaystyle}r}} \mbox{maximize (over $q_i$)} & \sum_{i=1}^n p_i \log \left( q_{i-1} + q_i + q_{i+1} \right) \\ \mbox{subject to} & q_i \geq 0 \\ & \sum_{i=1}^n q_i = 1 \end{array} \end{equation}$

ラグランジュ：これは、Slaterの条件が成立する凸最適化問題であるため、KKT条件が必要であり、最適化のための十分な条件です。1次条件：

L = \sum_{i} p_{i} \log (q_{i - 1} + q_{i} + q_{i + 1}) + \sum_{i} μ_{i} q_{i} - λ (\sum_{i} q_{i} - 1)

$\mathcal{L} = \sum_i p_i \log \left( q_{i-1} + q_i + q_{i+1} \right) + \sum_i \mu_i q_i -\lambda \left( \sum_i q_i - 1\right)$

\frac{p_{i - 1}}{q_{i - 2} + q_{i - 1} + q_{i}} + \frac{p_{i}}{q_{i - 1} + q_{i} + q_{i + 1}} + \frac{p_{i + 1}}{q_{i} + q_{i + 1} + q_{i + 2}} = λ - μ_{i}

$\frac{p_{i-1}}{q_{i-2} + q_{i-1} + q_{i}} + \frac{p_i}{q_{i-1} + q_i + q_{i+1}} + \frac{p_{i+1}}{q_{i} + q_{i+1} + q_{i+2}} = \lambda - \mu_i$

相補的なたるみ：そしてもちろん。（私のテストではと思われますが、すぐにはわかりません。）とはラグランジュ乗数です。

μ_{i} q_{i} = 0

$\mu_i q_i = 0$

μ_{i} \geq 0

$\mu_i \geq 0$

λ = 1

$\lambda = 1$

μ_{i}

$\mu_i$

λ

$\lambda$

がバインドされない場合の解決策。 $q_i \geq 0$

次に、解決策を検討します

p_{i} = \frac{q_{i - 1} + q_{i} + q_{i + 1}}{3} μ_{i} = 0 λ = 1

$p_i = \frac{q_{i-1} + q_i + q_{i+1}}{3} \quad \quad \mu_i = 0 \quad \quad \lambda = 1$ 一次条件に接続すると、。したがって、機能します（およびも満たされている限り）。

\frac{1}{3} + \frac{1}{3} + \frac{1}{3} = 1

$\frac{1}{3} + \frac{1}{3} + \frac{1}{3} = 1$

\sum_{i} q_{i} = 1

$\sum_i q_i = 1$

q_{i} \geq 0

$q_i \geq 0$

行列の問題を記述する方法：

してみましょうとベクトルとします。してみましょうもののトライバンド対角行列とします。例えば。以下のための $\mathbf{p}$ $\mathbf{q}$ $A$ $n = 5$

A = [\begin{array}{ccccc} 1 & 1 & 0 & 0 & 0 \\ 1 & 1 & 1 & 0 & 0 \\ 0 & 1 & 1 & 1 & 0 \\ 0 & 0 & 1 & 1 & 1 \\ 0 & 0 & 0 & 1 & 1 \end{array}]

$A = \left[\begin{array}{ccccc} 1 & 1 & 0 & 0 & 0 \\ 1 & 1 & 1 & 0& 0 \\ 0 & 1 & 1 & 1 & 0 \\0 &0 & 1 & 1&1\\ 0 &0 &0 & 1 & 1 \end{array} \right]$

問題はより多くの行列表記で書くことができます：

\begin{array}{llr} maximize (over q) & p^{'} \log (A q) \\ subject to & q_{i} \geq 0 \\ \sum_{i} q_{i} = 1 \end{array}

$\begin{equation} \begin{array}{*2{>{\displaystyle}r}} \mbox{maximize (over $\mathbf{q}$)} & \mathbf{p}'\log\left(A \mathbf{q} \right) \\ \mbox{subject to} & q_i \geq 0 \\ & \sum_i q_i = 1 \end{array} \end{equation}$

これは数値的にすばやく解決できますが、きれいな閉じた形の解決策を見つける方法がありませんか？

解の特徴は次のとおりです：しかし、最適化ソフトウェアをチェックする以外に、それがどれほど役立つかはわかりません。

A y = λ - u x = A q y_{i} = \frac{p_{i}}{x_{i}}

$A\mathbf{y} = \lambda - \mathbf{u} \quad \quad \mathbf{x} = A \mathbf{q} \quad \quad y_i = \frac{p_i}{x_i}$

CVXとMATLAB を使用してそれを解決するコード

A = eye(n) + diag(ones(n-1,1),1) + diag(ones(n-1,1),-1);

cvx_begin
 variable q(n)
 dual variable u;
 dual variable l;
 maximize(p'*log(A*q))

 subject to:
  u: q >= 0;
  l: sum(q) <= 1;
cvx_end

例えば。入力：

p = 0.0724    0.0383    0.0968    0.1040    0.1384    0.1657    0.0279    0.0856    0.2614    0.0095

解決策があります：

q = 0.0000    0.1929    0.0000    0.0341    0.3886    0.0000    0.0000    0.2865    0.0979    0.0000

解決策私は基本的に通常のPDF（赤）に従ってビンのトンを持っているときに（青）を取得します：別のより恣意的な問題：

非常に大まかに言えば、場合、を取得しますが、が1トンあたりを移動する場合、最適化がの質量を質量の近傍に配置し、質量のあるの間に戦略的に配置します。 $p_{i-1} \approx p_i \approx p_{i+1}$ $q_i \approx p_i$ $p_i$ $q_i$ $p_i$ $p_i$

もう一つの概念のポイントは、あなたの見通しの不確実性が効果的にあなたの見積もり滑らかになるということである、スムーズな解決しています近いです。（そうだと思います） $p$ $p$ $q$ $p$

— マシューガン
ソース

私は条件を理解しておらず、ラグランジュ制約を含めることを省略していたでしょう。

μ_{i} = 0

$\mu_i=0$

q_{i} \geq 0

$q_i\ge 0$

— 西安

@ Xi'an CVXを使用してこの問題を数値的に解決すると、制約が特定の場合にバインドされるため、乗数が一部のに対して正になります。あればと言ってちょうどダムの方法です、その後及びその逆。

q_{i} \geq 0

$q_i \geq 0$

μ_{i}

$\mu_i$

i

$i$

μ_{i} q_{i} = 0

$\mu_iq_i =0$

μ_{i} > 0

$\mu_i > 0$

q_{i} = 0

$q_i = 0$

— Matthew Gunn 2016

答えてくれてありがとう。あなたの結果を再現したいと思っていましたが、Rを使用していましたが、それはそれほど簡単ではないようです。

— ハラドニエミ2016

@jaradniemi私のRはあまり良くありませんが、以前にRで何らかの最適化を行ったことがある人から簡単なコードを入手できるでしょう。私がしたように定義された行列、凸型最小化問題をおよび。言った、この問題のまわりで私だますから、それが選ぶものと思わかなり近いためであるかなり（例えば最初の図を参照）が滑らかになるように、あなたはないかもしれません多くを得る。

A

$A$

m i n i m i z e - p^{'} \log (A q)

$\mathrm{minimize} -\mathbf{p}' \log\left(A\mathbf{q} \right)$

q \geq 0

$\mathbf{q} \geq \mathbf{0}$

\sum_{i} q_{i} = 1

$\sum_i q_i = 1$

q = p

$\mathbf{q} = \mathbf{p}$

p

$\mathbf{p}$

— Matthew Gunn '19

以来解きかについてだけ解決は、この連立方程式の解がシンプレックスに属していない場合、引数はシンプレックスの面にあります。 $\mathbf{q}=\mathbf{p}$

\arg min_{q} \sum p_{i} \log {p_{i} / q_{i}}

$\arg\min_\mathbf{q} \sum p_i\log\{ p_i\big/q_i\}$

q_{i - 1} + q_{i} + q_{i + 1} = 3 p_{i} i = 1, \dots, n - 1

$q_{i-1}+q_i+q_{i+1}=3p_i\qquad i=1,\ldots,n-1$

\arg max_{q} \sum p_{i} \log {p_{i} / (q_{i - 1} + q_{i} + q_{i + 1})}

$\arg\max_\mathbf{q} \sum p_i\log\{ p_i\big/(q_{i-1}+q_i+q_{i+1})\}$

R^{n + 1}

$\mathbb{R}^{n+1}$

— 西安
ソース

タイプミス、それはarg minでなければなりません。はと同等の問題

min_{q} \sum_{i} p_{i} (\log p_{i} - \log q_{i})

$\min_q \sum_i p_i \left(\log p_i - \log q_i \right)$

max_{q} \sum_{i} p_{i} \log q_{i}

$\max_q \sum_i p_i \log q_i$

— Matthew Gunn

ありがとう、マシュー、私は最終的に私のエントリを適切に読む時間を見つけました！

— 西安

私がこれを正しく理解していれば、これが閉じた形の解決策になるとは思いません。または、それは少なくとも閉じた形式ではない問題の特殊化です。

これが私が言う理由は、インターバル打ち切りデータのNPMLEに現れる可能性とまったく同じであるためです。特殊化は、すべてのインターバルがの形式であることです。一般に、NPMLEは関数の最大化子です $[X-1, X+1]$

$\sum_{i = 1}^n \log(P(t_i \in [L_i, R_i]) )$

ここで、はサブジェクトイベント時間です。ここでわかっているのは、イベントが間隔内で発生したことです。これは、および場合の問題とまったく同じです。 $t_i$ $i$ $[L_i, R_i]$ $L_i = X_i-1$ $R_i = X_i + 1$

一般に、これは閉じた形式ではありません。ただし、少なくとも1つの特殊なケースがあります。現在のステータスデータ、又はときに、すべての間隔がフォームであるまたは。 $[0, c_i]$ $[c_i, \infty)$

そうは言っても、NPMLEを解くためのアルゴリズムはたくさんあります！関数にRのicenRegパッケージを使用してそれに合わせることができic_npます（注：私は作成者です）。B = c(1,1)間隔が閉じていることを宣言して、オプションを必ず設定してください。

を最大化する関数がも最大化するわけではないことに注意してください。簡単な例として、仮定。そしてと0が他最大限しかしため未定義である。 $q$ $E[q(X-1)+ ...]$ $E[\log(q(X-1) + ...]$ $X_1 = 1, X_2 = 1, X_3 = 10$ $q(1) = 1$ $E[q(X-1)+ ...]$ $E[\log(q(X-1) + ...]$

— クリフAB
ソース

評価関数を最大化する確率分布を選択（CDCインフルエンザ予測コンテストの場合）

ソリューションのKKT条件（つまり、必要かつ十分な条件）：

がバインドされない場合の解決策。qi≥0qi≥0q_i \geq 0

行列の問題を記述する方法：

CVXとMATLAB を使用してそれを解決するコード

がバインドされない場合の解決策。 $q_i \geq 0$