エキスパートアルゴリズムで最適な加重多数との競合

専門家の問題では、人の専門家が毎日バイナリ予測を行い、明日雨が降るかどうかを予測する必要があります。 $n$

つまり、日では、エキスパートの過去の予測、の実際の天気、および明日の予測がわかり、翌日雨が降るかどうかを予測する必要があります。 $t$ $1,2,\ldots t$

従来の加重マジョリティアルゴリズムでは、アルゴリズムは誤りを犯します。ここで、は、最高の専門家の誤りの数です。 $O(\log n + m)$ $m$

私にとって、これは非常に弱い約束のように思われます。何人かの専門家の予測を組み合わせることからの利益は許されないからです。

各結果であると仮定、専門家の予測日にある、及び日の結果ある。我々は、 ``最適重み付き多数決「」最適な重み関数として敵対定義することができ、日に敵によって判断するようとして定義される $\{\pm 1\}$ $i$ $t$ $p_{i,t}$ $t$ $o_t$ $w\in\Delta([n])$ $t$ $sign(w\cdot p_t)$ 、すなわち、ベクトルに関する予測の重み付けされた過半数 $w$ 。この表記を使用すると、以前の敵対者（最高の専門家）は単位ベクトルしか選択できませんでした。

次に、日目の最適誤差を $1,2,\ldots T$ として定義できます

E = \frac{1}{2} min_{w \in Δ ([n])} \sum_{t = 1}^{T} | s i g n (w \cdot p_{t}) - o_{t} |

$E = \frac{1}{2}\min_{w\in\Delta([n])} \sum_{t=1}^T|sign(w\cdot p_t)-o_t|$

と比較して、後悔をどのように最小限に抑えますか？ $E$

これがはるかに強力な敵であることを確認するには、結果が常にだった人の専門家と日間のケースを考えてください。場合、各専門家は間違いが、重み付き多数決のベクターであったはありませんでした。 $3$ $3$ $1$ $p_1=(1,1,-1), p_2 = (1,-1,1), p_3=(-1,1,1)$ $(1/3,1/3,1/3)$

ds.algorithms machine-learning

— RB
ソース

私はあなたが指数勾配法を探していると思います：users.soe.ucsc.edu/~manfred/pubs/J36.pdf

— Lev Reyzin

乗算の重みには、ラウンドにわたる（うちの）最良の単一のエキスパートに比べて、エラー。可能なすべての加重多数に対応する「メタエキスパート」を作成し、MWを実行してエラーを取得できます。がどれほど大きい必要があるかわからない-おそらくで十分です。

O (\sqrt{T \log n})

$O(\sqrt{T\log n})$

n

$n$

T

$T$

N

$N$

O (\sqrt{T \log N})

$O(\sqrt{T \log N})$

N

$N$

N = n^{O (n)}

$N=n^{O(n)}$

— トーマス

@Thomas-しばらく前に考えた。あなたが設定する必要があるだろう：かなり大きいoeis.org/A000609。

N = n^{Θ (n^{2})}

$N=n^{\Theta(n^2)}$

— RB

O (n \sqrt{T \log n})

$O(n \sqrt{T \log n})$ エラーから始めるのがよいでしょう。何を目指していますか？

— トーマス

@トーマス-それは確かに始まりです。私はアルゴリズムを望んでおり、それが実現可能であると信じています。

o (n \sqrt{T})

$o(n\sqrt T)$

— RB

ランダム化を気にしない場合は、「オンライン凸最適化フレームワーク」の標準的なオンライン学習アルゴリズムにより、期待どおりに基本的に要求されたものが得られます。その理由は、これらのアルゴリズムは各タイムステップでエキスパートの分布を出力する必要があり、この分布からエキスパートを選ぶ期待に等しい予想損失を被るからです。そして、それらは、専門家での最良の分布、すなわちと比較して期待される後悔は低いです。 $w \in \Delta([n])$ $O(\sqrt{\ln n / T})$

たとえば、古典的な乗法加重アルゴリズムを使用できます。これは、過半数が加重されるだけで、その「加重」に比例する確率で従う専門家を選びます。これはAroraの調査（定理6）で言及されています：https : //www.cs.princeton.edu/~arora/pubs/MWsurvey.pdf

— usul
ソース

Usulが「エキスパートの最高のディストリビューションと比較して後悔している」と言うとき、それはRBが求めていることですか？各時刻で分数予測を行うために、専門家の分布を使用する標準的な方法ではありませんか？または、（多かれ少なかれ同等に）確率を予測し、それ以外の場合は-1 を予測します。すると、常にエキスパートが1人しかいなくて最適ながありますよね？しかし、RBの提案を理解しているので、少し異なります。整数予測を行う：各時間で符号。これで大幅に優れた予測ができないことは明らかですか？

w

$w$

w \cdot p_{t}

$w\cdot p_t$

t

$t$

(w \cdot p_{t} + 1) / 2

$(w\cdot p_t + 1)/2$

w

$w$

(w \cdot p_{t})

$(w\cdot p_t)$

t

$t$

— Neal Young、

@NealYoung、良い点、私はそれについて深く考えていませんでした。私は暗黙のうちに、この目的関数を凸にして後悔することができると想定していましたが、それは間違っている可能性があります...

— usul