Duda et alのパターン分類における無料の昼食定理の理解

セクション9.2「ダダ、ハート、コウノトリのパターン分類における分類子の固有の優位性の欠如」で使用されている表記について質問があります。まず、本から関連するテキストをいくつか引用します。

簡単にするために、トレーニングセット $D$ がパターン $x^i$ および関連するカテゴリラベル $y_i = ± 1$ で構成される2つのカテゴリの問題を考えます $i = 1,..., n$ は、学習する未知のターゲット関数によって生成されます。 $F(x)$ ここで、 $y_i = F(x^i)$ です。

ましょ（離散）の仮説のセット、または学習するパラメータの可能なセットを示します。特定の仮説ツリーの量子化されたニューラルネットワークにおける重み、または機能的モデルのパラメータ0、または決定のセットによって記述することができる、など。 $H$ $h(x) \in H$

さらに、は、アルゴリズムがトレーニング後に仮説を生成する事前確率です。これはが正しい確率ではないことに注意してください。 $P(h)$ $h$ $h$

次に、は、アルゴリズムがデータトレーニングされたときに仮説を生成する確率を示します。最近傍や決定木などの決定論的学習アルゴリズムでは、は、単一の仮説を除いてどこでもゼロになります。確率的手法（ランダムな初期重みから学習されたニューラルネットワークなど）または確率的ボルツマン学習の場合、は広範な分布になります。 $P(h|D)$ $h$ $D$ $P(h|D)$ $h$ $P(h|D)$

してみましょうゼロ-1または他の損失関数のエラーこと。 $E$

真の関数があり、番目の候補学習アルゴリズムの確率がある場合、予想されるトレーニングセット分類誤差は $F(x)$ $k$ $P_k(h(x)|D)$
$E_{k} (E | F, n) = \sum_{x \notin D} P (x) [1 - δ (F (x), h (x))] P_{k} (h (x) | D)$ $\mathcal{E}_k(E|F,n) = \sum_{x\notin D} P(x) [1-\delta(F(x), h(x))] P_k(h(x)|D)$
定理9.1。（無料昼食なし） 2つの学習アルゴリズムおよび場合、サンプリング分布およびトレーニングポイントの数に関係なく、次のことが当てはまります。 $P_1 (h |D)$ $P_2(h|D)$ $P(x)$ $n$

すべてのターゲット関数で均一に平均化された、 $F$ $\mathcal{E}_1 (E|F, n) — \mathcal{E}_2(E|F, n) = 0$

固定トレーニングセット場合、、で均一に平均化 $D$ $F$ $\mathcal{E}_1 (E|F, D) — \mathcal{E}_2(E|F, D) = 0$

パート1は、実際に言っている
$\sum_{F} \sum_{D} P (D | F) [E_{1} (E | F, n) — E_{2} (E | F, n)] = 0$ $\sum_F \sum_D P(D|F) [\mathcal{E}_1 (E|F, n) — \mathcal{E}_2(E|F, n)] = 0$
パート2は実際にはと言ってい
$\sum_{F} [E_{1} (E | F, D) — E_{2} (E | F, D)] = 0$ $\sum_F [\mathcal{E}_1 (E|F, D) — \mathcal{E}_2(E|F, D)] = 0$

私の質問は

式中、すなわちを置き換えることができます $\mathcal{E}_k(E|F,n)$ $E_{k} (E | F, n) = \sum_{x \notin D} P (x) [1 - δ (F (x), h (x))] P_{k} (h (x) | D),$ $\mathcal{E}_k(E|F,n) = \sum_{x\notin D} P(x) [1-\delta(F(x), h(x))] P_k(h(x)|D),$ ととの合計外に移動それが実際の分布であるので、にわたって所与のためのの確率的学習アルゴリズム番目？ $P_k(h(x)|D)$ $P_k(h|D)$ $\sum_{x \notin D}$ $h$ $H$ $D$ $k$
$k$ $\mathcal{E}_k(E|F,n)$ $h$ $\sum_{h \in H}$
$\mathcal{E}_i (E|F, D)$ $\mathcal{E}_i (E|F, n)$

$\mathcal{E}_i (E|F, D)$ $D$

$\mathcal{E}_i (E|F, n)$ $n$ $\mathcal{E}_i (E|F, n)$ $\sum_D$ $\mathcal{E}_k(E|F,n)$ $n$
$\sum_D$ $n$
$\mathbb{N}$ $n$
$\mathcal{E}_k(E|F,n)$ $\sum_{x \notin D}$ $\sum_x$ $x$
$x$ $y$ $F$ $y=F(x)$ $P(y|x)$ $P(x,y)$ $P(y|x)$ $P(x)$ $\mathcal{E}_k (E|F,n)$ $E_{k} (E | P (x, y), n) = E_{x, y} [1 - δ (y, h (x))] P_{k} (h (x) | D)$ $\mathcal{E}_k(E|P(x,y),n) = \mathcal{E}_{x,y} [1-\delta(y, h(x))] P_k(h(x)|D)$ $P_k(h(x)|D)$

よろしくお願いします！

machine-learning

— ティム
ソース

δ

$\delta$

E_{k} (E | F, n) = \sum_{x \notin D} P (x) [1 - δ (F (x), h (x))] P_{k} (h (x) | D)

$\mathcal{E}_k(E|F,n) = \sum_{x\notin D} P(x) [1-\delta(F(x), h(x))] P_k(h(x)|D)$

これはフリーランチの定理は停止問題と同じですか？それらは接続されていますか？

私は答えを知っていると思う質問に答えます。

$x$ $D$ $h$ $x$
$h$ $x$ $H$ $x$
$\mathcal{E}_i(E|F, D)$ $F$ $D$ $\mathcal{E}_i(E|F, n)$ $n$ $x$
$D$ $n$ $D$ $n$ $D$ $D$
5への答えはノーだと思います。表記は少しわかりにくいようです。

6と7にはコメントできません。

— マイケル・R・チャーニック
ソース

+1。サイトへようこそ、私はあなたのAmazonでのレビューの大ファンです。編集での私の言い訳をすれば、数学的な表記はほとんど何かの両側に$を置くことによって行われます。黄色い丸をクリックすると？書き込み中の右上に、詳細情報を提供する「高度なヘルプ」へのリンクが表示されます。また、既存のmathjax（上記のいずれかなど）を右クリックし、「数学を表示-> TeXコマンド」を選択して、その実行方法を確認することもできます。

— GUNG -復活モニカ

言い換えれば、@ gungは言っています：このサイトは

L A T E X

$\LaTeX$ （ほぼ）期待通りの方法で、表示数学も含めて。サイトへようこそ。

— 枢機

@Michaelこれらの人たちへの歓迎を追加させてください。ここでお会いできてうれしいです。（マイケルは、米国統計協会の議論リストで非常に知識豊富な貢献をして

— くれました