学習プロセスの一貫性

バプニクの統計学習理論に詳しい人のために、「学習の一貫性」の概念に関して2つの質問があります。

質問1.
学習プロセスは一貫性と呼ばれます（関数のクラスに対して） $\mathcal{F}$ および確率分布） $P$

R_{e m p} (f_{l}^{*}) \overset{P}{\to} inf_{f \in F} R (f), l \to \infty

$R_{emp}(f^*_l) \buildrel P \over \to \inf_{f \in \mathcal{F}} R(f),\;l \to \infty$ and

R (f_{l}^{*}) \overset{P}{\to} inf_{f \in F} R (f), l \to \infty

$R(f^*_l) \buildrel P \over \to \inf_{f \in \mathcal{F}} R(f),\;l \to \infty$

これら2つの条件は独立しています。p。Vapnikの「Statistical Learning Theory」の83には、2番目の収束は行われるが最初の収束は行われないような分類子のセット $\mathcal{F}$ 例があります。最初の収束は行われるが2番目の収束は行われず、何も得られないような一連の分類子の例について考えていました。誰か私をここで助けてもらえますか？

質問2.
学習プロセスは、実数ような場合、（関数クラス $\mathcal{F}$ および確率分布 $P$ ）自明ではない（または厳密に一貫している）と呼ばれますは空ではありません： $c \in R$ $\Lambda(c) = \{ f | R(f) \geq c \}$

inf_{f_{l} \in Λ (c)} R_{e m p} (f_{l}) = R_{e m p} (f_{l}^{*}) \overset{P}{\to} inf_{f \in Λ (c)} R (f), l \to \infty

$\inf_{f_l \in \Lambda(c)}R_{emp}(f_l) = R_{emp}(f^*_l) \buildrel P \over \to \inf_{f \in \Lambda(c)} R(f),\;l \to \infty$

Vapnikの「Statistical Learning Theory」のP. 81は、質問1で定義された一貫性ではなく、厳密な一貫性を検討する理由、つまり、を導入してを検討する理由を示しています。任意の。厳密な一貫性を考慮する他のすべてのテキストは、厳密な一貫性の概念の背後にある理論的根拠を説明したい場合、本質的にヴァプニクのイラストを複製します。ただし、次の2つの理由により、私はVapnikの図にあまり満足していません。最初に、損失関数観点から行われます。 $\Lambda(c)$ $\inf_{f \in \Lambda(c)}$ $c$ $Q(z, \alpha)$ 分類子ではなく、次に、図3.2。分類問題の一般的な損失関数、つまり、予測されたクラスラベルが真のクラスラベルと等しい場合に0に等しく、それ以外の場合に1に等しい関数を考慮すると、本の内容は実際には意味がありません。

それで、厳密な一貫性の概念の背後にある理論的根拠の別のより賢明な説明を与えることは可能ですか？基本的に、これらの分類子が一貫していない（質問1の定義に関して）一連の分類子の例と、新しい分類子がセットのどの分類子よりも優れているため、この分類子を追加するとセットに我々は「些細な一貫性」のケースで終わる。何か案は？

machine-learning

— レオ
ソース

質問1には例がありますが、損失関数が値を取ることが必要です。無制限の損失関数のみを必要とする例を示すことができると私は確信していますが、それは構築するのに少し多くの作業になります。未解決の問題は、有界損失関数の例があるかどうかです。 $\infty$

確率分布が空間上にある分類設定を考えてみましょう。およびを使用して、例をで示します。ましょうのすべての分類関数の空間であり。損失関数を定義する $P$ $\mathcal{Z}=\mathcal{X}\times\{0,1\}$ $z=(x,y)$ $x\in\mathcal{X}$ $y\in\{0,1\}$ $\mathcal{F}=\mathcal{X}^{\{0,1\}}$ $\mathcal{X}$

Q (z, f) = Q ((x, y), f) = {\begin{cases} 0 & for f (x) = y \\ \infty & otherwise, \end{cases}

$Q(z,f)=Q\left((x,y),f\right)=\begin{cases} 0 & \text{for }f(x)=y\\ \infty & \mbox{otherwise,} \end{cases}$ （任意の。つまり、1つの例が間違っていても、すべてが間違っていても、リスクはです。

f \in F

$f\in\mathcal{F}$

\infty

$\infty$

ここで、が数え切れないほどの無限集合であり、がすべての。また、のは、すなわち、決定論的分類機能があると仮定が存在せれるのために。これは、ことを意味し。 $\mathcal{X}=\left\{ x_{1},x_{2},\ldots\right\}$ $P$ $P(\{x_{i}\})>0$ $i=1,2,\ldots$ $c\in\mathcal{F}$ $y_{i}=c(x_{i})$ $i=1,2,...$ $\inf_{f\in\mathcal{F}}R(f)=0$

次に、各、ですが、（非常に幸運な選択がない限りすべての、経験的誤差がです）。したがって、ですが、は収束しませんその値。 $l$ $R_{emp}(f_{l}^{*})=0$ $R(f_{l}^{*})=\infty$ $f_{l}^{*}$ $f\in\mathcal{F}$ $0$ $R_{emp}(f_{l}^{*})\to\inf_{f\in\mathcal{F}}R(f)$ $R(f_{l}^{*})$

質問2では、彼の例が分類のケースに当てはまらないようであり、そのような例を作る明白な方法がわかりません。

— DavidR
ソース

@DavidR、ありがとうございます。これは興味深い例である場合、実際いずれかのためにとが、ときおよびとき。これは、一貫性の定義に「for any」の部分を含める必要があることを示しています。

R_{e m p} (f_{l}^{*}) = 0

$R_{emp}(f^{*}_{l}) = 0$

l

$l$

f_{l}^{*}

$f^{*}_{l}$

R (f_{l}^{*}) = \infty

$R(f^{*}_{l}) = \infty$

f_{l}^{*} \neq c

$f^{*}_{l} \ne c$

R (f_{l}^{*}) = 0

$R(f^{*}_{l}) = 0$

f_{l}^{*} = c

$f^{*}_{l} = c$

f_{l}^{*}

$f^{*}_{l}$

— レオ