タグ付けされた質問 「learning-theory」

1987年の独創的な論文で、Dana Angluinは、メンバーシップクエリと理論クエリ（提案されたDFAの反例）からDFAを学習するための多項式時間アルゴリズムを提示しています。 彼女は、nnn状態を持つ最小DFAを学習しようとしており、最大のカウント例の長さがmmmである場合、O(mn2)O（mn2）O(mn^2)メンバーシップクエリと最大理論クエリを作成する必要があることを示しています。n−1n−1n - 1 通常のセットを学習するために必要なクエリの数が大幅に改善されましたか？ 参考資料と関連質問 Dana Angluin（1987）「クエリおよび反例からの正規集合の学習」、Infortmation and Computation 75：87-106 メンバーシップクエリおよび反例モデルで学習するための下限

33 algorithms  learning-theory  machine-learning 

いくつかのケースでは、かなり複雑なデータセット（バックギャモンの位置とOCR）を使用して、ニューラルネットワーク（バックプロパゲーションネットワーク）をトレーニングしました。これを行う場合、学習に最適な構成を見つけるために、多くの作業にネットワークのさまざまな構成を試すことが含まれるようです。多くの場合、使用/学習がより速い小さなネットと、より多くの知識を表すことができる大きなネットとの間には妥協点があります。 次に、高速で大規模なネットワークをいくつか作成できるかどうか考えます。すべてのニューロンが完全に接続されていないネットワークでは、すべての層で完全に接続されているネットよりも計算が速くなるはずだと私は考えています。特定のニューロンが特定の入力を必要としないため、それらの接続を削除することを検出したのはトレーニングである可能性があります。同様に、一部のニューロンが「過負荷」になっているように思われる場合、トレーニングには新しいニューロンの追加も含まれます。 これは成功して試されたものですか？この種の動作を持つネットワークのクラスは存在しますか？

8 machine-learning  neural-networks  learning-theory 

軸平行長方形が実現可能な場合にPAC学習可能であるという証明を理解しようとしています。これは、十分なデータがあるが与えられると、ような関数見つけることができることを示します。 ここでのエラーは、選択した関数エラーが発生する確率。ϵ 、δϵ,δ\epsilon, \deltahhhP [ エラー> ε ] ≤δP[エラー>ε]≤δ\mathbb{P}\left[\text{error} > \epsilon\right] \leq \deltahhh さて、軸平行長方形（バイナリ分類）の場合、通常の引数は次のようになります真の長方形とし、を正の例を含む最小の長方形とします。明らかにとします。4つの長方形ストリップを考慮します。と間。明らかに、それらすべてに確率場合、エラーが発生する確率はより小さいため、少なくとも1つがエラー発生する確率があると想定できます。RRRR』R』R'R』⊆ RR』⊆RR' \subseteq RR』R』R'RRR≤ ε / 4≤ε/4\leq \epsilon/4εε\epsilon≥ ε / 4≥ε/4\geq \epsilon/4 そのようなストリップの場合、すべてのトレーニング例を正しく分類する確率はせいぜい。したがって、すべてのストリップに結合された和集合をとると、すべてを正しく分類する確率は、そして少しの代数を使用すると、サンプルの複雑度は。メートルメートルm（1 − ϵ / 4）メートル（1−ε/4）メートル(1 - \epsilon/4)^m4 （1 − ϵ / 4）メートル≤ 4e− m / 44（1−ε/4）メートル≤4e−メートル/44(1-\epsilon/4)^m \leq 4e^{-m/4}M ≥ （4 / ε ）LN（4 / δ）メートル≥（4/ε）ln⁡（4/δ）m …

7 machine-learning  learning-theory