タグ付けされた質問 「machine-learning」

DDD{0,1}d×{0,1}{0,1}d×{0,1}\{0,1\}^d\times \{0,1\}CCCf:{0,1}d→{0,1}f:{0,1}d→{0,1}f:\{0,1\}^d\rightarrow\{0,1\}f∈Cf∈Cf \in CO P T （C 、D ）= 分F ∈ C E R R （F 、D ）err(f,D)=Pr(x,y)∼D[f(x)≠y]err(f,D)=Pr(x,y)∼D[f(x)≠y]err(f,D) = \Pr_{(x,y) \sim D}[f(x) \neq y]OPT(C,D)=minf∈C err(f,D)OPT(C,D)=minf∈C err(f,D)OPT(C,D) = \min_{f \in C}\ err(f,D) 言うアルゴリズム agnostically学習する上の任意の分布、いずれかの場合にが確率ででき関数見つけるよう、所定の時間およびおよび多項式で区切られたからのサンプルの数。C D 2 / 3 F のE RをR （F 、D ）≤ O P T （C 、D ）+ ε …

11 reference-request  machine-learning  lg.learning 

VC次元が概念クラス、を取得するだけで十分であることはよく知られてい PACのラベル付きの例は学習します。（これらの多くのサンプルを使用する）PAC学習アルゴリズムが適切であるか不適切であるかは、私には明確ではありませんか？カーンズとヴァジラニ、アンソニーとビッグスの教科書では、PAC学習アルゴリズムが不適切であるように見えます（つまり、出力仮説はません）CC\mathcal{C}dddO(dεlog1ε)O(dεlog⁡1ε)O\left(\frac{d}{\varepsilon}\log\frac{1}{\varepsilon}\right)CC\mathcal{C}CC\mathcal{C} 同様の上限が適切なPAC学習設定にも当てはまるかどうかを誰かが明確にできますか？もしそうなら、これが明示的に言及されており、自己完結した証拠も含まれている参照を私にくれませんか？ 最近、ハネケは要素を取り除くことでこの境界を改善しました。が適切なPAC学習設定で削除可能であることがわかっているかどうかを誰かが明確にできますか？それとも未解決の質問ですか？log(1/ε)log⁡(1/ε)\log(1/\varepsilon)log(1/ε)log⁡(1/ε)\log(1/\varepsilon)

11 machine-learning  boolean-functions  lg.learning  vc-dimension  pac-learning 

最近、私はまともな数のCoLT論文を読んでいます。私は個々の論文に苦労することはありませんが（少なくとも、通常は他の理論の論文に苦労することはありません）、分野全体をしっかりと把握しているとは思えません。 CoLTを大学院レベルで導入するための標準的なテキスト、調査、または講義ノートはありますか？ 基本的な理論Aの背景がありますが、機械学習や統計に関する特定の知識はありません。私は主にPAC学習や学習オートマトンなどに関心があり、ベイジアン推論やVC理論などにはあまり関心がありません。 関連する質問 統計学習理論の最近の進歩に関するリソース/本

10 reference-request  machine-learning  lg.learning  survey  books 

私はVCディメンションの背後にある理論にかなり精通していますが、現在（過去10年間）の統計学習理論の進歩に目を向けています。定理、疑似次元、脂肪分解次元、パッキング数、Rademacher組成、そしておそらく私が知らない他の結果/ツール。 ウェブサイト、調査、記事のコレクション、または何よりも、これらのトピックをカバーする本はありますか？ または、単純なクラスのRademacher平均をバインドする方法の例を調べています。これは、人々が軸に揃えられた四角形を使用してVCディメンションをバインドする方法を示すのと同じです。 前もって感謝します。

10 reference-request  machine-learning  lg.learning  books  vc-dimension 

どの機械学習分類器が最も並列化可能ですか？難しい分類問題があり、時間は限られているが、動作するコンピューターのLANはまともな場合、どの分類子を試してみますか？ 手元では、私が知っているいくつかの標準的な分類器のように見えますが、次のように積み上げられますが、完全に間違っている可能性があります。 ランダムフォレスト-各マシンがすべてのデータを保持できる限り、非常に並列化できます（つまり、トレーニングデータ自体を分割することはできませんが、それ以外の場合は並列化できます）。 ブースティング-？ サポートベクターマシン-あまり並列化できません。 決定木-部分的に分割できますが、効率的ではありません。

10 lg.learning  machine-learning  dc.parallel-comp 

具体的には、動作中にそれぞれの信念ネットワーク（または同等のもの）を更新できる機械学習システムについて学ぶためのリソースを求めています。ブックマークすることはできませんでしたが、いくつかに出くわしたこともあります。 ご想像のとおり、インターネットで検索するのはかなり難しいトピックです。

10 reference-request  machine-learning  lg.learning  ai.artificial-intel  online-learning 

古典的なPACの学習では、例が whpの誤差範囲を達成するために必要であることはよく知られています。ここで、は概念クラスのVC次元です。Ω(d/ε)Ω(d/ε)\Omega(d/\varepsilon)εε\varepsilonddd 不可知論者の場合、例が必要であることはわかっていますか？Ω(d/ε2)Ω(d/ε2)\Omega(d/\varepsilon^2)

10 lg.learning  machine-learning 

ボードゲームでニューラルネットワークがどんどん成功した後、私たちが設定する次の目標は、Starcraftで人間を倒すことよりも役立つものになり得ると感じています。より正確には、私はかどうか疑問に思いました ニューラルネットワークをトレーニングして、古典的なアルゴリズムの問​​題を解決できますか？ ここでは、たとえば、ネットワークが重み付きエッジと2つの頂点と指定された入力グラフを取得し、最短のパスをできるだけ早く見つけるように求めたことを意味します。次に、ニューラルネットワークがダイクストラまたは類似のものを使用するようにそれ自体を発見し、トレーニングすることになると思います。s t s tGGGssstttststst 一方では、ニューラルネットワークの計算能力がTC0TC0TC^0であることを知ってい。一方、これが私の質問に必ずしも関連しているのかどうかはわかりません。それでも、ほとんどの問題について、解決できるかどうかはわかりません。ニューラルネットワークがそれ自体をトレーニングできるかどうかを確認することは、高速なアルゴリズムがあるかどうかに関係なく、優れた指標になる可能性があります。たとえば、ニューラルネットワークがSATを高速に解決するように自分自身をトレーニングできない場合、（さらに）可能性が高くなり。ニューラルネットワークはグラフィソモルフィズムやFACTORIZATIONで何をするのだろう。TC0TC0TC^0NP⊄TC0NP⊄TC0NP\not\subset TC^0 もちろん、アルゴリズムの抽出はまったく別の問題です。専門家はそれを行う方法を知っていると思いますが、それを議論することはこの質問のトピックではありません。 2日後に追加：回答を確認した後、否定で回答する場合は、私が知りたいことを明記します。 チェスをプレイするのがダイクストラやグラフ同型写像よりも簡単なのはなぜですか？

9 cc.complexity-theory  ds.algorithms  machine-learning  ne.neural-evol 

ランダムフォレストは、最も効果的な分類手法の1つであると実務家の間で定評があります。それでも、学習理論の文献ではそれらにあまり遭遇していません。そこから、深い理論的な結果がないことを推測します。この理論を掘り下げたい場合、どこから始めればよいでしょうか。

9 machine-learning  lg.learning 

ポイントがあるとします。これらはボロノイ図を誘導します。ポイントのそれぞれにラベルを割り当てると、これらはバイナリ関数を誘導します。質問：いくつかの点とこれらの点のいくつかのラベル付けによって引き起こされるすべてのそのような可能なバイナリ関数のVC次元は何ですか？kkk k± R d kRdRd\mathbb{R}^dkkk±±\pmRdRd\mathbb{R}^dkkk

9 cg.comp-geom  machine-learning  lg.learning  convex-geometry  high-dimensional-geometry 

Background––––––––––––––Background_\underline{\bf Background} 2005年に、Regev [1]はLearning with Errors（LWE）問題を導入しました。これは、Learning Parity with Error問題の一般化です。特定のパラメータ選択に対するこの問題の厳しさの仮定は、ラティスベースの暗号化の分野における多くのポスト量子暗号システムのセキュリティ証明の根底にあります。LWEの「正規」バージョンを以下に説明します。 予備： ましょう実数の加法群、すなわち内の値をとり、1を法とする[ 0 、1 ）。正の整数のN及び2 ≤ Q ≤ P O のL Y （N ）、 "秘密"ベクトルS ∈ Z N 、Q、確率分布φ上のR、聞かせてA Sは、φに分布することがZ N Q × TT=R/ZT=R/Z\mathbb{T} = \mathbb{R}/\mathbb{Z}[0,1)[0,1)[0, 1)nnn2≤q≤poly(n)2≤q≤poly(n)2 \le q \le poly(n)s∈Znqs∈Zqn{\bf s} \in \mathbb{Z}_q^nϕϕ\phiRR\mathbb{R}As,ϕAs,ϕA_{{\bf s}, \phi}Znq×TZqn×T\mathbb{Z}_q^n \times \mathbb{T}選択することによって得られた∈ Z N qは、一様にランダムに描画誤差項X …

9 cc.complexity-theory  ds.algorithms  cr.crypto-security  machine-learning  open-problem 

以下のセット系のVC次元を探しています。 宇宙ようにU ⊆ R 3。設定されたシステムでRの各集合S ∈ Rの対応における球にR 3、その結果セットは、Sは、の要素含まUの場合、対応する球体は、それが含まれている場合にのみ、R 3。U={p1,p2,…,pm}U={p1,p2,…,pm}U=\{p_1,p_2,\ldots,p_m\}U⊆R3U⊆R3U\subseteq \mathbb{R}^3RR\mathcal{R}S∈RS∈RS\in \mathcal{R}R3R3\mathbb{R}^3SSSUUUR3R3\mathbb{R}^3 私がすでに知っている詳細。 VC次元は少なくとも4です。これは、が四面体の4つのコーナーである場合、Rによって粉砕できるためです。p1,p2,p3,p4p1,p2,p3,p4p_1,p_2,p_3,p_4RR\mathcal{R} VC次元は最大5です。これは、セットシステムを埋め込むことができ、R 3の球がR 4の超平面に対応するためです。R dの超平面はVC次元d + 1を持つことが知られています。R4R4\mathcal{R}^4R3R3\mathcal{R}^3R4R4\mathcal{R}^4RdRd\mathcal{R}^dd+1d+1d+1

9 cg.comp-geom  machine-learning  vc-dimension 

具体的には、任意に長い文字列を許可する言語ファミリを意味します。nビット以上の結合、決定リスト、{0,1} ^ nに含まれるその他の「単純な」言語ではありません。 「論理理論」のものとは対照的な「自動理論」通常言語について質問しています。区分的にテスト可能な言語、開始高さゼロの言語、ローカルでテスト可能な言語などのようなものです。関連する複雑性パラメータnは、最小許容DFAのサイズです。簡単に言えば、PACを効率的に学習できることが知られているnステートDFAの興味深いファミリはありますか？

9 automata-theory  machine-learning  lg.learning 

モデル（SVM、Neural-Net、kNNなど）が「まれな」インスタンス/尾の現象を学習するのが難しいことを示す結果はありますか？

8 machine-learning  lg.learning  pac-learning 

専門家の問題では、人の専門家が毎日バイナリ予測を行い、明日雨が降るかどうかを予測する必要があります。んnn つまり、日では、エキスパートの過去の予測、1日目、2日目、… tの実際の天気、および明日の予測がわかり、翌日雨が降るかどうかを予測する必要があります。ttt1 、2 、... トン1,2,…t1,2,\ldots t 従来の加重マジョリティアルゴリズムでは、アルゴリズムは誤りを犯します。ここで、mは、最高の専門家の誤りの数です。O （ログn + m ）O(log⁡n+m)O(\log n + m)メートルmm 私にとって、これは非常に弱い約束のように思われます。何人かの専門家の予測を組み合わせることからの利益は許されないからです。 各結果であると仮定、専門家の予測I日にTがあるP 、I 、T、及び日の結果tがあるoを、T。我々は、 ``最適重み付き多数決「」最適な重み関数として敵対定義することができ、W ∈ Δ （[ N ] ）、日に敵によって判断するようtはとして定義されるS I G N （W ⋅ P T）を{ ± 1 }{±1}\{\pm 1\}私iitttp私、tpi,tp_{i,t}tttototo_tW ∈ Δ （[ N ] ）w∈Δ([n])w\in\Delta([n])tttよ私グラムN （W ⋅ Pt）sign(w⋅pt)sign(w\cdot p_t)、すなわち、ベクトルに関する予測の重み付けされた過半数www。この表記を使用すると、以前の敵対者（最高の専門家）は単位ベクトルしか選択できませんでした。 次に、日目の最適誤差を1 、2 、... …

8 ds.algorithms  machine-learning