タグ付けされた質問 「lg.learning」

残留有限状態オートマトン（RFSA、[DLT02]で定義）は、DFAと共通の優れた機能を備えたNFAです。特に、すべての標準言語には標準的な最小サイズのRFSAが常に存在し、RFSAの各状態で認識される言語は、DFAの場合と同様に残余です。ただし、最小DFA状態はすべての残差を持つ全単射を形成しますが、標準RFSA状態は全残差を持つ全単射になります。これらは指数関数的に少ないため、RFSAはDFAよりもはるかにコンパクトになり、通常の言語を表現できます。 ただし、RFSAを最小化するための効率的なアルゴリズムがあるかどうか、または硬さの結果があるかどうかはわかりません。RFSAを最小化することの複雑さは何ですか？ ブラウジング[BBCF10]から、これが常識であるとは思えません。一方では、RFSAに関する「このNFAはRFSAですか？」この場合、PSPACE完全な非常に困難です。一方、[BHKL09]は、標準RFSAがAngluinの最小限の適切な教師モデル[A87]で効率的に学習可能であり、最小RFSAを効率的に学習し、RFSAを最小化することは同等の難しさのようです。ただし、[BHKL09]のアルゴリズムは最小化アルゴリズムを意味するわけではありません。反例のサイズに制限はなく、RFSAを効率的にテストして反例のオラクルをシミュレートする方法が明確ではないためです。 。たとえば、2つのNFAの同等性をテストすることはPSPACE-completeです。 参照資料 [A87] Angluin、D.（1987）。クエリと反例から通常のセットを学習します。情報と計算、75：87-106 [BBCF10] Berstel、J.、Boasson、L.、Carton、O.、＆Fagnot、I.（2010）。オートマトンの最小化。arXiv：1010.5318。 [BHKL09] Bollig、B.、Habermehl、P.、Kern、C.、およびLeucker、M.（2009）。NFAのアングルインスタイル学習。ではIJCAI、9：1004年から1009年。 [DLT02] Denis、F.、Lemay、A.＆Terlutte、A.（2002）。残差有限状態オートマトン。Fundemnta Informaticae、51（4）：339-368。

12 cc.complexity-theory  ds.algorithms  automata-theory  lg.learning  minimization 

この質問に触発されて、私は次のことに興味があります： 特定のDFAが特定の正規表現と同じ言語を受け入れるかどうかを確認する最悪のケースの複雑さは何ですか？ これは知られていますか？この問題はPにあり、両方のサイズにアルゴリズム多項式があることが期待されます。

12 automata-theory  lg.learning  regular-expressions  dfa 

次の問題について何がわかっていますか？ 収集所与関数のF ：{ 0 、1 } のn → { 0 、1 }、最大のサブコレクションを見つけるS ⊆ Cの制約を受けるが、そのVC-寸法（S ）≤ Kいくつかの整数のためのK。CCCf:{0,1}n→{0,1}f:{0,1}n→{0,1}f:\{0,1\}^n\rightarrow\{0,1\}S⊆CS⊆CS \subseteq C(S)≤k(S)≤k(S) \leq kkkk この問題の近似アルゴリズムまたは硬度の結果はありますか？

12 reference-request  approximation-algorithms  cg.comp-geom  lg.learning  vc-dimension 

私は数千点のデータセットと任意の2点間の距離を測定する手段を持っていますが、データ点には次元がありません。このデータセット内のクラスター中心を見つけるアルゴリズムが必要です。データにはディメンションがないため、クラスターセンターは複数のデータポイントと許容値で構成され、クラスター内のメンバーシップはクラスターセンター内のすべてのデータポイントまでのデータポイントの距離の平均によって決定される可能性があると思います。 この質問によく知られている解決策がある場合はご容赦ください。この種の問題についてはほとんど知りません！私の（非常に限られた）研究では、次元データのクラスタリングアルゴリズムのみが判明しましたが、明らかな何かを見逃した場合は事前に謝罪します。 ありがとうございました！

12 machine-learning  lg.learning  clustering 

PAC学習には、計算的に制限のない学習者による情報理論学習に必要なサンプルの複雑さと、多項式に必要なサンプルの複雑さとの間に多項式のギャップがある自然概念クラス（決定リストのサブセットなど）があることが知られています時間学習者。（例：http : //portal.acm.org/citation.cfm?id=267489&dl=GUIDEまたはhttp://portal.acm.org/citation.cfm?id=301437を参照） ただし、これらの結果は特定の例では秘密のエンコードに依存しているように見えるため、学習者が分布の統計的特性を照会するだけの学習のSQモデルに自然に変換されません。 O（f（n））クエリを使用してSQモデルの情報理論学習が可能なコンセプトクラスが存在するかどうかが知られていますが、計算効率の高い学習はg（n ）>> f（n）？

12 machine-learning  lg.learning  sample-complexity 

ここに、ジュンタの学習に似たフレーバーの問題があります。 入力： A関数、会員オラクルで表される、すなわち、Oracleの所与のx、戻りF （X ）。f:{0,1}n→{−1,1}f:{0,1}n→{−1,1}f: \{0,1\}^n \rightarrow \{-1,1\}xxxf(x)f(x)f(x) 目標：サブキューブ検索の{ 0 、1 } nはボリュームとともに| S | = 2 n − kこのような| E のx ∈ S、F （X ）| ≥ 0.1。そのようなサブキューブが存在すると仮定します。SSS{0,1}n{0,1}n\{0,1\}^n|S|=2n−k|S|=2n−k|S|=2^{n-k}|Ex∈Sf(x)|≥0.1|Ex∈Sf(x)|≥0.1\left|\mathbb{E}_{x \in S} f(x) \right| \ge 0.1 すべての（2 n ）k個の方法でサブキューブを選択し、それぞれの平均値をサンプリングすることにより、時間で実行され、確率0.99 以上の正解を返すアルゴリズムを取得するのは簡単です。nO(k)nO(k)n^{O(k)}≥0.99≥0.99\ge 0.99(2n)k(2n)k(2n)^k 時間内に実行されるアルゴリズムを見つけることに興味があります。または、下限は大きいでしょう。この問題はフンタの学習に似た風味を持っていますが、計算の難しさの間には実際のつながりはありません。poly(n,2k)poly(n,2k)poly(n,2^k) 更新：以下の@Thomasは、この問題のサンプルの複雑さがことを証明しています。興味深い問題は、依然として、問題の計算の複雑さです。poly(2k,logn)poly(2k,log⁡n)poly(2^k,\log n) 編集：簡単にするために、サブキューブが存在すると仮定できます（予告ギャップ：私たちは、平均でサブキューブを探している≥ 0.1。）私はかなり確信してギャップを持つ問題への解決策にも隙間なく、問題を解決しますよ。|Ex∈Sf(x)|≥0.2|Ex∈Sf(x)|≥0.2\left|\mathbb{E}_{x \in S} f(x) \right| \ge 0.2≥0.1≥0.1\ge …

11 machine-learning  lg.learning  boolean-functions  sample-complexity 

背景： 私は、エラーを伴う学習（LWE）問題の「あまり知られていない」下限（または硬さの結果）を見つけることに興味があります。特定の定義などについては、Regevによる素晴らしい調査をご覧ください。http：//www.cims.nyu.edu/~regev/papers/lwesurvey.pdf （R）LWEスタイルの仮定の標準タイプは、（おそらく、量子）格子上の（おそらく、理想的な）Shortest Vector Problemへの還元によるものです。SVPの通常の定式化はNP困難であることが知られており、小さな多項式因子に近似するのは困難であると信じられています。（関連：/ almost-polynomial /要因内でCVPを概算することは困難です：http : //dl.acm.org/citation.cfm?id = 1005180.1005182）（量子アルゴリズムの観点から）特定の格子問題（SVPなど）を小さな多項式近似係数に近似することは、非アーベル隠しサブグループ問題（独自の理由で困難であると考えられています）に関連していますが、このための明示的で正式なソースを見たことはありません。 ただし、学習理論のノイジーパリティ問題の結果として生じる硬度結果（任意のタイプ）に興味があります。これらは、複雑度クラスの硬さの結果、具体的なアルゴリズムの下限、サンプルの複雑度の下限、またはプルーフサイズの下限（解像度など）である可能性があります。LWEは、ノイズのあるパリティ/ノイズ付き学習パリティ（LPN）問題の一般化として見ることができる（おそらく明らか）ことが知られています。学習。 自分の周りを見てみると、LPN問題の（わずかに指数関数的でない）上位境界のみが見つかりました。たとえば、http： //www.di.ens.fr/~lyubash/papers/parityproblem.pdf 質問： 学習コミュニティではLPNが難しいと信じられています。私の質問は：なぜですか？ 誰もが一生懸命努力したが、まだ誰も優れたアルゴリズムを見つけていないからでしょうか？上記のイタリック体の下限（または私が除外した他の下限）は知られていますか？ 答えが非常に明確である場合、既知の内容の簡潔な要約、および/または調査/講義ノートへの参照が素晴らしいでしょう。 多くが不明な場合は、「最先端の」論文が多いほど良いでしょう。:)（事前に感謝します！）

11 cc.complexity-theory  reference-request  cr.crypto-security  machine-learning  lg.learning 

Dana Angluin（1987 ; pdf）は、メンバーシップクエリと理論クエリ（提案された関数の反例）を含む学習モデルを定義しています。彼女は、状態の最小DFAで表される通常の言語が、O （m n 2）メンバーシップクエリおよび最大n − 1の理論クエリ（mは、チューターが提供する最大の反例のサイズです）。残念ながら、彼女は下限については話しません。nnnO(mn2)O(mn2)O(mn^2)n−1n−1n−1mmm 任意の関数間の同等性をチェックし、異なる場合は反例を提供できる魔法の家庭教師を想定することで、モデルをわずかに一般化できます。その後、通常の言語よりも大きなクラスを学ぶのがどれほど難しいかを尋ねることができます。この一般化と通常の言語に対する元々の制限に興味があります。 メンバーシップおよび反例モデルのクエリ数に既知の下限はありますか？ メンバーシップクエリ、理論クエリ、または2つの間のトレードオフの数の下限に興味があります。通常の言語よりも複雑なクラスであっても、あらゆるクラスの関数の下限に興味があります。 下限がない場合：このモデルでクエリの下限を証明するための障壁はありますか？ 関連する質問 正規集合を学習するためのDana Angluinのアルゴリズムに改善はありますか

11 cc.complexity-theory  machine-learning  lower-bounds  lg.learning  query-complexity 

Angluin and Laird（'88）は、モデル「ランダム分類ノイズを伴うPAC」（またはノイズの多いPAC）のランダムに破損したデータを使用して学習を形式化しました。このモデルは同様であるPAC学習確率で、独立してランダムに、学習者に与えられた例のラベルを除いて、（反転）が破損している。η&lt; 1 / 2η&lt;1/2\eta < 1/2 ノイズの多いPACモデルで学習可能なものを特徴付けるために、Kearns（'93 ）は学習のために統計クエリモデル（SQ）を導入しました。このモデルでは、学習者はターゲット分布のプロパティについて統計的オラクルを照会でき、SQ学習可能なクラスはノイズの多いPACで学習可能であることを示しました。カーンズはまた、いくつかの定数cに対して2 n / cよりも速くn変数のパリティを学習できないことを証明しました。nnn2n / c2n/c2^{n/c}ccc その後、Blumら。（'00）最初の（log （n ）log log （n ））のパリティが、ノイズの多いPACモデルでは多項式時間学習可能であるが、SQモデルでは学習できないことを示すことにより、ノイズの多いPACをSQから分離しました。（ログ（n ）ログログ（n ））(log⁡(n)log⁡log⁡(n))(\log(n) \log\log(n)) 私の質問はこれです： パリティ（最初の変数）は、ノイズの多いPACモデルでは学習可能ですが、SQモデルでは学習できません。パリティとは十分に異なる、ノイズの多いPACで学習可能であるがSQでは学習できないことがわかっている他の特定のクラスはありますか？（ログ（n ）ログログ（n ））(log⁡(n)log⁡log⁡(n))(\log(n) \log\log(n))

11 lg.learning 

実世界のデータには、自然数のクラスターがある場合があります（一部のマジックkより少ない数のクラスターにクラスター化しようとすると、クラスター化コストが劇的に増加します）。今日、私はアダム・マイヤーソン博士による講義に出席し、彼はそのタイプのデータを「分離可能なデータ」と呼びました。 データの自然な分離性を活用するクラスタリングアルゴリズム（近似またはヒューリスティック）に適している、K-means以外のクラスタリングの形式化とは何ですか？

11 lg.learning  clustering 

私の質問は少し一般的ですので、それを正当化するためにいい話を作ります。現実的でない場合はご容赦ください;-) 物語 大企業のコンピューターセキュリティ部門の責任者であるX氏は少し妄想的です。IDや情報盗難のリスクを最小限に抑えるために、すべての従業員が1か月に1回パスワードを変更する必要があります。さらに、彼は従業員が安全なパスワードを思い付くことができるとは信じていません。 そのため、彼は毎月、自分が書いたソフトウェアを使用して新しいパスワードを生成し、従業員に提供して再度ログインできるようにします。しかし、X氏は妄想的であるだけでなく、少し怠け者でもあります。彼が生成するパスワードはすべて一定のパターンに従い、ログインを許可するアルゴリズムは、そのルールに従ってパスワードが「正常」に見えることと、 「期限切れリスト」にありません。 残念ながら、彼の気取らない行動は多くの人々を苦しめ、そのうちの1人であるY氏は、彼がパスワードを解読できることを彼に証明することにしました。そのため、ある夜、彼はそれらのいくつかを収集し、有効なパスワードを生成するための学習アルゴリズムを設計しようとし始め、パーソナルコンピューターを使用してそれらを検証します。 質問 Y氏が使用する神託は少し奇妙で、「真実ではなく、真実全体ではない」（つまり「無言」という形容詞）を彼に伝えている。より正確には：Yさんは、自分のコンピュータがそれを受け入れたとき、パスワードが有効であることを知っているだろうが、パスワードが拒否されたとき、Yさんは、それがかどうかを知ることができませんされている可能性が有効：パスワードが拒否されることはないので、 X氏の「月に1回の変更」ルールによると、以前は有効であったがもはや有効ではないため、パターンに対応している可能性もあります。 それで、Yさんはその設定で何かを思いつくことができるでしょうか？または、X氏のパスワードが本質的に予測不可能であることを主張/証明できますか（PAC学習設定で定義されていますが、この概念は他のフレームワークに存在する可能性があります）。

11 lg.learning 

DDD{0,1}d×{0,1}{0,1}d×{0,1}\{0,1\}^d\times \{0,1\}CCCf:{0,1}d→{0,1}f:{0,1}d→{0,1}f:\{0,1\}^d\rightarrow\{0,1\}f∈Cf∈Cf \in CO P T （C 、D ）= 分F ∈ C E R R （F 、D ）err(f,D)=Pr(x,y)∼D[f(x)≠y]err(f,D)=Pr(x,y)∼D[f(x)≠y]err(f,D) = \Pr_{(x,y) \sim D}[f(x) \neq y]OPT(C,D)=minf∈C err(f,D)OPT(C,D)=minf∈C err(f,D)OPT(C,D) = \min_{f \in C}\ err(f,D) 言うアルゴリズム agnostically学習する上の任意の分布、いずれかの場合にが確率ででき関数見つけるよう、所定の時間およびおよび多項式で区切られたからのサンプルの数。C D 2 / 3 F のE RをR （F 、D ）≤ O P T （C 、D ）+ ε …

11 reference-request  machine-learning  lg.learning 

VC次元が概念クラス、を取得するだけで十分であることはよく知られてい PACのラベル付きの例は学習します。（これらの多くのサンプルを使用する）PAC学習アルゴリズムが適切であるか不適切であるかは、私には明確ではありませんか？カーンズとヴァジラニ、アンソニーとビッグスの教科書では、PAC学習アルゴリズムが不適切であるように見えます（つまり、出力仮説はません）CC\mathcal{C}dddO(dεlog1ε)O(dεlog⁡1ε)O\left(\frac{d}{\varepsilon}\log\frac{1}{\varepsilon}\right)CC\mathcal{C}CC\mathcal{C} 同様の上限が適切なPAC学習設定にも当てはまるかどうかを誰かが明確にできますか？もしそうなら、これが明示的に言及されており、自己完結した証拠も含まれている参照を私にくれませんか？ 最近、ハネケは要素を取り除くことでこの境界を改善しました。が適切なPAC学習設定で削除可能であることがわかっているかどうかを誰かが明確にできますか？それとも未解決の質問ですか？log(1/ε)log⁡(1/ε)\log(1/\varepsilon)log(1/ε)log⁡(1/ε)\log(1/\varepsilon)

11 machine-learning  boolean-functions  lg.learning  vc-dimension  pac-learning 

ビットのセットに対して関数のクラスを定義してみましょう。修正二つの分布のp 、qは（必要であれば、その変分の距離は、少なくともある互いに「合理的に」異なるε、または類似したもの）。んnnp 、qp,qp, qεϵ\epsilon このクラスの各関数は、k個のインデックスSのコレクションによって定義され、次のように評価されます。選択されたビットのパリティが0の場合、pからランダムサンプルを返し、それ以外の場合はqからランダムサンプルを返します。fffkkkSSSpppqqq 問題は：私はいくつかの特定のOracleへのアクセスだと仮定し、このクラスから、私が知っている間、ε（または距離の他のいくつかの尺度が）、私にはわからないのpとqと。fffεϵ\epsilonpppqqq PAC-learn を実行するために必要なコール数に制限はありますか？おそらく私の答えは、という点になりますN 、Kおよびε。fffn 、kn,kn, kεϵ\epsilon 注：出力ドメインを指定していません。繰り返しますが、私は柔軟ですが、今のところ、とqが有限領域[ 1 .. M ]で定義されているとしましょう。一般的に、それらがRで定義されている場合（たとえば、ガウス分布の場合）にも興味があります。pppqqq[ 1 .. M][1..M][1..M]RR{\mathbb R}

10 lg.learning 

最近、私はまともな数のCoLT論文を読んでいます。私は個々の論文に苦労することはありませんが（少なくとも、通常は他の理論の論文に苦労することはありません）、分野全体をしっかりと把握しているとは思えません。 CoLTを大学院レベルで導入するための標準的なテキスト、調査、または講義ノートはありますか？ 基本的な理論Aの背景がありますが、機械学習や統計に関する特定の知識はありません。私は主にPAC学習や学習オートマトンなどに関心があり、ベイジアン推論やVC理論などにはあまり関心がありません。 関連する質問 統計学習理論の最近の進歩に関するリソース/本

10 reference-request  machine-learning  lg.learning  survey  books