タグ付けされた質問 「lg.learning」

次の問題を考えています：特定の文字列セット（たとえば、有効な電子メールアドレス）に一致し、他の文字列（無効な電子メールアドレス）に一致しない正規表現を見つけたい。 正規表現によって、明確に定義された有限状態マシンを意味すると仮定します。正確な用語についてはよくわかりませんが、許可された表現のクラスについては同意しましょう。 式を手動で作成するのではなく、肯定的な例と否定的な例のセットを与えたいと思います。 次に、+の1に一致し、-の1を拒否し、明確に定義された意味で最小の式（オートマトンの状態の数？）を作成する必要があります。 私の質問は： この問題は考慮されましたか、より具体的な方法でどのように定義でき、効率的に解決できますか？多項式時間で解決できますか？NPは完全ですか、どうにか近似できますか？どのクラスの式に対して機能しますか？このトピックについて説明している教科書、記事などへのポインタをいただければ幸いです。 これは何らかの形でコルモゴロフの複雑さに関連していますか？ これは何らかの形で学習に関連していますか？正規表現が私の例と一致している場合、それが最小限であるために、まだ見られない例の一般化力について何か言うことができますか？これにはどのような最小性の基準がより適していますか？どちらがより効率的でしょうか？これには機械学習とのつながりがありますか？繰り返しますが、どんなポインターでも役に立ちます... 厄介な質問でごめんなさい...これを理解するために私を正しい方向に向けてください。ありがとう！

42 np-hardness  fl.formal-languages  lg.learning  regular-expressions 

（[1]の定理1および3を参照）大まかに言えば、適切な条件下では、多項式時間でチューリングマシンによって効率的に計算できる関数（ "効率的に計算可能"）は多項式ニューラルネットワークで表現できる合理的なサイズで、したがって、任意の入力分布の下で多項式サンプルの複雑さ（「学習可能」）で学習できます。 ここで、「学習可能」とは、計算の複雑さに関係なく、サンプルの複雑さにのみ関係します。 非常に密接に関連する問題について疑問に思っています：多項式時間でチューリングマシンによって効率的に計算できない関数（「非効率的に計算できない」）が存在する一方で、多項式サンプルの複雑さ（「学習可能」）で学習できる関数があります入力分布の下で？ [1] Roi Livni、Shai Shalev-Shwartz、Ohad Shamir、「ニューラルネットワークのトレーニングの計算効率について」、2014

28 cc.complexity-theory  np-hardness  machine-learning  turing-machines  lg.learning 

PHPHPHf:{0,1}n→{−1,1}f:{0,1}n→{−1,1}f:\{0,1\}^n \to \{ -1,1 \}ggghhh fffF:{0,1}n→RF:{0,1}n→RF:\{0,1\}^n \to R F(s)=∑x∈{0,1}n(−1)(s⋅xmod 2)f(x)F(s)=∑x∈{0,1}n(−1)(s⋅xmod 2)f(x)F(s)=\sum_{x\in\{0,1\}^n} (-1)^\left( s\cdot x \mod\ 2 \right) f(x) 一または真のフーリエスペクトルであると他の一つは、フーリエが不明ランダムブール関数に属するスペクトルだけの偽物です。ggghhhfff それを示すために難しいことではありません、マシンをすることができていなくてもおおよその任意のため。PHPHPHF(s)F(s)F(s)sss どれが真の成功確率であるかを決定するクエリの複雑さは何ですか？ この問題はでていない場合ので、それは、私には興味深いものです、その後、1がに対するOracleの相対存在することを示すことができるのないサブセットで。PHPHPHBQPBQPBQPPHPHPH

26 cc.complexity-theory  lg.learning  boolean-functions  fourier-analysis 

+ 1を有する行列Aのサインランク-1エントリはAと同じ符号パターンを有する（行列Bの（実数にわたって）少なくともランク、すなわち、のすべてのためのI 、j）。この概念は、コミュニケーションの複雑さと学習理論において重要です。AijBij>0AijBij>0A_{ij}B_{ij}>0i,ji,ji,j 私の質問は、行列の符号ランクを因子内に近似する既知の（準指数時間）アルゴリズムはありますか？o(n)o(n)o(n) （私は、スペクトルノルムに関して符号ランクのForsterの下限を知っていますが、これは一般によりも良い近似比を生み出しません。）Ω(n)Ω(n)\Omega(n)

25 lg.learning  open-problem  communication-complexity  matrices 

「特性試験」に大きな文学がある-機能にブラックボックスクエリの少数を作る問題 2例を区別することは：f：{ 0 、1 }n→ Rf:{0,1}n→Rf\colon\{0,1\}^n \to R は関数 CのあるクラスのメンバーですfffCC\mathcal{C} は ε-クラス Cのすべての関数から遠いです。fffεε\varepsilonCC\mathcal{C} 範囲関数のは時々ブールである：R = { 0 、1 }、常にではありません。RRRR = { 0 、1 }R={0,1}R = \{0,1\} ここで、 -farは、一般にハミング距離を意味します：fをクラスCに配置するために変更する必要があるfの点の割合。これは、fにブール値の範囲がある場合は自然なメトリックですが、範囲が実数値である場合はそれほど自然ではないようです。εε\varepsilonffffffCC\mathcal{C}fff 私の質問：他の測定基準に関してクラス近いかどうかをテストする一連のプロパティテスト文献がありますか？CC\mathcal{C}

20 reference-request  lg.learning  metrics  property-testing  black-box 

これは、夏に取り組んでいるオンライン学習/盗賊の問題の抽象化です。このような問題は以前に見たことがなく、非常に興味深いようです。関連する作品をご存知の場合は、参考にしてください。 問題 設定は多腕バンディットの設定です。N本の腕があります。各アームiには、それをプレイすることで獲得できる報酬に対する未知の固定確率分布があります。具体的には、各アームiに確率p [i]で報酬$ 10を支払い、確率で$ 0に報酬を支払うと仮定します。1-p [i]。 すべてのラウンドtで、プレイする武器のセットS [t]を選択します。選択した各アームに対して、前払いで1ドルの料金を支払います。選択した各アームについて、そのアームの（未知の）報酬確率分布から引き出される報酬を収集します。すべての報酬は銀行口座に入金され、すべての手数料はその口座から差し引かれます。さらに、各反復の開始時に1ドルのクレジットを取得します。 問題は、各イテレーションでプレイする武器のサブセットを選択して、十分な期間にわたって利益を最大化する（つまり、報酬からプレイ費用を差し引く）ポリシーを作成することです。常時。 腕ごとの報酬分布が以前の分布から選択されるか、敵によって選択されるかを指定しませんでした。どちらの選択も理にかなっています。敵の定式化は私にとってより魅力的ですが、進歩するのはおそらく難しいでしょう。ここで、敵は分布のベクトル（D1、D2、..、DN）を選択します。配分を考えると、最適な予算バランスの方針は、予想される報酬が1ドルを超えるすべての武器をプレイすることです。Pをこの最適な全知ポリシーのステップごとの利益とします。私は、この全知のポリシーについて、後悔（つまり、時間枠Tでの利益の損失）を最小限に抑えるために、オンラインポリシーが必要です。

19 machine-learning  lg.learning  online-learning 

Zinkevichの「オンライン凸最適化」（http://www.cs.cmu.edu/~maz/publications/ICML03.pdf）は、線形設定から凸設定までの「後悔最小化」学習アルゴリズムを一般化し、優れた「外部後悔」を提供します。 。内部の後悔についても同様の一般化がありますか？（正確にそれが何を意味するのかさえ完全にはわかりません。）

19 lg.learning  online-learning 

私は、しきい値ゲートを介して表現可能な関数の複雑さを理解しようとしていますが、これがつながりました。特に、私はこの分野の専門家ではないので、内部での学習について現在知られていることに興味があります。TC0TC0\mathsf{TC}^0TC0TC0\mathsf{TC}^0 私がこれまでに発見したことは： すべての は、Linial-Mansour-Nisanを介した一様分布下の準多項式時間で学習できます。AC0AC0\mathsf{AC}^0 彼らの論文はまた、擬似ランダム関数発生防止の存在を学習することを指摘し、この、それ以降の結果と結合Naor-Reingoldこと是認のPRFGsが、ことを示唆している限界を表します学習可能性の（少なくともPACの意味で）TC0TC0\mathsf{TC}^0TC0TC0\mathsf{TC}^0 Jackson / Klivans / Servedioによる2002年の論文には、フラグメントを学習できる（せいぜい多対数の多数決ゲートがある）。TC0TC0\mathsf{TC}^0 私は通常のグーグルの学問をしましたが、cstheoryの集合的な知恵がより速い答えを持っているかもしれないことを望んでいます： 学習の複雑さを理解するために、どのクラスが効率的な学習者を挟んでいるかという点で、私が最新技術について説明したことはありますか？そして、風景の現在の状態をマップする良い調査/参照がありますか？

16 cc.complexity-theory  reference-request  cr.crypto-security  lg.learning  boolean-functions 

バックグラウンド 関数は、深さd [1]の回路を学習するためにランダムに選択されたO （2 l o g （n ）O （d ））クエリを必要とする古典的アルゴリズムで準多項式時間でPAC学習可能です。2 n o （1 ）因数分解アルゴリズムがない場合、これは最適です[2]。もちろん、量子コンピューターでは因数分解する方法がわかっているので、この下限は役に立ちません。さらに、最適な古典的アルゴリズムは関数のフーリエスペクトルを使用するため、「量子化してください！」と叫びます。A C0AC0AC^0O （2L O G（n ）O （d））O（2log（n）O（d））O(2^{log(n)^{O(d)}})2no （1 ）2no（1）2^{n^{o(1)}} [1] N.リニアル、Y。マンスール、N。ニサン。[1993]「定深度回路、フーリエ変換、学習可能性」、Journal of the ACM 40（3）：607-620。 [2] M.ハリトノフ。[1993]「分布固有の学習の暗号の難しさ」、Proceedings of ACM STOC'93、pp。372-381。 実際、6年前、Scott Aaronsonは学習可能性を量子コンピューティング理論の10のセミグランドチャレンジの 1つとしています。A C0AC0AC^0 質問 私の質問は3つあります。 1）量子コンピューターが暗号化の仮定を与えられた古典的なコンピューターよりも速く学習できる自然な関数族の例はありますか？ 2）学習可能性に特に進展はありましたか？（または少し野心的なT C 0）A C0AC0AC^0TC0TC0TC^0 3）学習可能性に関して、アーロンソンは次のようにコメントしている。誰かがニューラルネットとT C 0回路の重み更新がどのように関連するかについてのリファレンスを提供できますか？（しきい値ゲートがシグモイドニューロンのように見えるという事実は別として）TC0TC0TC^0TC0TC0TC^0（この質問はすでに質問され、回答されています）

15 quantum-computing  lg.learning  machine-learning  open-problem  ne.neural-evol 

編集：私は一週間で応答/コメントを受け取っていないので、私は問題について何か聞いて満足していることを追加したいと思います。私はその地域で働いていないので、たとえそれが単純な観察であっても、私はそれを知らないかもしれません。「私はその地域で働いていますが、このような特徴は見ていません」というようなコメントさえあれば役立つでしょう！ バックグラウンド： 学習理論には、よく学習された学習モデルがいくつかあります（たとえば、PAC学習、オンライン学習、メンバーシップ/等価クエリを使用した正確な学習）。 たとえば、PAC学習では、概念クラスのサンプルの複雑さは、クラスのVCディメンションの観点からすてきな組み合わせ特性を備えています。したがって、一定の精度と信頼度でクラスを学習したい場合は、サンプルで行うことができます。ここで、dはVC次元です。（時間の複雑さではなく、サンプルの複雑さについて話していることに注意してください。）精度と信頼性に関して、より洗練された特性もあります。同様に、オンライン学習のミスバウンドモデルには、優れた組み合わせ特性があります。Θ(d)Θ(d)\Theta(d)ddd 質問： メンバーシップクエリを使用した正確な学習のモデルで同様の結果が知られているかどうかを知りたい。モデルは次のように定義されます：入力f （x ）を与えるブラックボックスにアクセスできます。fがいくつかのコンセプトクラスCに由来することはわかっています。できるだけ少ないクエリでfを決定します。xxxf(x)f(x)f(x)fffCCCfff メンバーシップクエリを使用した正確な学習のモデルで概念を学習するために必要なクエリの数を特徴付ける概念クラス組み合わせパラメータはありますか？CCC 私が知っていること： 私が見つけたそのような最高の特性評価は、本稿のServedioとGortlerによるもので、Bshouty、Cleve、Gavaldà、Kannan、Tamonに帰属するパラメーターを使用しています。彼らは、と呼ばれる、コンビナトリアルパラメータ定義、Cは、以下の性質を持つ概念クラスですが、。（このモデルでCを学習するために必要なクエリの最適数をQ Cとします。）γCγC\gamma^CCCCQCQCQ_CCCC QC=Ω(1/γC)QC=Ω(log|C|)QC=O(log|C|/γC)QC=Ω(1/γC)QC=Ω(log⁡|C|)QC=O(log⁡|C|/γC)Q_C = \Omega(1/\gamma^C)\qquad Q_C = \Omega(\log |C|) \qquad Q_C = O(\log |C|/\gamma^C) この特性評価はほぼ厳密です。ただし、上限と下限の間に2次ギャップが生じる可能性があります。たとえば場合は場合、下限はΩ （k ）ですが、上限はO （k 2）です。（このギャップは達成可能だと思います。つまり、下限は両方ともΩ （k ）ですが、上限はO （k 2）である概念クラスが存在します。）1/γC=log|C|=k1/γC=log⁡|C|=k1/\gamma^C = \log |C| = kΩ(k)Ω(k)\Omega(k)O(k2)O(k2)O(k^2)Ω(k)Ω(k)\Omega(k)O(k2)O(k2)O(k^2)

15 reference-request  machine-learning  lg.learning 

検討(X,≤)(X,≤)(X, \leq)上の有限poset nnnアイテム、およびPPP上未知単調述語XXX（いずれかのために、すなわち、xxx、y∈Xy∈Xy \in Xあれば、P(x)P(x)P(x)及びx≤yx≤yx \leq y次いでP(y)P(y)P(y)）。私は評価できるPPP一つのノードを提供することにより、x∈Xx∈Xx \in Xと場合見つけ出すP(x)P(x)P(x)成立するかではありません。私の目標は、ノードxのセットを正確に決定することですx∈Xx∈Xx \in Xように、P(x)P(x)P(x)のいくつかの評価として使用して、保持PPPできるだけ。（以前のすべてのクエリの回答に応じてクエリを選択できます。すべてのクエリを事前に計画する必要はありません。） SSS(X,≤)(X,≤)(X, \leq)PPPPPPr(S,P)r(S,P)r(S, P)SSSPPPPPPSSSwr(S)=maxPr(S,P)wr(S)=maxPr(S,P)wr(S) = \max_P r(S, P)S′S′S'wr(S′)=minSwr(S)wr(S′)=minSwr(S)wr(S') = \min_S wr(S) 私の質問は次のとおりです：入力としてポゼットを指定すると、最適な戦略の最悪の実行時間をどのように決定できますか？(X,≤)(X,≤)(X, \leq) [空のposetのクエリが必要であり（各単一ノードについて尋ねる必要がある）、クエリの全体の順序が必要であることは明らかです（バイナリ検索を実行して検索しますフロンティア）。より一般的な結果は、次の情報理論的な下限です。述語可能な選択肢の数は、の反の数です単調な述語との最大要素として解釈されるアンチチェーン）。したがって、各クエリは1ビットの情報を提供するため、少なくともが必要になります。nnn⌈log2n⌉⌈log2⁡n⌉\lceil \log_2 n \rceilPPPNXNXN_X(X,≤)(X,≤)(X, \leq)PPP⌈log2NX⌉⌈log2⁡NX⌉\lceil \log_2 N_X \rceil前の2つのケースを含むクエリ。これは厳しく制限されているのでしょうか、それとも学習はアンチチェーンの数よりも漸近的に多くのクエリを必要とするような構造のポーズですか？]

15 ds.algorithms  lg.learning  partial-order  search-problem  order-theory 

Goldreich-Levin学習アルゴリズムの最もよく知られているクエリの複雑さは何ですか？ Luca Trevisanのブログ Lemma 3 の講義ノートには、ます。これは、への依存の観点から最もよく知られていますかO(1/ϵ4nlogn)O(1/ϵ4nlog⁡n)O(1/\epsilon^4 n \log n)nnnますか？引用可能なソースへの参照に特に感謝します！ 関連質問：Kushilevitz-Mansour学習アルゴリズムの最も知られているクエリの複雑さは何ですか？

14 cc.complexity-theory  reference-request  lg.learning  fourier-analysis 

私は私の学生の集まりと矛盾三角形見つける問題割り当てられたの点R 2で標識し、± 1。（A三角形Tは、ある一貫性の場合、標識試料とTが負のポイントの正およびなしの全てを含み、仮定により、試料は、少なくとも1つの一貫した三角形を認めています）。mmmR2R2\mathbb{R}^2±1±1\pm1TTTTTT 彼ら（または私）ができる最善の方法は、時間で実行されるアルゴリズムです。ここで、mはサンプルサイズです。誰もがもっとうまくできますか？O(m6)O（m6）O(m^6)mmm

13 cg.comp-geom  machine-learning  lg.learning  convex-geometry 

クロスバリデーションされたQ＆Aでこの質問をしましたが、統計よりもCSに関連しているようです。 個々の観測自体ではなく、データセットの統計特性から学習する機械学習アルゴリズムの例を教えてください。つまり、統計クエリモデルを使用できますか。

13 lg.learning  machine-learning 

背景：機械学習では、グラフィカルモデルを使用して高次元の確率密度関数を表すことがよくあります。密度が1に積分（合計）されるという制約を破棄すると、正規化されていないグラフ構造のエネルギー関数が得られます。 このようなエネルギー関数がグラフで定義されていると仮定します。グラフの各頂点に1つの変数があり、実数値の単項関数およびペアワイズ関数および\ theta_ {ij}（x_i、x_j）：ij \ in \ mathcal {E}。そのとき、全エネルギーはG = （V、E）X θ I（X I）：I ∈ V θ I J（X I、XのJ）：I 、J ∈ EEEEG = （V、E）G=（V、E）G = (\mathcal{V}, \mathcal{E})バツバツxθ私（x私）：I ∈ Vθ私（バツ私）：私∈V\theta_i(x_i) : i \in \mathcal{V}θ私はj（x私、xj):ij∈Eθij(xi,xj):ij∈E\theta_{ij}(x_i, x_j) : ij \in \mathcal{E} E(x)=∑i∈Vθi(xi)+∑ij∈Eθij(xi,xj)E(x)=∑i∈Vθi(xi)+∑ij∈Eθij(xi,xj）E(\mathbf{x}) = \sum_{i \in \mathcal{V}} \theta_i(x_i) + \sum_{ij \in \mathcal{E}} \theta_{ij}(x_i, …

13 reference-request  machine-learning  lg.learning  boolean-functions