タグ付けされた質問 「machine-learning」

私は私の学生の集まりと矛盾三角形見つける問題割り当てられたの点R 2で標識し、± 1。（A三角形Tは、ある一貫性の場合、標識試料とTが負のポイントの正およびなしの全てを含み、仮定により、試料は、少なくとも1つの一貫した三角形を認めています）。mmmR2R2\mathbb{R}^2±1±1\pm1TTTTTT 彼ら（または私）ができる最善の方法は、時間で実行されるアルゴリズムです。ここで、mはサンプルサイズです。誰もがもっとうまくできますか？O(m6)O（m6）O(m^6)mmm

13 cg.comp-geom  machine-learning  lg.learning  convex-geometry 

遺伝的アルゴリズムは、人口が多いほど少数の世代で進化しますが、世代の計算に時間がかかります。できるだけ早く実行可能なソリューションに到達するために、これら2つの要素のバランスを取るためのガイドラインはありますか？ また、これは質問に最適な場所ですか？

13 ds.algorithms  machine-learning  genetic-algorithms 

クロスバリデーションされたQ＆Aでこの質問をしましたが、統計よりもCSに関連しているようです。 個々の観測自体ではなく、データセットの統計特性から学習する機械学習アルゴリズムの例を教えてください。つまり、統計クエリモデルを使用できますか。

13 lg.learning  machine-learning 

k個の入力と1つの出力を持つ単一層のフィードフォワードニューラルネットワークがあるとします。それは関数から算出 、それはこのように少なくとも同じ計算能力を有していることを確認するために、かなり簡単ですA C 0。楽しみのために、単層ニューラルネットワークで計算可能な関数セットを「N e u r a l」と呼びます。{ 0 、1 }n→ { 0 、1 }{0、1}n→{0、1}\lbrace 0,1\rbrace ^{n}\rightarrow\lbrace 0,1\rbrace A C0AC0AC^0NE Uはrは、LをNeあなたはralNeural ただし、単独よりも計算能力が高い可能性があるようです。A C0AC0AC^0 そう...される、またはされ、Nは、E uはrは、L = A C 0？また、この種の複雑性クラスは以前に研究されましたか？A C0⊆ NE Uはrは、LをAC0⊆NeあなたはralAC^0 \subseteq NeuralNe u r a l = A C0Neあなたはral=AC0Neural = AC^0

13 cc.complexity-theory  circuit-complexity  machine-learning  ne.neural-evol 

背景：機械学習では、グラフィカルモデルを使用して高次元の確率密度関数を表すことがよくあります。密度が1に積分（合計）されるという制約を破棄すると、正規化されていないグラフ構造のエネルギー関数が得られます。 このようなエネルギー関数がグラフで定義されていると仮定します。グラフの各頂点に1つの変数があり、実数値の単項関数およびペアワイズ関数および\ theta_ {ij}（x_i、x_j）：ij \ in \ mathcal {E}。そのとき、全エネルギーはG = （V、E）X θ I（X I）：I ∈ V θ I J（X I、XのJ）：I 、J ∈ EEEEG = （V、E）G=（V、E）G = (\mathcal{V}, \mathcal{E})バツバツxθ私（x私）：I ∈ Vθ私（バツ私）：私∈V\theta_i(x_i) : i \in \mathcal{V}θ私はj（x私、xj):ij∈Eθij(xi,xj):ij∈E\theta_{ij}(x_i, x_j) : ij \in \mathcal{E} E(x)=∑i∈Vθi(xi)+∑ij∈Eθij(xi,xj)E(x)=∑i∈Vθi(xi)+∑ij∈Eθij(xi,xj）E(\mathbf{x}) = \sum_{i \in \mathcal{V}} \theta_i(x_i) + \sum_{ij \in \mathcal{E}} \theta_{ij}(x_i, …

13 reference-request  machine-learning  lg.learning  boolean-functions 

遺伝的アルゴリズムを使用して解決された現実世界の問題とは何ですか？何が問題ですか？この問題を解決するために使用されるフィットネステストとは何ですか？

13 ds.algorithms  machine-learning  ai.artificial-intel  application-of-theory  ne.neural-evol 

大きさn、V_nの任意の整数のベクトル表現があるとします このベクトルは、機械学習アルゴリズムへの入力です。 最初の質問：どのタイプの表現に対して、ニューラルネットワークまたは他のベクトルからビットへのMLマッピングを使用して、nの素数性/複合性を学習することができます。これは純粋に理論的なものです-ニューラルネットワークのサイズには制限がない可能性があります。 次のような素数性テストにすでに関連している表現を無視しましょう。nの因子のヌル区切りリスト、またはMiller Rabinなどの複合性証人の存在。代わりに、異なる基数の表現、または（多変量）多項式の係数ベクトルとしての表現に注目しましょう。または他のエキゾチックなものが想定されています。 2番目の質問：表現ベクトルの詳細に関係なく、MLアルゴリズムの種類があれば、これを学習することは不可能ですか？繰り返しますが、上記の例が示されている「自明では禁止されている」表現は省略しましょう。 機械学習アルゴリズムの出力は、1ビット、素数の場合は0、複合の場合は1です。 この質問のタイトルは、質問1のコンセンサスが「不明」であり、質問2のコンセンサスが「おそらくほとんどのMLアルゴリズム」であるという私の評価を反映しています。これ以上のことは分からないので、私はこれを求めています。 この質問の主な動機は、ある場合、特定のサイズのニューラルネットワークでキャプチャできる素数のセットの構造に「情報理論」の制限があるかどうかです。私はこの種の用語の専門家ではないので、この考えを何度か言い直し、概念のモンテカルロ近似を得るかどうかを確認します。素数の集合のアルゴリズムの複雑さは何ですか？素数がディオファントイン再帰的に列挙可能であるという事実（および特定の大きなディオファントス方程式を満たすことができる）を使用して、上記の入力と出力を使用してニューラルネットワークの同じ構造をキャプチャできます。

13 co.combinatorics  machine-learning  primes 

Johnson-Lindenstraussの補題により、高次元空間の点を低次元の点に表すことができます。最適な低次元空間を見つけるときの標準的な手法は、特異値分解を見つけてから、最大の特異値によって生成された部分空間を取得することです。SVD上でJohnson-Lindenstraussを使用するのはいつ関心がありますか？

12 machine-learning 

私は数千点のデータセットと任意の2点間の距離を測定する手段を持っていますが、データ点には次元がありません。このデータセット内のクラスター中心を見つけるアルゴリズムが必要です。データにはディメンションがないため、クラスターセンターは複数のデータポイントと許容値で構成され、クラスター内のメンバーシップはクラスターセンター内のすべてのデータポイントまでのデータポイントの距離の平均によって決定される可能性があると思います。 この質問によく知られている解決策がある場合はご容赦ください。この種の問題についてはほとんど知りません！私の（非常に限られた）研究では、次元データのクラスタリングアルゴリズムのみが判明しましたが、明らかな何かを見逃した場合は事前に謝罪します。 ありがとうございました！

12 machine-learning  lg.learning  clustering 

PAC学習には、計算的に制限のない学習者による情報理論学習に必要なサンプルの複雑さと、多項式に必要なサンプルの複雑さとの間に多項式のギャップがある自然概念クラス（決定リストのサブセットなど）があることが知られています時間学習者。（例：http : //portal.acm.org/citation.cfm?id=267489&dl=GUIDEまたはhttp://portal.acm.org/citation.cfm?id=301437を参照） ただし、これらの結果は特定の例では秘密のエンコードに依存しているように見えるため、学習者が分布の統計的特性を照会するだけの学習のSQモデルに自然に変換されません。 O（f（n））クエリを使用してSQモデルの情報理論学習が可能なコンセプトクラスが存在するかどうかが知られていますが、計算効率の高い学習はg（n ）>> f（n）？

12 machine-learning  lg.learning  sample-complexity 

ここに、ジュンタの学習に似たフレーバーの問題があります。 入力： A関数、会員オラクルで表される、すなわち、Oracleの所与のx、戻りF （X ）。f:{0,1}n→{−1,1}f:{0,1}n→{−1,1}f: \{0,1\}^n \rightarrow \{-1,1\}xxxf(x)f(x)f(x) 目標：サブキューブ検索の{ 0 、1 } nはボリュームとともに| S | = 2 n − kこのような| E のx ∈ S、F （X ）| ≥ 0.1。そのようなサブキューブが存在すると仮定します。SSS{0,1}n{0,1}n\{0,1\}^n|S|=2n−k|S|=2n−k|S|=2^{n-k}|Ex∈Sf(x)|≥0.1|Ex∈Sf(x)|≥0.1\left|\mathbb{E}_{x \in S} f(x) \right| \ge 0.1 すべての（2 n ）k個の方法でサブキューブを選択し、それぞれの平均値をサンプリングすることにより、時間で実行され、確率0.99 以上の正解を返すアルゴリズムを取得するのは簡単です。nO(k)nO(k)n^{O(k)}≥0.99≥0.99\ge 0.99(2n)k(2n)k(2n)^k 時間内に実行されるアルゴリズムを見つけることに興味があります。または、下限は大きいでしょう。この問題はフンタの学習に似た風味を持っていますが、計算の難しさの間には実際のつながりはありません。poly(n,2k)poly(n,2k)poly(n,2^k) 更新：以下の@Thomasは、この問題のサンプルの複雑さがことを証明しています。興味深い問題は、依然として、問題の計算の複雑さです。poly(2k,logn)poly(2k,log⁡n)poly(2^k,\log n) 編集：簡単にするために、サブキューブが存在すると仮定できます（予告ギャップ：私たちは、平均でサブキューブを探している≥ 0.1。）私はかなり確信してギャップを持つ問題への解決策にも隙間なく、問題を解決しますよ。|Ex∈Sf(x)|≥0.2|Ex∈Sf(x)|≥0.2\left|\mathbb{E}_{x \in S} f(x) \right| \ge 0.2≥0.1≥0.1\ge …

11 machine-learning  lg.learning  boolean-functions  sample-complexity 

上cs.stackexchange私はについて尋ねalgebird彼らは抽象代数パッケージを必要とするかもしれない理由を推測、githubの上でScalaのライブラリ。 githubページにはいくつかの手がかりがあります。 ブルームフィルター、HyperLogLog、CountMinSketchなどの興味深い近似アルゴリズム用のモノイドの実装。これらにより、これらの洗練された操作を数字のように考えることができ、強力な統計と分析を生成するためにそれらをhadoopまたはオンラインで合計できます。 GitHubページの別の部分で： 元々は、ScaldingのMatrix APIの一部として開発されたもので、マトリックスには、モノイド、グループ、またはリングの要素である値がありました。その後、Scalding内およびTwitter内の他のプロジェクトでコードがより広範なアプリケーションを持つことが明らかになりました。 TwitterのOskar Boykinでさえ、 主な答えは、セミグループ構造を活用することで、基になる操作を知らなくても正しく並列化するシステムを構築できることです（ユーザーは結合性を約束しています）。 モノイドを使用することで、スパース性を利用できます（モノイドではほとんどすべての値がゼロである多数のスパース行列を扱います）。 リングを使用することにより、数値以外の行列乗算を実行できます（場合によっては実行しました）。 algebirdプロジェクト自体（および問題の履歴）は、ここで何が行われているのかをかなり明確に説明しています。 （これは通常、数千のノードでアルゴリズムを生産しようとするときの問題点です）。 セミグループ/モノ/グループ/リングについてシステムの問題を一度解決すれば、Memcache、Hadoop、Stormなどを考えずにアルゴリズムをプラグインできます。 どのようにしているBloom filters/ hyperloglog/ countminsketch番号など？ データベース集約がモノイダル構造を持っているのはどうですか？ このモノイドはどのように見えますか？彼らはグループ構造を持っていますか？ 文献の参照が役立ちます。

11 soft-question  machine-learning  linear-algebra  db.databases 

背景： 私は、エラーを伴う学習（LWE）問題の「あまり知られていない」下限（または硬さの結果）を見つけることに興味があります。特定の定義などについては、Regevによる素晴らしい調査をご覧ください。http：//www.cims.nyu.edu/~regev/papers/lwesurvey.pdf （R）LWEスタイルの仮定の標準タイプは、（おそらく、量子）格子上の（おそらく、理想的な）Shortest Vector Problemへの還元によるものです。SVPの通常の定式化はNP困難であることが知られており、小さな多項式因子に近似するのは困難であると信じられています。（関連：/ almost-polynomial /要因内でCVPを概算することは困難です：http : //dl.acm.org/citation.cfm?id = 1005180.1005182）（量子アルゴリズムの観点から）特定の格子問題（SVPなど）を小さな多項式近似係数に近似することは、非アーベル隠しサブグループ問題（独自の理由で困難であると考えられています）に関連していますが、このための明示的で正式なソースを見たことはありません。 ただし、学習理論のノイジーパリティ問題の結果として生じる硬度結果（任意のタイプ）に興味があります。これらは、複雑度クラスの硬さの結果、具体的なアルゴリズムの下限、サンプルの複雑度の下限、またはプルーフサイズの下限（解像度など）である可能性があります。LWEは、ノイズのあるパリティ/ノイズ付き学習パリティ（LPN）問題の一般化として見ることができる（おそらく明らか）ことが知られています。学習。 自分の周りを見てみると、LPN問題の（わずかに指数関数的でない）上位境界のみが見つかりました。たとえば、http： //www.di.ens.fr/~lyubash/papers/parityproblem.pdf 質問： 学習コミュニティではLPNが難しいと信じられています。私の質問は：なぜですか？ 誰もが一生懸命努力したが、まだ誰も優れたアルゴリズムを見つけていないからでしょうか？上記のイタリック体の下限（または私が除外した他の下限）は知られていますか？ 答えが非常に明確である場合、既知の内容の簡潔な要約、および/または調査/講義ノートへの参照が素晴らしいでしょう。 多くが不明な場合は、「最先端の」論文が多いほど良いでしょう。:)（事前に感謝します！）

11 cc.complexity-theory  reference-request  cr.crypto-security  machine-learning  lg.learning 

Dana Angluin（1987 ; pdf）は、メンバーシップクエリと理論クエリ（提案された関数の反例）を含む学習モデルを定義しています。彼女は、状態の最小DFAで表される通常の言語が、O （m n 2）メンバーシップクエリおよび最大n − 1の理論クエリ（mは、チューターが提供する最大の反例のサイズです）。残念ながら、彼女は下限については話しません。nnnO(mn2)O(mn2)O(mn^2)n−1n−1n−1mmm 任意の関数間の同等性をチェックし、異なる場合は反例を提供できる魔法の家庭教師を想定することで、モデルをわずかに一般化できます。その後、通常の言語よりも大きなクラスを学ぶのがどれほど難しいかを尋ねることができます。この一般化と通常の言語に対する元々の制限に興味があります。 メンバーシップおよび反例モデルのクエリ数に既知の下限はありますか？ メンバーシップクエリ、理論クエリ、または2つの間のトレードオフの数の下限に興味があります。通常の言語よりも複雑なクラスであっても、あらゆるクラスの関数の下限に興味があります。 下限がない場合：このモデルでクエリの下限を証明するための障壁はありますか？ 関連する質問 正規集合を学習するためのDana Angluinのアルゴリズムに改善はありますか

11 cc.complexity-theory  machine-learning  lower-bounds  lg.learning  query-complexity 

特定の関数の極小値（最大値）を検出できる勾配降下アルゴリズムに精通しています。 関数がいくつかの極値を持っている絶対最小値（最大値）を見つけることができる勾配降下の変更はありますか？ 絶対的な極値を見つけるために、局所的な極値を見つけることができるアルゴリズムを強化する一般的な手法はありますか？

11 ds.algorithms  approximation-algorithms  machine-learning