タグ付けされた質問 「machine-learning」

私の博士号 純粋な数学であり、私は理論的なCSについてあまり知らない（つまり何も）ことを認めます。しかし、私は自分のキャリアのための非学術的オプションの調査を開始し、機械学習を紹介する中で、「ニューラルネットワークがうまく機能する理由を誰も理解していない」などの文句を見つけました。 私の質問は、本質的に、研究者はどのような答えを望んでいるのですか？トピックに関する簡単な検索で見つけたものは次のとおりです。 単純なニューラルネットワークを実装するアルゴリズムは非常に簡単です。 SGDのプロセスは、統計理論と同様に数学的に十分に理解されています。 普遍的な近似定理は強力で証明されています。 素晴らしい最近の論文https://arxiv.org/abs/1608.08225があります。これは、モデル化しようとしている関数について強力な単純化仮定を立てることができるため、普遍的な近似は実際に実際に必要なものよりもはるかに多いという答えを本質的に提供します神経網。 前述の論文では、「GOFAIアルゴリズムは分析的に完全に理解されていますが、多くのANNアルゴリズムは発見的にしか理解されていません」と述べています。実装されたアルゴリズムの収束定理は、ニューラルネットワークについて持っていると思われる分析的理解の例であるため、この一般性のレベルでのステートメントは、既知のものと未知のもの、または「答え」とみなされるものについてあまり教えてくれません」 著者らは、結論として、与えられた多項式を近似するために必要なニューラルネットワークのサイズの有効な境界などの質問は、オープンで興味深いものであると示唆しています。私たちがニューラルネットワークを「理解している」と言うために答える必要がある数学的に特定の分析的な質問の他の例は何ですか？より純粋な数学言語で答えられる質問はありますか？ （この論文では物理学を使用しているため、表現理論の方法を具体的に考えています-そして、勝手に、それは私の研究分野であるためです。しかし、組み合わせ論/グラフ理論、代数幾何学などの分野も想像できます、実行可能なツールを提供するトポロジ。）

52 machine-learning 

私は高度なアルゴリズムコースを教えていますが、機械学習に関連するいくつかのトピックを含めたいと思います。これらのトピックは、生徒にとって興味深いものです。その結果、機械学習で現在最も興味深い/最大のアルゴリズム結果についての人々の意見を聞きたいと思います。潜在的にトリッキーな制約は、学生が線形代数や機械学習の他の主要なトピックに関する特定の以前の知識を持っていないということです。 これは本当にトピックについて彼らを興奮させ、MLがアルゴリズムの専門家にとって潜在的に刺激的な研究分野であることを彼らに知らせることです。 編集：これは最終年度の学部課程です（主に英国には大学院課程がないため）。彼らは事前に少なくとも1つの基本的なアルゴリズムコースを実施しており、おそらく高度なフォローアップコースを選択するのに十分な成績を収めているでしょう。上級コースの現在のシラバスには、完全ハッシュ、ブルームフィルター、van Emde Boas木、線形プログラム、約 NP困難問題などのアルゴリズム。MLだけに複数の講義を費やすつもりはありませんが、アルゴリズムコースとMLコースの両方に本当に関連がある場合は、もちろんそれも含めることができます。

30 ds.algorithms  machine-learning  teaching 

（[1]の定理1および3を参照）大まかに言えば、適切な条件下では、多項式時間でチューリングマシンによって効率的に計算できる関数（ "効率的に計算可能"）は多項式ニューラルネットワークで表現できる合理的なサイズで、したがって、任意の入力分布の下で多項式サンプルの複雑さ（「学習可能」）で学習できます。 ここで、「学習可能」とは、計算の複雑さに関係なく、サンプルの複雑さにのみ関係します。 非常に密接に関連する問題について疑問に思っています：多項式時間でチューリングマシンによって効率的に計算できない関数（「非効率的に計算できない」）が存在する一方で、多項式サンプルの複雑さ（「学習可能」）で学習できる関数があります入力分布の下で？ [1] Roi Livni、Shai Shalev-Shwartz、Ohad Shamir、「ニューラルネットワークのトレーニングの計算効率について」、2014

28 cc.complexity-theory  np-hardness  machine-learning  turing-machines  lg.learning 

30年後の未来を見てみましょう。楽観的になり、機械学習に関連する分野が過去10年間に見られたのと同じくらい迅速に発展し続けると仮定しましょう。それは素晴らしいことですが、そのような将来の伝統的なアルゴリズムの役割は何でしょうか？ ここで「従来のアルゴリズム」とは、TCSで従う通常のプロセスを指します。明確に定義された計算問題を形式化し、問題を解決するアルゴリズムを設計し、形式的なパフォーマンス保証を証明します。 今、私たちは、伝統的なアルゴリズムの設計と解析を使用する必要のあるアプリケーションの領域であり、将来的にも、機械学習のいずれかの進歩は、伝統的なアルゴリズミックスはほとんど無関係で作るということはほとんどありませんか？ 最初はこれはばかげた質問のように思えるかもしれません。もちろん、将来的にもソート、検索、インデックス作成などを行えるようにする必要があります！もちろん、フーリエ変換を効率的に行い、大きな行列を乗算し、最短経路を見つけ、線形最適化問題を解決できる必要があります！ しかし、再び、私たちが伝統的に設計したアルゴリズムを使用しているアプリケーションをより深く見始めると、伝統的なアルゴリズムの設計と分析がそのような問題に対する正しい答えであることはまったく明らかではありません：検索に関連するアプリケーションでは、通常、数学的意味で最適なもの（最小編集距離など）ではなく、漠然とした不明確な意味（例：意味的類似性）で人間に近いものを見つけることに関心があります。ルート計画に関連するアプリケーション、通常、いくつかの数学的な意味で最適なルート（最短距離や最低価格など）ではなく、例に基づいて適切なルート（他の人が好むルートなど）を見つけることに関心があります。そして、画像に曖昧で不明確な人間の要素があれば、TCSの研究者を出そうとするのではなく、例に基づいて適切な答えを出すようにコンピューターに教えるほうがよい場合があります従来のアルゴリズムの設計と分析によって取り組むことができる正式な計算問題を持ちます。 そのため、過去にアルゴリズムで行ってきたことも、正しい方法（そして唯一可能な方法）で進歩を遂げることが絶対に明らかであるアプリケーション領域（実際の直接的な産業アプリケーションが望ましい）とは何ですか？未来？ 機械学習手法でサブルーチンとして使用されるアルゴリズムは、明らかに将来性のある候補のように見えますが、これは使用する特定の機械学習手法に大きく依存しており、過去10年ほどで見たように、これは急速に変化する可能性があります。

23 ds.algorithms  soft-question  machine-learning 

グラフのプロパティのテストでは、アルゴリズムはターゲットグラフにエッジの有無を照会し、ターゲットが特定のプロパティを持っているか、またはプロパティを持たないあるかを判断する必要があります。（アルゴリズムは、片面又は両面エラーで成功するように依頼することができる。）Aグラフである -far性質を有するからならないエッジを作るために減算/追加することができますプロパティがあります。ϵϵ\epsilonϵϵ\epsilonϵ（ n2）ϵ（n2）\epsilon \binom{n}{2} プロパティは、サブリニア数のクエリで上記で指定された方法でテストできる場合、またはさらに良いことに、依存しないクエリ数（はない）でテストできる場合、テスト可能と呼ばれます。プロパティが何であるかという概念も形式化することができますが、明確にする必要があります。nnnϵϵ\epsilon テスト可能なプロパティを特徴付ける多くの結果があり、テスト可能な自然なプロパティの多くの例があります。ただし、テスト可能ではないことが知られている多くの自然特性（クエリの数が一定の場合など）には気づいていません-私がよく知っているのは、与えられたグラフへの同型のテストです。 だから、私の質問は次のとおりです。どのような自然なグラフのプロパティはテスト可能でないことが知られていますか？

22 cc.complexity-theory  machine-learning  query-complexity  property-testing 

これは、夏に取り組んでいるオンライン学習/盗賊の問題の抽象化です。このような問題は以前に見たことがなく、非常に興味深いようです。関連する作品をご存知の場合は、参考にしてください。 問題 設定は多腕バンディットの設定です。N本の腕があります。各アームiには、それをプレイすることで獲得できる報酬に対する未知の固定確率分布があります。具体的には、各アームiに確率p [i]で報酬$ 10を支払い、確率で$ 0に報酬を支払うと仮定します。1-p [i]。 すべてのラウンドtで、プレイする武器のセットS [t]を選択します。選択した各アームに対して、前払いで1ドルの料金を支払います。選択した各アームについて、そのアームの（未知の）報酬確率分布から引き出される報酬を収集します。すべての報酬は銀行口座に入金され、すべての手数料はその口座から差し引かれます。さらに、各反復の開始時に1ドルのクレジットを取得します。 問題は、各イテレーションでプレイする武器のサブセットを選択して、十分な期間にわたって利益を最大化する（つまり、報酬からプレイ費用を差し引く）ポリシーを作成することです。常時。 腕ごとの報酬分布が以前の分布から選択されるか、敵によって選択されるかを指定しませんでした。どちらの選択も理にかなっています。敵の定式化は私にとってより魅力的ですが、進歩するのはおそらく難しいでしょう。ここで、敵は分布のベクトル（D1、D2、..、DN）を選択します。配分を考えると、最適な予算バランスの方針は、予想される報酬が1ドルを超えるすべての武器をプレイすることです。Pをこの最適な全知ポリシーのステップごとの利益とします。私は、この全知のポリシーについて、後悔（つまり、時間枠Tでの利益の損失）を最小限に抑えるために、オンラインポリシーが必要です。

19 machine-learning  lg.learning  online-learning 

現在、数学を勉強しています。しかし、将来、プロの数学者になりたいとは思わない。数学の知識を人工知能の研究に応用することを考えています。しかし、数学コースを何回履修すればよいのかわかりません。（そして私が従うべきCS理論コース。） Quoraから、線形代数、統計、凸最適化の主題が機械学習に最も関連していることを学びました（この質問を参照）。人工知能を研究するには、線形代数、確率/統計、計算、基本アルゴリズム、およびロジックの学習が必要であると他の誰かが言及しました（この質問を参照）。 私の大学で数学の学士号を取得した最初の1.5年間で、これらすべての科目について学ぶことができます。 しかし、人工知能を研究するのに役立つ、または必要な大学院レベルの数学の科目の上位学部があるのではないかと思っていました。ODE、PDE、トポロジ、測定理論、線形解析、フーリエ解析、多様体の解析はどうですか？ いくつかの非常に高度な数学が人工知能の研究に役立つことを示唆している1つの本は、パターン理論です。DavidMumfordとAgnes Desolneuxによる現実世界の信号の確率的分析です（このページを参照）。マルコフ連鎖、区分的ガウスモデル、ギブス場、多様体、リー群、リー代数、およびパターン理論への応用に関する章が含まれています。この本はAIの研究にどの程度役立ちますか？

19 soft-question  machine-learning  ai.artificial-intel 

計算可能な数が有理数か整数かをアルゴリズムでテストすることはできますか？言い換えれば、それは道具計算数字は機能を提供するために、そのライブラリは可能でしょうisIntegerかisRational？ 私はそれが不可能であると推測し、これは何らかの形で2つの数値が等しいかどうかをテストすることができないという事実に関連していると推測していますが、それを証明する方法はわかりません。 編集：計算数はxxxの関数で与えられるfx(ϵ)fx(ϵ)f_x(\epsilon)の合理的な近似値を返すことができxxx高精度でϵϵ\epsilon：|x−fx(ϵ)|≤ϵ|x−fx(ϵ)|≤ϵ|x - f_x(\epsilon)| \leq \epsilonいずれについても、ϵ>0ϵ>0\epsilon > 0。このような関数を考えると、それがあれば、テストすることが可能であるx∈Qx∈Qx \in \mathrm{Q}またはx∈Zx∈Zx \in \mathrm{Z}？

18 computability  computing-over-reals  lambda-calculus  graph-theory  co.combinatorics  cc.complexity-theory  reference-request  graph-theory  proofs  np-complete  cc.complexity-theory  machine-learning  boolean-functions  combinatory-logic  boolean-formulas  reference-request  approximation-algorithms  optimization  cc.complexity-theory  co.combinatorics  permutations  cc.complexity-theory  cc.complexity-theory  ai.artificial-intel  p-vs-np  relativization  co.combinatorics  permutations  ds.algorithms  algebra  automata-theory  dfa  lo.logic  temporal-logic  linear-temporal-logic  circuit-complexity  lower-bounds  permanent  arithmetic-circuits  determinant  dc.parallel-comp  asymptotics  ds.algorithms  graph-theory  planar-graphs  physics  max-flow  max-flow-min-cut  fl.formal-languages  automata-theory  finite-model-theory  dfa  language-design  soft-question  machine-learning  linear-algebra  db.databases  arithmetic-circuits  ds.algorithms  machine-learning  ds.data-structures  tree  soft-question  security  project-topic  approximation-algorithms  linear-programming  primal-dual  reference-request  graph-theory  graph-algorithms  cr.crypto-security  quantum-computing  gr.group-theory  graph-theory  time-complexity  lower-bounds  matrices  sorting  asymptotics  approximation-algorithms  linear-algebra  matrices  max-cut  graph-theory  graph-algorithms  time-complexity  circuit-complexity  regular-language  graph-algorithms  approximation-algorithms  set-cover  clique  graph-theory  graph-algorithms  approximation-algorithms  clustering  partition-problem  time-complexity  turing-machines  term-rewriting-systems  cc.complexity-theory  time-complexity  nondeterminism 

私たちは知っている含めることを（今の約40年間、エーデルマン、ベネットとギルに感謝）BPP ⊆⊆\subseteq P /ポリ、そしてさらに強力なBPP /ポリ⊆⊆\subseteq P /ポリホールド。「/ poly」は不均一に動作することを意味します（入力長ごとに個別の回路）。この「/ poly」なしのPは、すべての可能な入力長に対して1つのチューリングマシンがあることを意味します。 =次の「ビッグバン」までの秒数。nnnnnnnnnn 質問1：BPP P / poly を知った後、BPP = Pの証明（または反証）が私たちの知識にどのような貢献をしますか？ ⊆⊆\subseteq 「新規」とは、他の複雑度クラスの崩壊/分離など、本当に驚くべき結果を意味します。これを、NP P / poly の証明/証明がもたらす結果と比較してください。 ⊆⊆\subseteq 【ADDED 2017年8月10日]は一の本当に驚くべき結果BPPは Pは、で示されるように、それをあろうImpagliazzoとWigderson、 すべての（！）で問題 E = DTIMEなければなりませんサイズ回路。この結果を思い出してくれたRyanに感謝します。[ 2 O （n ） ]⊈⊈\not\subseteq [2O(n)][2O(n)][2^{O(n)}]2o(n)2o(n)2^{o(n)} 質問2：BPP / poly \ subseteq P / poly の証明と同様の線に沿ってBPP = Pを証明できないのはなぜ ですか？ ⊆⊆\subseteq …

16 cc.complexity-theory  circuit-complexity  machine-learning  derandomization 

普遍近似定理により、単一の隠れ層と任意の活性化関数を持つニューラルネットワークでも、任意の連続関数を近似できることが知られています。 ユニバーサル関数近似器でもある他のモデルは何ですか

15 machine-learning  function  approximation 

バックグラウンド 関数は、深さd [1]の回路を学習するためにランダムに選択されたO （2 l o g （n ）O （d ））クエリを必要とする古典的アルゴリズムで準多項式時間でPAC学習可能です。2 n o （1 ）因数分解アルゴリズムがない場合、これは最適です[2]。もちろん、量子コンピューターでは因数分解する方法がわかっているので、この下限は役に立ちません。さらに、最適な古典的アルゴリズムは関数のフーリエスペクトルを使用するため、「量子化してください！」と叫びます。A C0AC0AC^0O （2L O G（n ）O （d））O（2log（n）O（d））O(2^{log(n)^{O(d)}})2no （1 ）2no（1）2^{n^{o(1)}} [1] N.リニアル、Y。マンスール、N。ニサン。[1993]「定深度回路、フーリエ変換、学習可能性」、Journal of the ACM 40（3）：607-620。 [2] M.ハリトノフ。[1993]「分布固有の学習の暗号の難しさ」、Proceedings of ACM STOC'93、pp。372-381。 実際、6年前、Scott Aaronsonは学習可能性を量子コンピューティング理論の10のセミグランドチャレンジの 1つとしています。A C0AC0AC^0 質問 私の質問は3つあります。 1）量子コンピューターが暗号化の仮定を与えられた古典的なコンピューターよりも速く学習できる自然な関数族の例はありますか？ 2）学習可能性に特に進展はありましたか？（または少し野心的なT C 0）A C0AC0AC^0TC0TC0TC^0 3）学習可能性に関して、アーロンソンは次のようにコメントしている。誰かがニューラルネットとT C 0回路の重み更新がどのように関連するかについてのリファレンスを提供できますか？（しきい値ゲートがシグモイドニューロンのように見えるという事実は別として）TC0TC0TC^0TC0TC0TC^0（この質問はすでに質問され、回答されています）

15 quantum-computing  lg.learning  machine-learning  open-problem  ne.neural-evol 

編集：私は一週間で応答/コメントを受け取っていないので、私は問題について何か聞いて満足していることを追加したいと思います。私はその地域で働いていないので、たとえそれが単純な観察であっても、私はそれを知らないかもしれません。「私はその地域で働いていますが、このような特徴は見ていません」というようなコメントさえあれば役立つでしょう！ バックグラウンド： 学習理論には、よく学習された学習モデルがいくつかあります（たとえば、PAC学習、オンライン学習、メンバーシップ/等価クエリを使用した正確な学習）。 たとえば、PAC学習では、概念クラスのサンプルの複雑さは、クラスのVCディメンションの観点からすてきな組み合わせ特性を備えています。したがって、一定の精度と信頼度でクラスを学習したい場合は、サンプルで行うことができます。ここで、dはVC次元です。（時間の複雑さではなく、サンプルの複雑さについて話していることに注意してください。）精度と信頼性に関して、より洗練された特性もあります。同様に、オンライン学習のミスバウンドモデルには、優れた組み合わせ特性があります。Θ(d)Θ(d)\Theta(d)ddd 質問： メンバーシップクエリを使用した正確な学習のモデルで同様の結果が知られているかどうかを知りたい。モデルは次のように定義されます：入力f （x ）を与えるブラックボックスにアクセスできます。fがいくつかのコンセプトクラスCに由来することはわかっています。できるだけ少ないクエリでfを決定します。xxxf(x)f(x)f(x)fffCCCfff メンバーシップクエリを使用した正確な学習のモデルで概念を学習するために必要なクエリの数を特徴付ける概念クラス組み合わせパラメータはありますか？CCC 私が知っていること： 私が見つけたそのような最高の特性評価は、本稿のServedioとGortlerによるもので、Bshouty、Cleve、Gavaldà、Kannan、Tamonに帰属するパラメーターを使用しています。彼らは、と呼ばれる、コンビナトリアルパラメータ定義、Cは、以下の性質を持つ概念クラスですが、。（このモデルでCを学習するために必要なクエリの最適数をQ Cとします。）γCγC\gamma^CCCCQCQCQ_CCCC QC=Ω(1/γC)QC=Ω(log|C|)QC=O(log|C|/γC)QC=Ω(1/γC)QC=Ω(log⁡|C|)QC=O(log⁡|C|/γC)Q_C = \Omega(1/\gamma^C)\qquad Q_C = \Omega(\log |C|) \qquad Q_C = O(\log |C|/\gamma^C) この特性評価はほぼ厳密です。ただし、上限と下限の間に2次ギャップが生じる可能性があります。たとえば場合は場合、下限はΩ （k ）ですが、上限はO （k 2）です。（このギャップは達成可能だと思います。つまり、下限は両方ともΩ （k ）ですが、上限はO （k 2）である概念クラスが存在します。）1/γC=log|C|=k1/γC=log⁡|C|=k1/\gamma^C = \log |C| = kΩ(k)Ω(k)\Omega(k)O(k2)O(k2)O(k^2)Ω(k)Ω(k)\Omega(k)O(k2)O(k2)O(k^2)

15 reference-request  machine-learning  lg.learning 

確率伝播は、確率的グラフィカルモデルの研究を通じて非常に強力な方法であることが示されています。 ただし、BPについては#P完全問題の完全な多項式ランダム化近似スキーム（FPRAS）を使用できるMCMCメソッドに匹敵するものは何も知りません。 誰かが私にいくつかの参考文献を教えてくれますか？

14 cc.complexity-theory  reference-request  graph-algorithms  machine-learning  st.statistics 

機械学習/データマイニングの専門家はPとNPに精通しているようですが、より微妙な複雑度クラス（NC、BPP、またはIPなど）のいくつかと、データを効果的に分析するための影響についてはめったに話しません。これを行う仕事の調査はありますか？

13 cc.complexity-theory  reference-request  machine-learning 

分布特性P（[N]上のすべての分布のちょうどいくつかのサブセットである）のためのアルゴリズムを試験分布は、いくつかの分布Dに従ってサンプルへのアクセスを許可され、そして場合（WHP）を決定するために必要とされるD∈PD∈PD\in Pまたはd(D,P)>ϵd(D,P)>ϵd(D,P)>\epsilon（dddここでは、通常、ℓ1ℓ1\ell_1距離）。複雑さの最も一般的な尺度は、アルゴリズムで使用されるサンプルの数です。 現在、オブジェクトへのクエリアクセスがある標準のプロパティテストでは、クエリの複雑さの線形下限は、可能な限り最も強い下限です。これは、nnnクエリがオブジェクト全体を明らかにするためです。これは配布テストにも当てはまりますか？ 私の知る限り、分布の特性をテストするための「自明な」上限はO(n2logn)O(n2log⁡n)O(n^2\log n) --- Chernoff境界により、これはDに近い分布D 'を「書き留める」のに十分ですℓ1ℓ1\ell_1の距離、およびそこに近いPであるD」に任意の分布である（これは無限の時間がかかる場合がありますが、これはサンプルの複雑さとは無関係である）場合、我々は単に確認することができます。 すべての分布プロパティに対してより良い「簡単な」テストはありますか？ サンプルの下限が線形よりも強いことがわかっている分布特性はありますか？

13 cc.complexity-theory  machine-learning  query-complexity  property-testing