タグ付けされた質問 「machine-learning」

Vapnik-Chervonenkis（VC）-dimensionニューラルネットワークのための式の範囲にと、最悪の場合、でエッジの数であり、ノードの数です。一般化を強力に保証するために必要なトレーニングサンプルの数は、VC次元に比例します。O （E）O（E）O(E)O （E2）O（E2）O(E^2)O （E2V2）O（E2V2）O(E^2V^2)EEEVVV つまり、成功するディープラーニングモデルの場合のように、数十億のエッジを持つネットワークの場合、トレーニングデータセットには、最良の場合は数十億、最悪の場合は数千個のトレーニングサンプルが必要です。現在、最大のトレーニングセットには約1,000億のサンプルがあります。十分なトレーニングデータがないため、深層学習モデルが一般化されている可能性は低いです。代わりに、彼らはトレーニングデータをオーバーフィットしています。これは、モデルがトレーニングデータとは異なるデータに対してうまく機能しないことを意味します。これは、機械学習にとって望ましくない特性です。 深層学習が一般化できないことを考えると、VCの次元分析によれば、なぜ深層学習の結果はそれほど誇大宣伝されているのでしょうか？一部のデータセットで単に高い精度を持っているだけでは、それだけでは意味がありません。深層学習アーキテクチャについて、VC次元を大幅に削減する特別なものはありますか？ VC次元分析に関連性がないと思われる場合は、深層学習が一般化されており、過剰適合ではないという証拠/説明を提供してください。すなわち、それは良いリコールと精度を持っていますか、それとも単に良いリコールを持っていますか？100％の再現率は、100％の精度と同様、簡単に達成できます。両方を100％に近づけることは非常に困難です。 反対の例として、ディープラーニングが過剰適合であるという証拠があります。過適合モデルは、決定論的/確率的ノイズを組み込んでいるので、だまされやすいです。オーバーフィッティングの例については、次の画像を参照してください。 また、テストデータの精度が高いにもかかわらず、オーバーフィットモデルの問題を理解するには、この質問に対する下位の回答を参照してください。 正則化が大きなVC次元の問題を解決すると回答した人もいます。詳細については、この質問を参照してください。

86 machine-learning  vc-dimension 

今日、遺伝的アルゴリズムの使用を含むいくつかのイントロレベルのトピックを議論している間; この分野の研究は本当に遅れていると言われました。理由は、ほとんどの人が機械学習とデータマイニングに集中しているためです。 更新：これは正確ですか？もしそうなら、ML / DMはGAと比較してどのような利点がありますか？

45 machine-learning  data-mining  evolutionary-computing  history 

1987年の独創的な論文で、Dana Angluinは、メンバーシップクエリと理論クエリ（提案されたDFAの反例）からDFAを学習するための多項式時間アルゴリズムを提示しています。 彼女は、nnn状態を持つ最小DFAを学習しようとしており、最大のカウント例の長さがmmmである場合、O(mn2)O（mn2）O(mn^2)メンバーシップクエリと最大理論クエリを作成する必要があることを示しています。n−1n−1n - 1 通常のセットを学習するために必要なクエリの数が大幅に改善されましたか？ 参考資料と関連質問 Dana Angluin（1987）「クエリおよび反例からの正規集合の学習」、Infortmation and Computation 75：87-106 メンバーシップクエリおよび反例モデルで学習するための下限

33 algorithms  learning-theory  machine-learning 

完全に接続された（少なくとも2つ以上の隠れ層がある層から層へ）バックプロップネットワークは、普遍的な学習者です。残念ながら、彼らはしばしば学習が遅く、過度に適合したり、扱いにくい一般化を持つ傾向があります。 これらのネットワークにだまされてから、エッジの一部を枝刈りすることで（重みがゼロで変更できないように）、ネットワークの学習が速くなり、一般化が促進される傾向があることを確認しました。これには理由がありますか？それは、ウェイト検索スペースの次元の減少のためだけですか、それとももっと微妙な理由がありますか？ また、より良い一般化は、私が見ている「自然な」問題の成果物ですか？

29 machine-learning  network-topology  neural-networks 

私は、「提案された友人」アルゴリズムに取り組むアプローチを決定することに興味があります。 Facebookには、知り合いかもしれないと思う個人を推薦する機能があります。これらのユーザーは、通常（ユーザーが友人を特に推奨するエッジケースを除く）、自分と非常によく似たネットワークを持っています。つまり、共通の友人の数が多い。Twitterは「Who To Follow」メカニズムについても同様の道をたどっていると思います。 Facebookの従業員であるStephen Doyle（Igy）は、外見などの友人よりも評価することがEdgeRankの公式を使用している関連ニュースフィードは同様の投稿であることを提案しました。別のユーザーがGoogleランクシステムを提案しました。 Facebookは、ニュースフィードの最適化を述べてい。Σ Uewede∑uewede\sum u_{e}w_{e}d_{e} あなたはeueu_{e} =閲覧ユーザーとエッジ作成者間のアフィニティスコア =このエッジの重み（作成、コメント、いいね、タグなど） =エッジが作成された時間に基づく時間減衰係数 wewew_{e} deded_{e} これらのアイテムを合計すると、オブジェクトのランクが得られるはずです。これは、Igyが示唆したように、同様の形式の何かが提案された友人に使用されることを意味します。 だから私はこれがすべてのタイプの接続がランクシステムを介して一般的に行われる方法であると推測していますか？

29 algorithms  machine-learning  modelling  social-networks 

現在、時系列予測（特にForex）をいじっています。外国為替予報に適用されるエコー状態ネットワークに関する科学論文をいくつか見ました。この目的のために他の優れた機械学習アルゴリズムはありますか？ 時系列から「収益性のある」パターンを抽出することも興味深いでしょう。

28 reference-request  machine-learning  artificial-intelligence 

ウィキペディアと私が見つけた他のソースはvoid、空のタイプではなくユニットタイプとしてリストCのタイプを見つけました。void空の/下の型の定義によりよく適合するように思えるので、この混乱を見つけます。 void私が知る限り、値は存在しません。 戻り値の型がvoidの関数は、関数が何も返さないため、何らかの副作用しか実行できないことを指定します。 タイプのポインターvoid*は、他のすべてのポインタータイプのサブタイプです。また、void*C との間の変換は暗黙的です。 最後の点voidに、空の型であることの引数としてのメリットがあるかどうかはわかりvoid*ませんvoid。 一方、voidそれ自体は他のすべてのタイプのサブタイプではありません。これは、タイプがボトムタイプであるための要件であると言えます。

28 type-theory  c  logic  modal-logic  coq  equality  coinduction  artificial-intelligence  computer-architecture  compilers  asymptotics  formal-languages  asymptotics  landau-notation  asymptotics  turing-machines  optimization  decision-problem  rice-theorem  algorithms  arithmetic  floating-point  automata  finite-automata  data-structures  search-trees  balanced-search-trees  complexity-theory  asymptotics  amortized-analysis  complexity-theory  graphs  np-complete  reductions  np-hard  algorithms  string-metrics  computability  artificial-intelligence  halting-problem  turing-machines  computation-models  graph-theory  terminology  complexity-theory  decision-problem  polynomial-time  algorithms  algorithm-analysis  optimization  runtime-analysis  loops  turing-machines  computation-models  recurrence-relation  master-theorem  complexity-theory  asymptotics  parallel-computing  landau-notation  terminology  optimization  decision-problem  complexity-theory  polynomial-time  counting  coding-theory  permutations  encoding-scheme  error-correcting-codes  machine-learning  natural-language-processing  algorithms  graphs  social-networks  network-analysis  relational-algebra  constraint-satisfaction  polymorphisms  algorithms  graphs  trees 

クラスタリング方法を理解しようとしています。 私が理解したと思うII： 教師あり学習では、計算前に既知のカテゴリ/ラベルデータが割り当てられます。そのため、これらのクラスターにとって本当に重要なパラメーターを「学習」するために、ラベル、クラス、またはカテゴリーが使用されています。 教師なし学習では、クラスターを認識せずに、データセットがセグメントに割り当てられます。 つまり、どのパラメーターがセグメンテーションに重要であるかさえわからない場合、教師あり学習を好む必要があるということですか？

28 machine-learning  data-mining  clustering 

ペアのセットがあります。各ペアの形式は（x、y）で、x、yは範囲の整数に属します[0,n)。 したがって、nが4の場合、次のペアがあります。 (0,1) (0,2) (0,3) (1,2) (1,3) (2,3) 私はすでにペアを持っています。次に、n/2整数が繰り返されないようにペアを使用して組み合わせを作成する必要があります（つまり、各整数は最終的な組み合わせで少なくとも1回出現します）。理解を深めるための正しい組み合わせと間違った組み合わせの例を次に示します 1. (0,1)(1,2) [Invalid as 3 does not occur anywhere] 2. (0,2)(1,3) [Correct] 3. (1,3)(0,2) [Same as 2] ペアができたら、可能性のあるすべての組み合わせを生成する方法を誰かが提案できますか？

28 algorithms  graphics  data-structures  computational-geometry  operating-systems  process-scheduling  algorithms  sorting  database-theory  relational-algebra  finite-model-theory  logic  automata  linear-temporal-logic  buchi-automata  complexity-theory  np-complete  decision-problem  machine-learning  algorithms  pattern-recognition  logic  formal-languages  formal-grammars  context-free 

私はこの多くを研究しましたが、機械学習でのアクションの過剰適合は悪いと言いますが、ニューロンは非常に強くなり、私たちが通り抜けたり回避したりする最高のアクション/感覚を見つけ、さらに悪いからデクリメント/インクリメントすることができます/ goodまたはbadトリガーによって、アクションが平準化され、最高の（右）、非常に強い自信のあるアクションになります。これはどのように失敗しますか？これは、正と負のセンストリガーを使用して、44posからのアクションをデ/再インクリメントします。22negに。

27 machine-learning  statistics 

LSTMネットワークのハイパーパラメーターの1つは温度です。それは何ですか？

25 machine-learning  neural-networks 

イーグルスは、70年代および80年代のロックスーパーグループであり、Hotel Californiaなどのクラシックを担当しています。それらには、ギタリストのジョー・ウォルシュがいる（たとえば、Life in the Fast Laneにある）ものと、彼がいない2つの非常に特徴的な音があります。後者の曲は、より陰鬱で退屈な感じがします。 （教師なし）学習アルゴリズムが2つの音の違いを検出できる程度を理解したいと思います。スピードメタルとクラシック音楽の違いは簡単にわかると思いますが、同じバンドのサウンドはどうでしょうか。 そのような実験をどのように設定しますか？何らかの標準形式の関連オーディオファイルが既にあると仮定します。 これは、1980年にリードシンガーを変更したAC / DCなど、他のロックグループにも当てはまることに注意してください。

23 machine-learning  modelling 

ニューラルネットワーク、深層学習システム、深層信念ネットワークの違いは何ですか？ 私が思い出したように、基本的なニューラルネットワークは3層のようなものであり、Deep Belief Systemsが互いに積み重ねられたニューラルネットワークであると説明しました。 最近、ディープラーニングシステムについて聞いたことがありませんが、Deep Belief Systemの同義語だと強く思います。誰でもこれを確認できますか？

23 machine-learning  neural-networks  boltzmann-machine 

ベイジアンネットワークの背後にある理論を理解し、実際に構築するのに何が必要か疑問に思っています。この例では、100個の離散確率変数のベイジアン（有向）ネットワークがあるとします。各変数は、最大10個の値のいずれかを取ることができます。 すべてのノードをDAGに保存し、各ノードについて条件付き確率テーブル（CPT）を保存しますか？一部のCPTが変更されたときに（DAGで使用されるものとは別に）値の効率的な計算を保証するために使用する必要がある他のデータ構造はありますか？

22 data-structures  machine-learning 

この質問は、コンピューターサイエンススタック交換で回答できるため、人工知能スタック交換から移行されました。 5年前に移行され ました。 遺伝的アルゴリズムのほとんどの実装では、焦点は交差と突然変異にあります。しかし、どういうわけか、それらのほとんどは二倍体（優性/劣性）遺伝子の性質を除外しています。私の（限られた）理解に関する限り、遺伝子の優性/劣性の性質は、生物の実際の特性を決定する上で非常に重要な要素です。 だから私の質問は、ほとんどの実装で遺伝子の二倍体の性質が遺伝的アルゴリズムから除外されているのはなぜですか？ 理由は： それは多くの利点を提供しません それ以外の場合は単純なアルゴリズムに不必要な複雑さを追加します 実装が難しい それとも完全に何か？

20 machine-learning  genetic-algorithms