タグ付けされた質問 「deep-learning」

BERTは双方向（双方向トランスフォーマーを使用）なので、次の単語予測タスクに使用できますか？はいの場合、何を調整する必要がありますか？

11 neural-network  deep-learning  attention-mechanism  transformer  bert 

「私が犯すであろうよくある間違いの1つは、ロジット出力に非線形性を追加することです。」 ここで「ロジット」という用語は何を意味するのか、それが何を意味するのか？

11 machine-learning  deep-learning 

閉じた。この質問はより集中する必要があります。現在、回答を受け付けていません。 この質問を改善したいですか？この投稿を編集するだけで1つの問題に焦点を当てるように質問を更新します。 5年前に閉鎖されました。 ほとんどの言語では、いくつかの科学計算ライブラリが利用できるようです。 Pythonは Scipy Rust 持っている SciRust C++持っているなど、いくつかのViennaCLとArmadillo Java持っているJava NumericsとColtだけでなく、他のいくつかの 以下のような言語は言うまでもありませんRし、Julia科学技術計算のために明示的に設計されています。 非常に多くのオプションを使用して、タスクに最適な言語をどのように選択しますか？さらに、どの言語が最もパフォーマンスが高くなりますか？PythonそしてR宇宙の中で最も牽引力を持っているように見えるが、それは、より良い選択となるように、論理的にコンパイルされた言語がそうです。そして、これまでに何よりも優れているFortranでしょうか？さらに、コンパイルされた言語はGPUアクセラレーションを備えている傾向がありますが、インタープリター言語はそうではRありPythonません。言語を選択するときは何を考慮すればよいですか。また、ユーティリティとパフォーマンスのバランスが最も良い言語はどれですか。また、私が見逃した重要な科学計算リソースを持つ言語はありますか？

10 efficiency  statistics  tools  knowledge-base  machine-learning  neural-network  deep-learning  optimization  hyperparameter  machine-learning  time-series  categorical-data  logistic-regression  python  visualization  bigdata  efficiency  classification  binary  svm  random-forest  logistic-regression  data-mining  sql  experiments  bigdata  efficiency  performance  scalability  distributed  bigdata  nlp  statistics  education  knowledge-base  definitions  machine-learning  recommender-system  evaluation  efficiency  algorithms  parameter  efficiency  scalability  sql  statistics  visualization  knowledge-base  education  machine-learning  r  python  r  text-mining  sentiment-analysis  machine-learning  machine-learning  python  neural-network  statistics  reference-request  machine-learning  data-mining  python  classification  data-mining  bigdata  usecase  apache-hadoop  map-reduce  aws  education  feature-selection  machine-learning  machine-learning  sports  data-formats  hierarchical-data-format  bigdata  apache-hadoop  bigdata  apache-hadoop  python  visualization  knowledge-base  classification  confusion-matrix  accuracy  bigdata  apache-hadoop  bigdata  efficiency  apache-hadoop  distributed  machine-translation  nlp  metadata  data-cleaning  text-mining  python  pandas  machine-learning  python  pandas  scikit-learn  bigdata  machine-learning  databases  clustering  data-mining  recommender-system 

私はASL（アメリカ手話）ジェスチャーを分類するためのジェスチャー認識システムを構築しようとしているので、入力はカメラまたはビデオファイルからの一連のフレームであると想定されており、シーケンスを検出して対応するものにマッピングしますクラス（睡眠、助け、食べる、走るなど） 問題は、私がすでに同様のシステムを構築したことですが、静止画像（モーションは含まれません）の場合、手があまり動かず、CNNの構築が単純なタスクであるアルファベットの翻訳にのみ役立ちました。データセットの構造も私がケラスを使用していて、おそらくそうするつもりだったので管理可能でした（すべてのフォルダーには特定の標識の画像のセットが含まれており、フォルダーの名前はこの標識のクラス名です：A、B、C 、..） ここでの私の質問、データセットを整理してケラのRNNに入力できるようにするにはどうすればよいですか？モデルと必要なパラメーターを効果的にトレーニングするためにどの特定の関数を使用すればよいですか？TimeDistributedクラスの使用を提案した人もいますが私の好みに合わせてそれを使用する方法について明確なアイデアを持ち、ネットワーク内のすべてのレイヤーの入力形状を考慮に入れます。 また、私のデータセットが画像で構成されることを考えると、たぶん畳み込み層が必要になるでしょう。どのようにしてconv層をLSTM層に組み合わせることが実現可能でしょうか（つまり、コードの観点から）。 たとえば、私は私のデータセットがこのようなものであると想像します 「Run」という名前のフォルダーには3つのフォルダー1、2、3が含まれ、各フォルダーはシーケンスのフレームに対応しています だからRUN_1は、最初のフレームの画像のいくつかのセットが含まれます、RUN_2は、 2フレーム目のためにRun_3第三のために、私のモデルの目的は、単語を出力する。このシーケンスで訓練されるファイル名を指定して実行。

10 neural-network  deep-learning  keras  rnn  lstm 

私はKerasの使用方法を学んでおり、CholletのDeep Learning for Pythonの例を使用して、ラベル付けされたデータセットで妥当な成功を収めました。データセットは、3つの潜在的なクラスを含む長さ3125の〜1000時系列です。 予測率が約70％になる基本的な高密度レイヤーを超えて、LSTMレイヤーとRNNレイヤーについて説明します。 すべての例では、各時系列に複数の機能を持つデータセットを使用しているようであり、結果としてデータを実装する方法を見つけるのに苦労しています。 たとえば、1000x3125の時系列がある場合、それをSimpleRNNやLSTMレイヤーなどにフィードするにはどうすればよいですか？これらのレイヤーの機能に関する基本的な知識が不足していますか？ 現在のコード： import pandas as pd import numpy as np import os from keras.models import Sequential from keras.layers import Dense from keras.layers import LSTM, Dropout, SimpleRNN, Embedding, Reshape from keras.utils import to_categorical from keras import regularizers from sklearn.model_selection import train_test_split import matplotlib.pyplot as plt …

10 python  deep-learning  time-series  lstm  rnn 

平面テーブル上に複数のオブジェクトを含む画像があり、各オブジェクトのセグメンテーションマスクの出力が望ましいアルゴリズムを実装しようとしています。CNNとは異なり、ここでの目的は、なじみのない環境でオブジェクトを検出することです。この問題への最善のアプローチは何ですか？また、オンラインで利用可能な実装例はありますか？ 編集：申し訳ありませんが、質問は少し誤解を招く可能性があります。「なじみのない環境」とは、オブジェクトがアルゴリズムにとって未知である可能性があるということです。アルゴリズムはオブジェクトが何であるかを理解する必要はありませんが、オブジェクトを検出するだけです。この問題にどのように取り組むべきですか？

10 machine-learning  deep-learning  cnn  computer-vision  object-detection 

なんらかの理由で、AlphaGo Zeroはその驚くべき結果にもかかわらず、元のAlphaGoほど宣伝されていません。一から始めると、それはすでにAlphaGoマスターに勝っており、他の多くのベンチマークに合格しています。さらに驚くべきことに、これは40日で完了します。Googleはこれを「間違いなく世界最高のGoプレーヤー」と名付けています。 DeepMindは、これは「新しい形の強化学習」であると主張しています。この手法は本当に新しいものですか？または、この手法が使用された時期は他にもあります。その場合、その結果はどうでしたか？私が話している要件は、1）人間の介入なし、2）歴史的な遊びなしですが、これらは柔軟です。 これは同様の質問のようですが、すべての回答はAlphaGo Zeroがその種の最初のものであるという仮定から始まるようです。

10 machine-learning  deep-learning 

私はケラスの初心者であり、ライブラリが実際にどのように機能するかを理解するためにMNISTの例から始めました。Kerasサンプルフォルダー内のMNIST問題のコードスニペットは次のようになります。 import numpy as np np.random.seed(1337) # for reproducibility from keras.datasets import mnist from keras.models import Sequential from keras.layers import Dense, Dropout, Activation, Flatten from keras.layers import Convolution2D, MaxPooling2D from keras.utils import np_utils batch_size = 128 nb_classes = 10 nb_epoch = 12 # input image dimensions img_rows, img_cols = 28, …

10 python  neural-network  deep-learning  keras 

オートエンコーダの変換に関するGeoff Hintonの論文を読んだところです Hinton、Krizhevsky、Wang：Transforming Auto- encoders 。人工ニューラルネットワークと機械学習、2011年。 そして、このようなもので遊んでみたいと思います。しかし、それを読んでも、実際にそれを実装する方法についての紙から十分な詳細を得ることができませんでした。 入力ピクセルとカプセルのマッピングがどのように機能するかを知っている人はいますか？ 認識ユニットで正確に何が起こっているべきですか？ どのように訓練する必要がありますか？すべての接続間の標準のバックプロップですか？ さらに良いのは、これまたは同様の何かのソースコードへのリンクです。

10 neural-network  deep-learning  autoencoder 

私は現在ニューラルネットワークをトレーニングしていますが、早期停止基準を実装するためにどちらを使用するかを決定できません：検証の損失、または精度/ f1score / auc /検証セットで計算されたものなどのメトリック。 私の研究では、両方の立場を擁護する記事に出くわしました。Kerasはデフォルトで検証の損失に思われますが、私は反対のアプローチ（例：ここ）についても説得力のある答えに出くわしました。 誰でも、検証ロスを使用するタイミングと特定のメトリックを使用するタイミングについて指示がありますか？

10 machine-learning  neural-network  deep-learning  classification 

私はたたみ込みニューラルネットワークについて学んでいます。Keras例を見ると、3つの異なる畳み込み方法に出くわしました。つまり、1D、2D、3Dです。これらの3つのレイヤーの違いは何ですか？それらのユースケースは何ですか？使用例を示すリンクまたは参照はありますか？

10 machine-learning  neural-network  deep-learning  keras  cnn 

私は、Ilya SutskeverとQuoc Leによる基幹論文Sequence to Sequence Learning with Neural Networksを読んでいます。最初のページで、それは簡単に述べています： A surprising example of the power of DNNs is their ability to sort N N-bit numbers using only 2 hidden layers of quadratic size 2つの非表示レイヤーのみを使用して数値を並べ替える方法を簡単に説明できますか？

10 deep-learning 

私は「Scikit-LearnとTensorFlowを使用した実践的な機械学習」というタイトルの本を読み、第11章で、ELU（Exponential ReLU）の説明について次のように説明しています。 第3に、関数はz = 0付近を含むすべての場所で滑らかであり、z = 0の左と右にそれほど跳ね返らないため、勾配降下の高速化に役立ちます。 z上のグラフのX軸を意味します。z < 0ラインには曲線があり、その領域では微分はもはやに等しくないため、微分は滑らかであることを理解してい0ます。 しかし、関数が「z = 0付近を含め、どこでも滑らか」である場合、勾配降下が高速になるのはなぜですか？

10 deep-learning  gradient-descent 

でははじめに私は変更されました loss = tf.reduce_mean(tf.square(y - y_data)) に loss = tf.reduce_mean(tf.abs(y - y_data)) モデルは、時間とともに損失が大きくなることを学習できません。どうして？

10 neural-network  deep-learning  tensorflow 

定義により、Reluはmax(0,f(x))です。次に、その勾配は次のように定義されます 1 if x > 0 and 0 if x < 0。 これは、x <0の場合、勾配が常に0（消失）であることを意味しませんか？では、なぜReluは勾配消失問題に悩まされていないのでしょうか。

10 deep-learning