タグ付けされた質問 「deep-learning」

私は数学の博士号を取得しています。卒業後、データサイエンティストとして業界に行きたい学生。質問をする前に、私の教育の背景を簡単に説明し、理解を深めます。 数学コースワーク： これは主に純粋な数学で行われました：トポロジー、機能分析などですが、より多くの応用されたもの（私が論文に特化したもの）も含まれます：凸最適化、非線形プログラミング、数値解析、線形プログラミング、多目的最適化。また、現時点では推論統計の知識はありませんが、確率論には自信があります。 プログラミング： 私は学士号で1年のコースを受講したばかりですが、それはほとんどMathematicaといくつかのJavaでしたが、正直なところ何も覚えていません。このコースの内容には、データ構造やアルゴリズムの設計と分析、データベース管理システムは含まれていません。また、学士論文でアルゴリズムを実装するために自分でMatlabを学びました。 上記の背景は、学士号と修士号のプログラム中のものです。今、博士号の間 プログラムでは、機械学習が非線形最適化、プログラミング、および現実世界のアプリケーションの間の（私にとって）完璧な組み合わせであることを発見しました。つまり、機械学習は理論的に興味深く、アプリケーション指向です。これが私が産業界に行くことにとても興奮した理由です。したがって、私は過去3年間で、自分のことを（少しの自由な時間に）自分で学び始めました。 学んだことの短い要約： Python：最適化アルゴリズムを実装し、jupyterノートブックとnumpyライブラリを操作し（実際、論文のためにこれを行わなければなりませんでした）、パンダで基本的なデータ操作とクリーニングタスクを行うことに慣れています。これは、dataquest（https://app.dataquest.io）というプラットフォームでオンラインで学びました。ただし、データ構造とアルゴリズムのインタビューに合格するための十分な知識がないと思います（上記を参照）。 機械学習：私は大学のトピックのマスターレベルのコースを受講しました（私はドイツにいるため、博士課程にはコースがないので、これはすべて私の個人的な時間でした）、それは本当に楽しかったです。含まれるトピック：k-NN、PCA、SVM、NNなど 今学期のデータベースのコースは、SQLに焦点を当てています。 今学期は、Courseraのディープラーニング専門分野を受講します。 最後に、私はトピックを完全に学ぶことができると感じていると言いたいです。実際、時間の経過とともに、オンラインで利用できる大学院レベルのコース（たとえば、スタンフォードCS231N、CS234など）を受講するつもりです。私の意見では、オンラインコースは十分に厳格ではない可能性があるためです。うまくいけば、防衛の後、私はこれにフルタイムで集中することができるでしょう。 したがって、質問： この時点でまだ雇用できますか（つまり、上記の知識でこの学期を終えた後）？正直、まだ準備は出来ていないと思いますが、1年で上手くいけると自信を持っています。 会社が私にチャンスを与えると考えるのがあまりにも単純すぎるのですか？ どうしてもヒラブルになるにはどうすればいいですか？

9 machine-learning  deep-learning  data-cleaning  data-analysis  reference-request 

クリスチャン・レディグらによる論文「写実的単一画像超解像生成的敵対的ネットワークを使用した超解像」では、（損失関数で使用される）画像間の距離は、VGG19ネットワークから抽出された特徴マップから計算されます。この記事で使用されている2つは（少し混乱しますが）VGG22とVGG54と呼ばれています。 これらの機能マップとは何ですか？ 「22」と「54」の意味は何を意味しますか？

9 deep-learning  cnn  gan 

あなたは、n個のニューロンと入力層を有し、第一の中間層があるとし典型的で、ニューロンを。次に、次のにして、隠れ層の番目のニューロンの作動を計算します。m &lt; n a j jmmmm&lt;nm&lt;nm < najaja_jjjj aj=f(∑i=1..nwi,jxi+bj)aj=f(∑i=1..nwi,jxi+bj)a_j = f\left(\sum\limits_{i=1..n} w_{i,j} x_i+b_j\right)、ここではまたはような活性化関数です。tanh シグモイドffftanhtanh\tanhsigmoidsigmoid\text{sigmoid} ネットワークをトレーニングするには、で示される入力の再構成を計算し、と間の誤差を最小化します。ここで、番目の要素は通常、次のように計算されます。z x i zzzzzzzxxxiiizzz zi=f(∑j=1..mw′j,iaj+b′i)zi=f(∑j=1..mwj,i′aj+bi′) z_i = f\left ( \sum\limits_{j=1..m} w_{j,i}' a_j+b'_i \right) なぜ再構築されたは通常、逆関数を使用する代わりに同じ活性化関数を使用して計算されるのか、なぜ結合された重みとバイアスを使用する代わりに別々のとが役立つのでしょうか？次のように、逆活性化関数を使用して再構築を計算すること（たとえば、）を実行する方がはるかに直感的です。w ′ b ′ f − 1アークタンzzzw′w′w'b′b′b'f−1f−1f^{-1}arctanharctanh\text{arctanh} z′i=∑j=1..mf−1(aj)−bjwTj,izi′=∑j=1..mf−1(aj)−bjwj,iT z_i' = \sum\limits_{j=1..m} \frac{f^{-1}(a_j)-b_j}{w_{j,i}^T} ここでは、結合された重み、つまりw '= w ^ Tが使用され、入力層に追加のバイアスセットを導入する代わりに、隠れ層のw′=wTw′=wTw' = w^Tバイアスb_jが使用されることに注意してくださいbjbjb_j。 そして、非常に関連する質問：再構成を計算する代わりに、フィーチャを視覚化するために、通常、隠れ層の次元を使用して単位行列を作成します。次に、行列の各列を再活性化関数への入力として使用し、入力ニューロンに出力を誘導します。再活性化関数については、同じ活性化関数（またはziziz_i）または逆関数（それぞれz′izi′z'_i）を使用する方が良いでしょうか？

9 machine-learning  visualization  deep-learning  autoencoder 

ディープニューラルネットワークでドロップアウトを実装する方法を探しています。直感に反するものが見つかりました。フォワードフェーズでは、1と0のランダムテンソルを使用してマスクをアクティブ化し、ネットに重みの平均を学習させます。これは、ネットをより一般化するのに役立ちます。ただし、勾配降下の更新フェーズでは、アクティブ化はマスクされません。これは私には直観に反するようです。dropoutを使用して接続のアクティブ化をマスクする場合、勾配降下フェーズをマスクしないのはなぜですか？

9 neural-network  deep-learning  gradient-descent 

LSTMネットワークがどのように機能するかを学習しようとしています。基本を理解しても、内部構造の詳細はわかりません。 このブログリンクで、私はこのLSTMアーキテクチャのスキームを見つけました 明らかに、すべての円はLSTMこのような個々のユニットに対応している必要があります これは正しいです？ セル内の各ユニットは他のユニットから独立していますか？または、彼らは情報を共有しますか？ 次の構成があるとします。サンプル数= 1000時間ステップ数= 10特徴数= 5 この場合、セルの各ユニットは、サイズ5のベクトルを入力として受け取りますか？ しかし、1つのユニットの出力のサイズはどうなるでしょうか。1？ ありがとう

9 machine-learning  neural-network  deep-learning  lstm 

CNNは何百もの隠れ層を持つことができ、それらはしばしば画像データで使用されるため、多くの層を持つとより複雑になります。 ただし、私が見た限りでは、RNNには通常、2〜4などのいくつかのレイヤーがあります。たとえば、心電図（ECG）の分類では、4層のLSTMと10〜15層のCNNを使用した論文で同様の結果が得られました。 これは、RNN / LSTMが（勾配消失の問題により）より深い場合、トレーニングが難しくなるためか、RNN / LSTMがシーケンシャルデータをすばやくオーバーフィットする傾向があるためですか？

8 deep-learning  cnn  lstm  rnn  feature-extraction 

ペーパーバッチ正規化：ディープネットワークトレーニングの加速b y内部共変量シフトの削減（ここ）バッチ正規化のプロセスを説明する前に、ペーパーは関連する問題を説明しようとします（ここで扱われている正確な問題はわかりません）。 セクション2、パラ2からの抜粋： ネットワークを直接変更するか、最適化アルゴリズムのパラメーターをネットワークのアクティブ化の値に依存するように変更することにより、トレーニングステップごとまたは一定の間隔でアクティブ化を白くすることを検討できます（Wiesler et al。、2014; Raiko et al。、2012 ; Povey et al。、2014; Desjardins＆Kavukcuoglu）。ただし、これらの変更が最適化ステップに散在している場合、勾配降下ステップは、正規化の更新を必要とする方法でパラメーターを更新しようとする場合があり、勾配ステップの影響が減少します。たとえば、学習されたバイアスを追加し、トレーニングデータに対して計算されたアクティベーションの平均を差し引くことによって結果を正規化する入力uを含むレイヤーを考えます。、X = X - E [ X ]bbbx^=x−E[x]x^=x−E[x]\hat x= x − E[x]ここで、 はトレーニングセットのの値のセットであり、 。x=u+b,X=x1...Nx=u+b,X=x1...Nx = u + b, X = {x_{1...N}}xxxE[x]=1N(∑ni=1xi)E[x]=1N(∑i=1nxi)E[x] = \frac 1 N(\sum_{i=1}^nx_i) 勾配降下ステップがE [x]のbへの依存を無視する場合、を更新しますb←b+Δbb←b+∆bb ← b + ∆b。ここで、Δb∝−∂l/∂x^∆b∝−∂l/∂x^∆b ∝ −\partial l/\partial\hat xです。次に、 u+(b+Δb)−E[u+(b+Δb)]=u+b−E[u+b](1)(1)u+(b+∆b)−E[u+(b+∆b)]=u+b−E[u+b]u + …

8 neural-network  deep-learning  batch-normalization 

畳み込みネットワークをトレーニングして、機械コンポーネントの画像を良品または不良品として分類しました。テストの精度は高いものの、照明がわずかに異なる画像ではモデルのパフォーマンスが低いことに気付きました。 私が検出しようとしている機能は微妙であり、照明がモデルを誤作動させて多くの偽陰性を呼び出しているようです。すべてではありませんが、ほとんどのトレーニングデータとテストデータは、拡散照明下で撮影された画像から得られました。私がモデルを試した新しい画像は、焦点を当てたライトで撮影されました。 ヒストグラムの等化（CLAHE）が役立つことを願って、モデルに供給する前に画像の等化を行い、トレーニングとテストデータのためにこれを行いました。そのときの問題は精度が高かったことですが、モデルは画像とラベルの間に他の相関関係を学習したようです。等化後、画像のすべてが目立ち、欠陥はさらに微妙になり、人間の目でも検出するのが難しくなります。 同じコンポーネントが同じ照明で、異なる方向のライトで撮影された場合でも、モデルの予測は変化しました。だから私の質問は、データの終わりやモデルで何ができるのですか？

8 machine-learning  classification  deep-learning  image-classification 

マルチチャネル画像に適用したときに、深層学習の畳み込みがどのように機能するかについての良い説明を探しています。たとえば、RGBの3つのチャネルを持つ100 x 100ピクセルの画像があるとします。入力テンソルのサイズは100 x 100 x 3になります。 Nフィルターとストライド1を使用して畳み込みを適用すると、出力次元は次のようになります。 100 x 100 x 3 x N？ または 100 x 100 x N？ 言い換えると、適用される畳み込みは画像を「平坦化」しますか、それともチャネルごとに畳み込みを適用しますか？

8 deep-learning  convnet 

ニューラルネットワークを使用して画像からパラメーターを抽出したい。 例： レンガの壁の画像が与えられた場合、NNはレンガの幅と高さ、色、粗さを抽出する必要があります。 特定のパラメーターの画像を生成してNNをトレーニングし、それを使用して実際の画像からパラメーターを抽出することができます。 CNNを調査しました。彼らと一緒にこのタスクを実行できますか？分類の代わりに複数のパラメーターを抽出するには、特別な学習アルゴリズムが必要ですか？そのようなタスク用に設計されたNNはありますか？

8 neural-network  deep-learning  computer-vision 

Echo State NetworksやLiquid State Machinesなどのリザーバーコンピューティングテクニックについて読んでいます。どちらの方法も、ランダムに接続された（または接続されていない）スパイキングニューロンの母集団に入力を供給することと、出力を生成する比較的単純な読み出しアルゴリズム（線形回帰など）を含みます。ニューロンの母集団の重みは、固定されているか、STDPのようなヘブライアンのようなローカルアクティビティルールによってトレーニングされています。 これらの手法は、重要な時間コンポーネントを持つ多次元入力をモデル化するときにうまく機能します。ただし、スパイクニューロンの膜電位の計算には微分方程式の積分が含まれ、計算コストが高くなる可能性があります。 リザーバーコンピューティングテクニックの追加の計算の複雑さの方が、予測または分類タスクのゲインよりも優れている例はありますか？ たとえば、RNN、ANN、SVM、DNN、CNN、またはその他のアルゴリズムに基づいて、比較的複雑なアーキテクチャよりもSNN技術が優れているケースはありますか？

8 machine-learning  classification  neural-network  deep-learning  svm 

画像に2台の車があるとしましょう。画像内の1台の車を検出できる場合、どのようにこれらの車を検出できますか？

8 deep-learning  convnet  object-recognition 

Theanoはディープラーニング研究でどのくらい広く使用されていますか？ Theanoは機械学習アルゴリズムの実装を学ぶための良いスタートですか？ フィードフォワードネットワークのようなものの実装を学ぶことは本当に役立ちますか？大学院生は、学生時代に少なくとも一度はニューラルネットワークやその他のアルゴリズムを実装していますか？ バックグラウンド： フィードフォワードとリカレントネットワーク、バックプロパゲーション、機械学習問題の一般的なパイプライン、および必要な数学について、私は理にかなった考えを持っています。

8 machine-learning  python  deep-learning  library 

私が持っているXマトリックス、y変数、および他の変数をORTHO_VAR。私はをy使用して変数を予測する必要がありますXが、そのモデルからの予測は、可能な限りORTHO_VAR相関する一方で、直交する必要がありますy。 私は予測がノンパラメトリックな方法で生成されることを望みxgboost.XGBRegressorますが、どうしても必要な場合は線形法を使用できます。 このコード： import numpy as np import pandas as pd from sklearn.datasets import make_regression from xgboost import XGBRegressor ORTHO_VAR = 'ortho_var' TARGET = 'target' PRED = 'yhat' # Create regression dataset with two correlated targets X, y = make_regression(n_features=20, random_state=245, n_targets=2) indep_vars = ['var{}'.format(i) for i in range(X.shape[1])] # …

8 correlation  machine-learning  dataset  logistic-regression  prediction  linear-regression  prediction  dummy-variables  neural-network  image-classification  python  k-nn  python  neural-network  neural-network  deep-learning  keras  tensorflow  image-classification  tensorflow  reinforcement-learning  policy-gradients  machine-learning  decision-trees  neural-network  overfitting  data-analysis  metric  python  scikit-learn  distance  scipy  machine-learning  python  scikit-learn  decision-trees  logistic-regression  keras  image-classification  implementation  machine-learning  python  scikit-learn  random-forest  decision-trees  machine-learning  feature-selection  feature-engineering  word2vec  word-embeddings  natural-language-process  scikit-learn  time-series  clustering  k-means  python  cross-validation  pyspark  statistics  cross-validation  multiclass-classification  evaluation  machine-learning  nlp  machine-translation  neural-network  deep-learning  keras  tensorflow  image-classification  machine-learning  python  similarity  distance  lstm  text  named-entity-recognition  machine-learning  keras  optimization  gan  learning-rate  neural-network  data-mining  dataset  databases  books  neural-network  rnn 

GANについて読んでいたときに理解できないのは、なぜガウスからのサンプルとしてGAN（z）への入力を選択することが多いのですか？-そして、これに関連する潜在的な問題もありますか？

8 deep-learning  gan  gaussian