タグ付けされた質問 「autoencoder」

私はオートエンコーダーやニューラルネットワークの専門家ではありませんので、これがばかげた質問であればご容赦ください。 次元削減または高次元データのクラスターの視覚化の目的で、オートエンコーダーを使用して、2つのノードを持つネットワークレイヤーの出力を検査することにより、（損失のある）2次元表現を作成できます。たとえば、次のアーキテクチャでは、3番目の層の出力を検査します [ X] → N1= 100 → N2= 25 → （N3= 2 ）→ N4= 25 → N5= 100 → [ X][バツ]→N1=100→N2=25→（N3=2）→N4=25→N5=100→[バツ][X] \rightarrow N_1=100 \rightarrow N_2=25 \rightarrow (N_3=2) \rightarrow N_4=25 \rightarrow N_5=100 \rightarrow [X] ここで、入力データとなるN L内のノードの数であり、L層目。バツバツXNlNlN_llll さて、私の質問は、なぜ対称アーキテクチャが必要なのかということです。深い「圧縮」フェーズのミラーは、同様に複雑な「圧縮解除」フェーズがあり、非常に直感的であるように強制されない2ノード出力になる可能性があることを意味しませんか？言い換えると、単純なデコードフェーズを使用すると、2つのノードを持つレイヤーの出力も必然的にシンプルになりませんか？ ここでの私の考えは、圧縮解除フェーズが複雑でないほど、2D表現はより単純（線形に近い）でなければならないということです。より複雑な解凍フェーズでは、より複雑な2D表現が可能になります。

13 neural-network  dimensionality-reduction  autoencoder 

私はアプリケーションのプロトタイプを作成していますが、生成されたいくつかの文の複雑さを計算するための言語モデルが必要です。 すぐに使用できるPythonのトレーニング済み言語モデルはありますか？のような単純なもの model = LanguageModel('en') p1 = model.perplexity('This is a well constructed sentence') p2 = model.perplexity('Bunny lamp robert junior pancake') assert p1 < p2 一部のフレームワークを確認しましたが、必要なものが見つかりませんでした。私は次のようなものを使用できることを知っています： from nltk.model.ngram import NgramModel lm = NgramModel(3, brown.words(categories='news')) これはブラウンコーパスの優れたチューリング確率分布を使用していますが、1bワードデータセットなどの大きなデータセットで巧妙に作成されたモデルを探していました。一般的なドメイン（ニュースだけでなく）の結果を実際に信頼できるもの

11 python  nlp  language-model  r  statistics  linear-regression  machine-learning  classification  random-forest  xgboost  python  sampling  data-mining  orange  predictive-modeling  recommender-system  statistics  dimensionality-reduction  pca  machine-learning  python  deep-learning  keras  reinforcement-learning  neural-network  image-classification  r  dplyr  deep-learning  keras  tensorflow  lstm  dropout  machine-learning  sampling  categorical-data  data-imputation  machine-learning  deep-learning  machine-learning-model  dropout  deep-network  pandas  data-cleaning  data-science-model  aggregation  python  neural-network  reinforcement-learning  policy-gradients  r  dataframe  dataset  statistics  prediction  forecasting  r  k-means  python  scikit-learn  labels  python  orange  cloud-computing  machine-learning  neural-network  deep-learning  rnn  recurrent-neural-net  logistic-regression  missing-data  deep-learning  autoencoder  apache-hadoop  time-series  data  preprocessing  classification  predictive-modeling  time-series  machine-learning  python  feature-selection  autoencoder  deep-learning  keras  tensorflow  lstm  word-embeddings  predictive-modeling  prediction  machine-learning-model  machine-learning  classification  binary  theory  machine-learning  neural-network  time-series  lstm  rnn  neural-network  deep-learning  keras  tensorflow  convnet  computer-vision 

オートエンコーダの変換に関するGeoff Hintonの論文を読んだところです Hinton、Krizhevsky、Wang：Transforming Auto- encoders 。人工ニューラルネットワークと機械学習、2011年。 そして、このようなもので遊んでみたいと思います。しかし、それを読んでも、実際にそれを実装する方法についての紙から十分な詳細を得ることができませんでした。 入力ピクセルとカプセルのマッピングがどのように機能するかを知っている人はいますか？ 認識ユニットで正確に何が起こっているべきですか？ どのように訓練する必要がありますか？すべての接続間の標準のバックプロップですか？ さらに良いのは、これまたは同様の何かのソースコードへのリンクです。

10 neural-network  deep-learning  autoencoder 

私は脳波データの分析に取り組んでいますが、最終的には分類する必要があります。ただし、レコーディングのラベルを取得するにはいくらか費用がかかるため、非常に大量のラベルなしデータをより適切に利用するために、教師なしアプローチを検討するようになりました。 これは当然、スタックオートエンコーダの検討につながりますが、これは良いアイデアかもしれません。ただし、畳み込みニューラルネットワークを使用することも意味があります。これは、何らかのフィルタリングがEEGに対して非常に有用なアプローチであり、考慮されるエポックが全体ではなくローカルで分析される必要があるためです。 2つのアプローチを組み合わせる良い方法はありますか？人々がCNNを使用するとき、彼らは一般的に教師付きトレーニングを使用しているようです、または何ですか？私の問題についてニューラルネットワークを探索することの2つの主な利点は、教師なしの側面と微調整であるようです（たとえば、人口データにネットワークを作成し、次に個人を微調整することは興味深いでしょう）。 それで、CNNが「不自由な」オートエンコーダであるかのようにCNNを事前トレーニングできるのか、それとも無意味なのか、誰かが知っていますか？ たとえば、深い信念ネットワークなど、他のアーキテクチャを検討する必要がありますか？

9 deep-learning  convnet  unsupervised-learning  autoencoder 

ラベルのない時間領域信号のセットがあるとします。それらを2つまたは3つのクラスにクラスター化したい。オートエンコーダーは、入力の圧縮を学習する監視なしネットワークです。したがって、入力、重みと、バイアスと、および出力を指定すると、次の関係が見つかります。x(i)x(i)x^{(i)}W1W1W_1W2W2W_2b1b1b_1b2b2b_2x^(i)x^(i)\hat{x}^{(i)} z(i)=W1x(i)+b1z(i)=W1x(i)+b1z^{(i)} =W_1x^{(i)}+b_1 x^(i)=W2z(i)+b2x^(i)=W2z(i)+b2\hat{x}^{(i)} =W_2z^{(i)}+b_2 したがって、は圧縮形式であり、は後者の再構成です。ここまでは順調ですね。z(i)z(i)z^{(i)}x(i)x(i)x^{(i)}x^(i)x^(i)\hat{x}^{(i)} 私が理解していないのは、これをクラスタリングに使用する方法です（それを行う方法がある場合）。たとえば、このペーパーの最初の図には、よくわからないブロック図があります。フィードフォワードネットワークへの入力としてを使用しますが、そのネットワークのトレーニング方法については言及されていません。私が無視しているものがあるのか​​、それとも論文が不完全なのかわかりません。また、最後のこのチュートリアルは、オートエンコーダーによって学習された重みを示しています。これらは、CNNが画像を分類するために学習するカーネルのようです。ですから...オートエンコーダの重みは、フィードフォワードネットワークで分類のためになんらかの方法で使用できると思いますが、その方法はわかりません。z(i)z(i)z^{(i)} 私の疑問は： もし長さの時間領域信号である（すなわち、X ^ {（I）} \で\ mathbb {R} ^ {1 \回N} ）、缶Z ^ {（I）}ベクトルだけでも？換言すれば、それはのための理にかなっている^ {（I）} Zことがマトリックスよりもその寸法が大きいのいずれかで1？そうではないと思いますが、確認したいだけです。x(i)x(i)x^{(i)}NNNx(i)∈R1×Nx(i)∈R1×Nx^{(i)}\in\mathbb{R}^{1\times N}z(i)z(i)z^{(i)}z(i)z(i)z^{(i)}111 これらの量のどれが分類器への入力になりますか？たとえば、信号を分類したいクラスと同じ数の出力ユニットを持つ従来のMLPを使用したい場合、この完全に接続されたネットワークの入力（z(i)z(i)z^{(i)}、x^(i)x^(i)\hat{x}^{(i)}、他のもの）？ このMLPで学習した重みとバイアスをどのように使用できますか？使用可能なラベルは絶対にないと想定しているため、ネットワークをトレーニングすることは不可能です。学習したとは、完全に接続されたネットワークで何らかの形で役立つはずですが、それらの使用方法はわかりません。WiWiW_ibibib_i 観察：MLPは最も基本的なアーキテクチャであるため、例としてMLPを使用したことに注意してください。ただし、質問は、時間領域信号の分類に使用できる他のすべてのニューラルネットワークに適用されます。

9 neural-network  clustering  time-series  unsupervised-learning  autoencoder 

あなたは、n個のニューロンと入力層を有し、第一の中間層があるとし典型的で、ニューロンを。次に、次のにして、隠れ層の番目のニューロンの作動を計算します。m &lt; n a j jmmmm&lt;nm&lt;nm < najaja_jjjj aj=f(∑i=1..nwi,jxi+bj)aj=f(∑i=1..nwi,jxi+bj)a_j = f\left(\sum\limits_{i=1..n} w_{i,j} x_i+b_j\right)、ここではまたはような活性化関数です。tanh シグモイドffftanhtanh\tanhsigmoidsigmoid\text{sigmoid} ネットワークをトレーニングするには、で示される入力の再構成を計算し、と間の誤差を最小化します。ここで、番目の要素は通常、次のように計算されます。z x i zzzzzzzxxxiiizzz zi=f(∑j=1..mw′j,iaj+b′i)zi=f(∑j=1..mwj,i′aj+bi′) z_i = f\left ( \sum\limits_{j=1..m} w_{j,i}' a_j+b'_i \right) なぜ再構築されたは通常、逆関数を使用する代わりに同じ活性化関数を使用して計算されるのか、なぜ結合された重みとバイアスを使用する代わりに別々のとが役立つのでしょうか？次のように、逆活性化関数を使用して再構築を計算すること（たとえば、）を実行する方がはるかに直感的です。w ′ b ′ f − 1アークタンzzzw′w′w'b′b′b'f−1f−1f^{-1}arctanharctanh\text{arctanh} z′i=∑j=1..mf−1(aj)−bjwTj,izi′=∑j=1..mf−1(aj)−bjwj,iT z_i' = \sum\limits_{j=1..m} \frac{f^{-1}(a_j)-b_j}{w_{j,i}^T} ここでは、結合された重み、つまりw '= w ^ Tが使用され、入力層に追加のバイアスセットを導入する代わりに、隠れ層のw′=wTw′=wTw' = w^Tバイアスb_jが使用されることに注意してくださいbjbjb_j。 そして、非常に関連する質問：再構成を計算する代わりに、フィーチャを視覚化するために、通常、隠れ層の次元を使用して単位行列を作成します。次に、行列の各列を再活性化関数への入力として使用し、入力ニューロンに出力を誘導します。再活性化関数については、同じ活性化関数（またはziziz_i）または逆関数（それぞれz′izi′z'_i）を使用する方が良いでしょうか？

9 machine-learning  visualization  deep-learning  autoencoder 

私は現在、RNN（Replicator Neural Networks）を使用した外れ値の検出に関する論文を研究していて、オートエンコーダーとの違いは何ですか？RNNは、外れ値/異常検出の聖杯として多くの人にとって踏みにじられているようですが、オートエンコーダーが長い間存在していたため、この考え方はかなり古いようです。

8 neural-network  anomaly-detection  autoencoder  outlier 

損失関数として再構成エラーを使用して、猫のデータセットでエンコーダー/デコーダーネットワークをトレーニングしたとします。ネットワークは完全に訓練されており、デコーダーは適切な猫の画像を再構築できます。 次に、同じネットワークを使用して犬の画像を入力するとどうなるでしょうか。ネットワークは犬の画像を再構成できますか？

7 neural-network  deep-learning  autoencoder 

CNNオートエンコーダーを使用して状態表現レイヤーを作成しています。これを後で補強エージェントにフィードします。だから私は私のCNNオートエンコーダーを訓練しました、そしてそれは素晴らしい状態表現を与えています。しかし、私は次の質問があります、 オートエンコーダレイヤーを過剰に適合させることはできますか オーバーフィットがあると、ボトルネックレイヤーに情報が粗末になりますか？

7 deep-learning  autoencoder