データサイエンス

私は最近、与えられた数の入力、非表示のノード、および入力と同じ数の出力で、バニラニューラルネットワークがどのように機能するかを学びました。 私はリカレントニューラルネットワークに関連するさまざまな投稿を見てきましたが、その背後にある概念は理解していますが、RNNの背後にあるロジックの特定の部分は理解できません。 ここに私が持っている4つの主な質問があります： 再帰型ニューラルネットワークで逆伝播はどのように機能しますか？ 入力から非表示ノードにつながる重みは、他のすべてのステップで同じですか？非表示ノードから出力までの重みはどうですか？ バイアスはリカレントニューラルネットワークでどのように機能するのですか？ 活性化関数としてシグモイド関数の代わりにタン関数が通常使用されるのはなぜですか？ これらの質問のいくつかは非常に基本的であることに気づきましたが、基本は今まさに必要なものだと思います。 関連する動画や投稿へのリンクも非常に役立ち、正しい結果を示すGoogleキーワードも役立ちます。これら4つの質問は、サンプルのPythonコードを理解するのを妨げているため、本当に助けが必要です。

8 machine-learning  python  neural-network  rnn 

私は機械学習の学生で、最近はTensorFlowライブラリの使い方を学ぼうとしていました。私はテンソルフローを使用してさまざまなチュートリアルと試行錯誤を経験しました。実際にそれを学ぶ最善の方法は、自分の小さなプロジェクトでそれを利用することだと思いました。 詩を書くプログラムを作ってみようと決めました。私は最高品質のプログラムを目指していません。私の最初のモデルでは、一連の意味のない単語のグループを詩の形式でまとめて満足しています。問題は、文章構造の記述を扱う機械学習プログラムに関する本やビデオを検索するときに問題が発生していることです。 私が必要とするサンプルプログラムと基本的な知識を得るために、私が探すことができるものについて（Googleキーワードでも大丈夫です）提案はありますか？ ありがとうございました。

8 machine-learning  neural-network  tensorflow 

Python sklearnには、不均衡データを処理するためのclass_weightパラメーターを持つ複数のアルゴリズム（たとえば、回帰、ランダムフォレストなど）があります。 ただし、MLLibアルゴリズムにはそのようなパラメーターはありません。一部のMLLibアルゴリズムにclass_weightを実装する計画はありますか？または、MLLibに不均衡データに対するアプローチはありますか？それとも実際に、MLLibですべてのアップ/ダウンサンプリングを自分で処理する必要がありますか？ ありがとう！

8 machine-learning  apache-spark  unbalanced-classes  weighted-data 

Andrew Ngがコースラで機械学習に関するオンラインコースを受講しているときに、オーバーフィッティングというトピックに出くわしました。勾配降下法が線形回帰またはロジスティック回帰で使用される場合に発生することはわかっていますが、「共役勾配」、「BFGS」、「L-BFGS」などの高度な最適化アルゴリズムが使用される場合にも発生する可能性はありますか？

8 machine-learning  regression  optimization  gradient-descent  overfitting 

テキストクラスタリングモデルの評価に使用できるメトリックは何ですか？私が使用しましたtf-idf+ k-means、tf-idf+ hierarchical clustering、doc2vec+ k-means (metric is cosine similarity)、doc2vec+ hierarchical clustering (metric is cosine similarity)。どのモデルが最適かを判断するにはどうすればよいですか？

8 machine-learning  clustering  text-mining 

畳み込みネットワークに関するビデオをオンラインで見ていましたが、スピーカーは画像に対してフィルターを実行する概念について話していました。 彼は言った、そしてそれは以下の画像にも示されている、「深さ＝意味論的表現」。 これは良さそうに聞こえますが、深みを増すために画像の空間次元を減らすことの何がそれほど特別なのか正確にはわかりませんか？奥行きを他のどの次元よりも重要にしているのは何ですか？次元は単なる次元ですよね？ 編集：理由は翻訳の独立性と関係があるだろうという直感があります...

8 neural-network  dimensionality-reduction  convnet 

RNNのトレーニングが通常、GPUの100％を使用しないのはなぜですか。 たとえば、Ubuntu 14.04.4 LTS x64上のMaxwell Titan XでこのRNNベンチマークを実行すると、GPU使用率は90％未満になります。 ベンチマークは次のコマンドを使用して起動されました： python rnn.py -n 'fastlstm' -l 1024 -s 30 -b 128 ボトルネックを診断するにはどうすればよいですか？

8 performance  theano  rnn  gpu 

数値（float）型の単変量時系列のLSTMをトレーニングするために、kerasパッケージを使用しています。1ステップ先の予測を実行するのは簡単ですが、たとえば、10ステップ先の予測を実行する方法がわかりません。2つの質問： 1）シーケンスツーシーケンスNNについて読みましたが、時系列予測のコンテキストではほとんど何も見つかりません。事前に複数のタイムステップを予測することはseq2seqの問題であるという仮定で正しいのでしょうか。それぞれの予測は前任者に依存しているので、それは私には理にかなっています。 2）seq2seqを使用しない直感的なソリューションは、1ステップ先の予測を実行してから、この予測をシリーズに追加し、それを使用して次の予測を取得します。これはseq2seqアプローチとどのように異なりますか？

8 time-series  keras 

これは初歩的な質問のように感じますが、私はこれに非常に慣れていないので、それを解読したり、答えを見つけることができませんでした。 最終的に私がここでやろうとしているのは、特定の列の一意の値を数え、それらの一意の値のうち、一致する列に複数の一意の値があるものを特定することです。 したがって、このデータについて、私が判断しようとしているのは、すべての購入に対して「誰が」「複数のレシート」を持っているか、そして各製品カテゴリーに基づいて同じ情報を判断することです。 これまでの私のアプローチ： 次のようなデータセットがあります。 receipt,name,etc,category 1,george,xxx,fish 1,george,xxx,cat 2,george,xxx,fish 3,bill,xxx,fish 3,bill,xxx,dog 4,jill,xxx,cat 5,bill,xxx,cat 5,bill,xxx,cat 5,bill,xxx,dog 6,george,xxx,fish だから私はこれを行うことができます： df.set_index(['name','receipt']) もっと面白くなる etc category name receipt george 1 xxx fish 1 xxx cat 2 xxx fish bill 3 xxx fish 3 xxx dog jill 4 xxx cat bill 5 xxx cat 5 xxx …

8 python  pandas  indexing 

利用可能なラベル付きデータを使用して、モデルが日付にトレーニングされ、トレーニングとテストに分割されたとしましょう。すなわち、t r a i n d t 1、t e s t d t 1です。次に、このモデルが本番環境にデプロイされ、新しい受信データを予測します。一部のX日通過との間に収集された標識されたデータの束が存在するD 、T 1及びD T 1 + X日は、それを呼び出すことができますD A T A Xdt1dt1dt1traindt1traindt1train_{dt1}testdt1testdt1test_{dt1}XXXdt1dt1dt1dt1+Xdt1+Xdt1 + XDataxDataxData_x。私の現在のアプローチでは、私は外のランダムなサンプルを取る （80/20スプリットを例えばのために取ります）、DATAxDATAxDATA_x したがって、 のD A T A x = t r a i n x（d t 1でトレーニングされた既存のモデルを微調整するために使用される新しいデータ） 20 ％のD A T A x = t …

8 machine-learning  cross-validation  model-selection  data-product 

LSTMを使用して、時系列の1ステップ先の予測を行いたい。アルゴリズムを理解するために、私はおもちゃの例を作成しました：単純な自己相関プロセス。 def my_process(n, p, drift=0, displacement=0): x = np.zeros(n) for i in range(1, n): x[i] = drift * i + p * x[i-1] + (1-p) * np.random.randn() return x + displacement 次に、この例に従ってKerasでLSTMモデルを作成しました。p=0.99長さの自己相関が高いプロセスをシミュレートn=10000し、その最初の80％でニューラルネットワークをトレーニングし、残りの20％に対して1ステップ先の予測を実行させました。 私が設定した場合drift=0, displacement=0、すべてが正常に動作します： それから私は設定しdrift=0, displacement=10、物事は洋ナシ形になりました（y軸の異なるスケールに注意してください）： [ - 1 、1 ][−1、1][-1, 1] 次に、を設定しdrift=0.00001, displacement=10、データを再度正規化して、その上でアルゴリズムを実行しました。これはよく見えません： バツt− Xt − 1バツt−バツt−1X_{t} - X_{t-1}バツtバツtX_t …

8 python  keras  time-series  lstm 

私はこの論文「ニューラルネットワークによるシーケンス学習へのシーケンス」を読んでいますhttp://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks.pdf 「2.モデル」の下でそれは言う： LSTMはこの条件付き確率を計算します。最初に、LSTMの最後の非表示状態によって与えられる入力シーケンス（x1、...、xT）の固定次元表現vを取得し、次にy1、...の確率を計算します。。。、yT 'と標準のLSTM-LM公式を使用して、初期の隠蔽状態をx1の表現vに設定します。。。、xT： LSTMとは何か知っていますが、LSTM-LMとは何ですか？私はそれをグーグルで試しましたが、良いリードを見つけることができません。

8 machine-learning  neural-network  nlp  rnn  machine-translation 

ランダムフォレスト分類器のツリー数の下限の理論的または実験的推定を探しています。 私は通常、さまざまな組み合わせをテストし、（交差検証を使用して）中央値の最良の結果を提供する組み合わせを選択します。 ただし、観測値とn個の特徴がある場合、エラーへの分散の寄与を減らすために、使用する木の数には下限があると思います。分類子を正しく調整するために確認できるテストまたは参照はありますか？メートルメートルmんんn

8 random-forest  decision-trees 

画像分類は、既知のラベルの1つを特定の画像に割り当てるタスクです。たとえば、写真が2枚与えられ、それぞれの画像にが1つだけ含まれていることがわかっているとします。アルゴリズムは、写真が示すものを言う必要があります。んんn{ c a t 、do g、C A R 、S、T 、O 、N個のE }{cat、dog、car、stoんe}\{cat, dog, car, stone\} 画像分類のベンチマークデータセットはImageNetです。特に大規模な視覚認識の課題（LSVRC）。それは正確に1000クラスと膨大な量のトレーニングデータを持っています（約250px x 250px画像のダウンサンプルバージョンがあると思いますが、多くの画像はフリッカーからのもののようです）。 この課題は通常、CNN（または他のニューラルネットワーク）で解決されます。 LSVRCでニューラルネットワークを使用しないアプローチを試みる論文はありますか？ 質問を明確にするために：もちろん、最近傍やSVMのような他の分類アルゴリズムがあります。しかし、私はそれらが多くのクラス/多くのデータに対してまったく機能しないことを疑っています。少なくとも -NNについては、予測が非常に遅くなると確信しています。SVMの場合、フィッティングと予測の両方が遅くなると思います（？）。kkkkkk

8 image-classification 

私はこれを理解するのに多くの問題を抱えています。コスト関数を頻繁に使用するべきではないという意味ですか？

8 machine-learning  beginner  linear-regression