タグ付けされた質問 「data-cleaning」

畳み込みの説明を読んである程度理解しました。誰かがこの操作がたたみ込みニューラルネットのたたみ込みにどのように関連しているかを理解するのを手伝ってくれませんか？gウェイトをかけるフィルターのような機能ですか？

10 machine-learning  neural-network  deep-learning  cnn  convolution  machine-learning  ensemble-modeling  machine-learning  classification  data-mining  clustering  machine-learning  feature-selection  convnet  pandas  graphs  ipython  machine-learning  apache-spark  multiclass-classification  naive-bayes-classifier  multilabel-classification  machine-learning  data-mining  dataset  data-cleaning  data  machine-learning  data-mining  statistics  correlation  machine-learning  data-mining  dataset  data-cleaning  data  beginner  career  python  r  visualization  machine-learning  data-mining  nlp  stanford-nlp  dataset  linear-regression  time-series  correlation  anomaly-detection  ensemble-modeling  data-mining  machine-learning  python  data-mining  recommender-system  machine-learning  cross-validation  model-selection  scoring  prediction  sequential-pattern-mining  categorical-data  python  tensorflow  image-recognition  statistics  machine-learning  data-mining  predictive-modeling  data-cleaning  preprocessing  classification  deep-learning  tensorflow  machine-learning  algorithms  data  keras  categorical-data  reference-request  loss-function  classification  logistic-regression  apache-spark  prediction  naive-bayes-classifier  beginner  nlp  word2vec  vector-space-models  scikit-learn  decision-trees  data  programming 

2つのテンソルがありa:[batch_size, dim] b:[batch_size, dim]ます。バッチ内のすべてのペアに対して内積を行い、を生成c:[batch_size, 1]しc[i,0]=a[i,:].T*b[i,:]ます。どうやって？

10 tensorflow  scikit-learn  svm  cross-validation  feature-selection  bayesian  machine-learning  decision-trees  parameter-estimation  neural-network  convnet  neural-network  regularization  visualization  machine-learning  similarity  python  pandas  indexing  r  data-cleaning  machine-learning  predictive-modeling  data-cleaning  recommender-system  python  sequential-pattern-mining  software-recommendation  r  visualization  gaussian  distribution  machine-learning  data-mining  bigdata  apache-hadoop  predictive-modeling  logistic-regression  sampling  machine-learning  regression  feature-selection  mongodb  neural-network  inception  machine-learning  classification  dataset  databases  logistic-regression  deep-learning  backpropagation  classification  data-mining  multilabel-classification  text-mining  data-cleaning  unsupervised-learning  anomaly-detection  python  r  python  pandas 

休業。この質問には、より焦点を当てる必要があります。現在、回答を受け付けていません。 この質問を改善してみませんか？質問を更新して、この投稿を編集するだけで1つの問題に焦点を当てます。 4年前休業。 私はプロジェクトに取り組んでおり、どのアルゴリズムを選択するかを決定するのが困難ですregression。私は1つを選ぶ必要がありますどのような条件の下で知りたいlinear regressionか、Decision Tree regressionまたはRandom Forest regression？上記のツリーの中で特定のアルゴリズムに移行することを決定するデータの特定の特性はありますか？決定を下すためにデータセットを調べる必要がある特性は何ですか？そして、もう一つが選択になるだろういくつかの理由があるdecision treeかrandom forest、アルゴリズム同じ正しさをすることによって達成することができたとしてもはlinear regression？

10 machine-learning  algorithms  random-forest  linear-regression  decision-trees  machine-learning  predictive-modeling  forecast  r  clustering  similarity  data-mining  dataset  statistics  text-mining  text-mining  data-cleaning  data-wrangling  machine-learning  classification  algorithms  xgboost  data-mining  dataset  dataset  regression  graphs  svm  unbalanced-classes  cross-validation  optimization  hyperparameter  genetic-algorithms  visualization  predictive-modeling  correlation  machine-learning  predictive-modeling  apache-spark  statistics  normalization  apache-spark  map-reduce  r  correlation  confusion-matrix  r  data-cleaning  classification  terminology  dataset  image-classification  machine-learning  regression  apache-spark  machine-learning  data-mining  nlp  parsing  machine-learning  dimensionality-reduction  visualization  clustering  multiclass-classification  evaluation  unsupervised-learning  machine-learning  machine-learning  data-mining  supervised-learning  unsupervised-learning  machine-learning  data-mining  classification  statistics  predictive-modeling  data-mining  clustering  python  pandas  machine-learning  dataset  data-cleaning  data  bigdata  software-recommendation 

私は数学の博士号を取得しています。卒業後、データサイエンティストとして業界に行きたい学生。質問をする前に、私の教育の背景を簡単に説明し、理解を深めます。 数学コースワーク： これは主に純粋な数学で行われました：トポロジー、機能分析などですが、より多くの応用されたもの（私が論文に特化したもの）も含まれます：凸最適化、非線形プログラミング、数値解析、線形プログラミング、多目的最適化。また、現時点では推論統計の知識はありませんが、確率論には自信があります。 プログラミング： 私は学士号で1年のコースを受講したばかりですが、それはほとんどMathematicaといくつかのJavaでしたが、正直なところ何も覚えていません。このコースの内容には、データ構造やアルゴリズムの設計と分析、データベース管理システムは含まれていません。また、学士論文でアルゴリズムを実装するために自分でMatlabを学びました。 上記の背景は、学士号と修士号のプログラム中のものです。今、博士号の間 プログラムでは、機械学習が非線形最適化、プログラミング、および現実世界のアプリケーションの間の（私にとって）完璧な組み合わせであることを発見しました。つまり、機械学習は理論的に興味深く、アプリケーション指向です。これが私が産業界に行くことにとても興奮した理由です。したがって、私は過去3年間で、自分のことを（少しの自由な時間に）自分で学び始めました。 学んだことの短い要約： Python：最適化アルゴリズムを実装し、jupyterノートブックとnumpyライブラリを操作し（実際、論文のためにこれを行わなければなりませんでした）、パンダで基本的なデータ操作とクリーニングタスクを行うことに慣れています。これは、dataquest（https://app.dataquest.io）というプラットフォームでオンラインで学びました。ただし、データ構造とアルゴリズムのインタビューに合格するための十分な知識がないと思います（上記を参照）。 機械学習：私は大学のトピックのマスターレベルのコースを受講しました（私はドイツにいるため、博士課程にはコースがないので、これはすべて私の個人的な時間でした）、それは本当に楽しかったです。含まれるトピック：k-NN、PCA、SVM、NNなど 今学期のデータベースのコースは、SQLに焦点を当てています。 今学期は、Courseraのディープラーニング専門分野を受講します。 最後に、私はトピックを完全に学ぶことができると感じていると言いたいです。実際、時間の経過とともに、オンラインで利用できる大学院レベルのコース（たとえば、スタンフォードCS231N、CS234など）を受講するつもりです。私の意見では、オンラインコースは十分に厳格ではない可能性があるためです。うまくいけば、防衛の後、私はこれにフルタイムで集中することができるでしょう。 したがって、質問： この時点でまだ雇用できますか（つまり、上記の知識でこの学期を終えた後）？正直、まだ準備は出来ていないと思いますが、1年で上手くいけると自信を持っています。 会社が私にチャンスを与えると考えるのがあまりにも単純すぎるのですか？ どうしてもヒラブルになるにはどうすればいいですか？

9 machine-learning  deep-learning  data-cleaning  data-analysis  reference-request 

閉まっている。この質問はトピックから外れています。現在、回答を受け付けていません。 この質問を改善してみませんか？ 質問を更新して、 Data Science Stack Exchangeのトピックとなるようにします。 2年前休業。 列に関連するNaN値を含むすべての行を削除します。次のようなデータセットがあるとしましょう： Age Height Weight Gender 12 5'7 NaN M NaN 5'8 160 M 32 5'5 165 NaN 21 NaN 155 F 55 5'10 170 NaN 「Gender」にNaN値があるすべての行を削除したい。私が望む出力： Age Height Weight Gender 12 5'7 NaN M NaN 5'8 160 M 21 NaN 155 F …

8 machine-learning  python  data-cleaning  data 

持っているデータを分析しようとしていますが、データに多くの不整合があります。 分析しようとしているSQLテーブルがあります。 表は次の構造を持つ大学の表です。name:string, city:string, state:string, country:string 名前は常に存在しますが、都市、州、国が欠落している可能性があります。私の主な問題は、タイプミスがたくさんあり、大学名の異なる赤緯があることです。たとえば、ここに私が見つけたときにスタンドフォード大学の赤緯があります SELECT "universities".* FROM "perm_universities" WHERE (name like '%stanford%')。 stanford university - stanford - ca - united states of america the leland stanford junior university - stanford - ca - united states of america leland stanford jr. university - stanford - ca - united …

8 data-cleaning  similarity  distance 

データマイニング技術を使用してさらに分析するために、元のテキストデータを他の学生に共有するように依頼するプロジェクトに取り組んでいます。提出物で学生名を匿名化するのが適切だと思います。 学生が自分の作品を提出し、バックエンドスクリプトが匿名化されたIDを挿入するURLのより優れたソリューションを別にして、自分の名前を匿名化するために、学生が自分で実装するようにどのようなソリューションを指示できますか？ 私はまだこの分野の初心者です。私は標準が何であるか知りません。私はその解決策がハッシュアルゴリズムかもしれないと考えていました。2人が同じ偽の名前を選ぶことができるので、それは偽の名前を作るよりも良い解決策のように思えます。可能性のある人々は同じ偽の名前を選ぶことができます。私が知っておくべき懸念のいくつかは何ですか？

8 machine-learning  data-cleaning 

考えられる計算上の制約を無視して、テキストデータを分析するときに見出し語化が逆効果的なステップとなる一般的なアプリケーションはありますか？ たとえば、文脈認識モデルを構築するときに、見出し語化は行われないことでしょうか？ 参考までに、dictinory.comごとの見出し語化は、分析のために活用された（単語）の形を1つの項目としてグループ化する行為です。 たとえば、「cook」という単語は「cooking」という単語の補題です。見出し語化の動作は、たとえば、テキストデータをトークン化した後で、cookingという単語をcookに置き換えることです。さらに、「悪い」という単語の補題として「悪い」があり、前の例のように「悪い」という単語を「悪い」で置き換えることは、見出し語化のアクションです。

7 nlp  data-cleaning 

私は実際の信用借入者のデータセット（50,000レコード）を持っています。このセットには、既婚、独身、離婚などのカテゴリと、収入、年齢などの連続データが含まれます。一部のレコードは不完全であるか、外れ値が含まれています。従属変数はDefaulted / Good（0,1）です。ニューラルネットワークをトレーニングして、トレーニングデータに基づいてデフォルトを予測しようとしています。ニューラルネットワークの経験があり、サンプルデータに使用して素晴らしい結果を得ましたが、ノイズの多い実世界のデータを正規化する必要はありませんでした。 私が心に留めておくべきことについての考え：-カテゴリを正規化する方法。インデックス番号を割り当てることはできますか？それらを層別化する必要がありますか？-欠損データの扱い方。0を割り当てますか？-デフォルトがデータセットの約5％に過ぎないという事実に対処する方法。これらの低い確率を予測するためにどの伝達関数が役立つでしょうか。-基本的に、その他の実世界のデータに関するアドバイスは非常に高く評価されています。 前もって感謝します！

7 machine-learning  neural-network  data-cleaning  forecast