データサイエンス

私は分類の問題をやっており、多くの人々のコードとチュートリアルを読んでいます。私が気づいたことの1つは、多くの人がnp.log、またはなどのlogような連続変数を取得していることですloan_amountapplicant_income その理由を理解したいだけです。モデルの予測精度を向上させるのに役立ちますか。必須ですか？またはその背後にあるロジックはありますか？ 可能であれば、いくつかの説明を提供してください。ありがとうございました。

16 machine-learning  python  classification  scikit-learn 

corr()元のdfからdf を作成します。corr()DFは、70 X 70から出てきたし、ヒートマップを可視化することは不可能です... sns.heatmap(df)。を表示しようとするcorr = df.corr()と、テーブルが画面に収まらず、すべての相関関係を確認できます。dfサイズに関係なく全体を印刷する方法ですか、ヒートマップのサイズを制御する方法ですか？

16 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 

でKerasゼロからトレーニングconvnetsにブログ、コードのショーは唯一のネットワークは、トレーニングや検証データ上で実行されています。テストデータはどうですか？検証データはテストデータと同じですか（そうではないと思います）。trainおよびvalidationフォルダーと同様の行に個別のテストフォルダーがあった場合、テストデータの混同マトリックスを取得する方法を教えてください。これを行うにはscikit learnまたは他のパッケージを使用する必要があることはわかっていますが、テストデータのクラスごとの確率に沿って何かを取得するにはどうすればよいですか？これを混同行列に使用したいと思っています。

16 machine-learning  python  deep-learning  keras  confusion-matrix 

以下の予測関数は-ve値も提供しているため、確率にはなりません。 param <- list(max.depth = 5, eta = 0.01, objective="binary:logistic",subsample=0.9) bst <- xgboost(param, data = x_mat, label = y_mat,nround = 3000) pred_s <- predict(bst, x_mat_s2) グーグルで試しましたpred_s <- predict(bst, x_mat_s2,type="response") が、うまくいきませんでした。 質問 代わりに確率を予測する方法は？

16 machine-learning  r  predictive-modeling  decision-trees 

違いは何であるfit()とfit_generator()Kerasでは？ いつfit()vs を使用すべきfit_generator()ですか？

16 deep-learning  keras 

精度が重要な例を挙げたり、リコールが重要な例を挙げたりできますか？

16 machine-learning  evaluation 

Pandasデータフレームの各行の欠損値の数を取得するにはどうすればよいですか。各行に同じ数の欠損値がある異なるデータフレームにデータフレームを分割したいと思います。 なにか提案を？

16 python  pandas 

カテゴリー型と連続型の2種類の入力特徴があるとします。カテゴリカルデータはワンホットコードAとして表すことができますが、連続データはN次元空間の単なるベクトルBです。A、Bはまったく異なる種類のデータであるため、単にconcat（A、B）を使用することは適切な選択ではないようです。たとえば、Bとは異なり、Aには番号順がありません。私の質問は、このような2種類のデータをどのように組み合わせるか、またはそれらを処理する従来の方法があるかどうかです。 実際、私は写真に示されているような素朴な構造を提案しています ご覧のように、最初のいくつかのレイヤーは、データAを連続空間の中間出力に変更（またはマップ）するために使用され、データBと連結されて、後のレイヤーの連続空間で新しい入力フィーチャを形成します。それが妥当なのか、それとも単なる「試行錯誤的な」ゲームなのか。ありがとうございました。

16 neural-network  feature-selection  categorical-data  feature-construction 

回帰モデルを作成するには、カテゴリー変数をダミー変数に変換して処理する必要があることを学びました。例として、データセットに場所のような変数がある場合： Location ---------- Californian NY Florida 次のように変換する必要があります。 1 0 0 0 1 0 0 0 1 ただし、ダミー変数がいくつあっても、1つのダミー変数を破棄する必要があることが示唆されました。 なぜ1つのダミー変数を破棄する必要があるのですか？

16 machine-learning  regression  categorical-data 

次のアイテムを含む3つのクラスのデータセットがあります。 クラス1：900要素 クラス2：15000要素 クラス3：800要素 規範からの重要な逸脱を示すクラス1とクラス3を予測する必要があります。クラス2はデフォルトの「通常の」ケースで、私は気にしません。 ここではどのような損失関数を使用しますか？CrossEntropyLossの使用を考えていましたが、クラスの不均衡があるため、重み付けする必要があると思いますか？実際にはどのように機能しますか？このように（PyTorchを使用）？ summed = 900 + 15000 + 800 weight = torch.tensor([900, 15000, 800]) / summed crit = nn.CrossEntropyLoss(weight=weight) または、重量を逆にする必要がありますか？つまり、1 /重量？ これは最初から正しいアプローチですか、それとも私が使用できる他の/より良い方法がありますか？ ありがとう

16 neural-network  pytorch 

私は、1年生の学部生です（私の不慣れさを許すために、これについて言及しています）。教授の指導に基づいて、3ノードのニューラルネットワーク（動作する）をコーディングしました。ただし、AIとデータサイエンスでのキャリアを追求したいので、これらについて適切に詳細に学習したいと思います。ニューラルネットワーク構造、ディープラーニングなどについてもっと教えてくれる本やリソースはありますか。推奨事項はありますか？ 注：私はJava、Python、Bash、JavaScript、Matlabに精通しており、C ++を少し知っています。

15 machine-learning  neural-network 

矢印のトップダウン画像があり、この矢印が作る角度を予測したいとします。これは間であろう及び度、又は間にと。問題は、このターゲットが円形であり、度と度がまったく同じであるということです。これは、ターゲットに組み込む不変性であり、一般化に大きく役立つはずです（これは私の仮定です）。問題は、これを解決する明確な方法が見当たらないということです。この問題（または同様のもの）に取り組む試みの論文はありますか？私はそれらの潜在的な欠点についていくつかのアイデアを持っています。0003603603600002π2π2\pi000360360360 、シグモイド又はTANH活性化を使用する（それをスケーリング0,2π)0,2π)0, 2\pi)の範囲と損失関数に円形のプロパティを組み込みます。境界線上にある場合（最悪の予測）、わずかなノイズのみが重みを何らかの方法で押し上げるため、これはかなり難しいと思います。また、近い方の境界に値000と2π2π2\pi絶対事前活性値が無限大に近いことが必要となるため、到達するのがより困難になります。 と 2つの値に回帰し、これらの2つの値がなす角度に基づいて損失を計算します。これにはもっと可能性があると思いますが、このベクトルの標準には制限がなく、数値の不安定性につながり、トレーニング中に爆発するか0になる可能性があります。これは、この規範が1から離れすぎないようにするために、奇妙なレギュラーを使用することで解決できる可能性があります。xxxyyy 他のオプションはサイン関数とコサイン関数で何かをすることですが、複数の事前アクティベーションが同じ出力にマッピングされると、最適化と一般化も非常に難しくなると思います。

15 neural-network  deep-learning  loss-function  parameter-estimation 

10個のオブジェクトを認識するために、事前に訓練されたネットワークで転移学習を行ったとします。トレーニング済みの10個のすべてのカテゴリも、トレーニング済みの元のモデルからの情報も失うことなく、ネットワークが分類できる11番目の項目を追加するにはどうすればよいですか？友人から、この分野で活発な研究が行われていると言われましたが、関連する論文や検索する名前が見つかりませんか？ ありがとうございました。

15 neural-network  deep-learning 

リカレントニューラルネットワークIとテキスト生成について読んでいる間、いくつかの例は、テキストを生成するために実施されたことに気づいた単語単位で、他の文字によって文字実際に理由を述べずに。 だから、テキストを予測するRNNモデルの違いは何ですごとの単語の基礎とテキスト予測するものにつき-CHAR根拠は？単語ベースのRNNには、より大きなコーパスサイズが必要ですか？文字ベースのRNNはより一般化されていますか？たぶん、唯一の違いは入力表現（ワンホットエンコーディング、単語埋め込み）でしょうか？テキスト生成に選択するものはどれですか？

15 machine-learning  neural-network  nlp  rnn 

ニューラルネットワークの活性化関数の種類を研究しました。関数自体は非常に単純ですが、アプリケーションの違いは完全には明らかではありません。 目的のバイナリ/連続出力に応じて、論理型関数と線形型関数を区別することは合理的ですが、シグモイド関数の単純な線形関数に対する利点は何ですか？ たとえば、ReLUを理解するのは特に困難です。たとえば、正の入力の場合は線形のように動作し、負の場合は「フラット」な関数を使用するポイントは何ですか？この背後にある直感は何ですか？それとも、単なる単純な試行錯誤のものなのでしょうか？

15 neural-network  activation-function