タグ付けされた質問 「machine-learning」

次のような散布図があるとします。 私はこのような散布図をたくさん持っているので(x,y)、NNに入力するために特徴変換、つまり単一の用語でスカッシュを実行したいと思います。どのタイプの変換x/y、(x/y)^2または他の変換がこのタイプのグラフで最も効果的に機能するか、つまり、単一の項に押しつぶしながら分離をさらに増やします。

7 machine-learning  neural-network  feature-extraction 

私はこのようなデータセットを持っています： postID Sentence drugYesOrNo 1 He went out with his friends 2 He behaved nicely while talking with me 3 He stopped using drugs after a while 1 4 He did not meet any friend during last week 1 He slowly cut usage of drugs 1 2 He smiled like …

7 machine-learning  deep-learning  classification  text-mining 

親愛なる機械学習/ AIコミュニティ、 私は、オープンなオンラインデータセットと、プロジェクト用にローカルで構築されたいくつかのPOCに取り組んできた、新進気鋭の機械学習者です。再トレーニングを回避するために、いくつかのモデルを構築し、ピクルスオブジェクトに変換しました。 そして、この質問はいつも私を困惑させます。実際の本番システムはMLアルゴリズムでどのように機能しますか？ たとえば、MLアルゴリズムを数百万のデータでトレーニングし、それを本番システムに移動するか、サーバーでホストしたいとします。現実の世界では、それらは漬物オブジェクトに変換されますか？もしそうなら、それは巨大な漬物ファイルになるでしょう、そうではありません。ローカルでトレーニングし、50000行のデータ自体に変換したものは、そのピクルされたオブジェクトのためにディスク上で300 Mbのスペースを使用しました。私はそうは思わないので、これは正しいアプローチです。 では、MLアルゴリズムが受信データを再トレーニングして予測を開始しないようにするには、どうすればよいでしょうか。また、継続的なオンライン学習者として実際にMLアルゴリズムを作成する方法を教えてください。たとえば、画像分類子を作成し、入力画像の予測を開始しました。しかし、以前にトレーニングしたデータセットに着信オンライン画像を追加して、アルゴリズムを再度トレーニングしたいと思います。すべてのデータについてではなく、毎日、その日に受信したすべてのデータを組み合わせて、以前にトレーニングした分類子が実際の値で予測した新しく100枚の画像で再トレーニングしたい場合があります。そして、この再トレーニングは計算リソースとデータに基づいて時間がかかる可能性があるため、このアプローチは、以前にトレーニングされたアルゴリズムに影響を与えて、着信データの予測を停止するべきではありません。 私は多くの記事をGoogleで読みましたが、上記の質問を見つけたり理解したりできませんでした。そして、これは私を毎日困惑させています。本番システムでも手動による介入が必要ですか？それとも自動化されたアプローチがありますか？ 上記の質問へのリードまたは回答は非常に役立ち、高く評価されます。私の質問が意味をなさない、または理解できない場合はお知らせください。 これは私が探しているプロジェクト中心ではありません。実際のプロダクションMLシステムの例の単なる一般的なケース。 前もって感謝します！

7 machine-learning  python  deep-learning  data-science-model 

マルチラベル（例：Mラベル）分類の通常の目的関数は、バイナリクロスエントロピーです。問題は、バイナリクロスエントロピーを使用する場合、出力ラベルが互いに独立していると想定し、問題をM個の独立したバイナリ分類問題に変換することです。出力ラベルを互いに依存させる適切な目的関数はありますか？

7 machine-learning 

これに似たCNNダイアグラムを描く必要があります。 https://datascience.stackexchange.com/a/14900に記載されているすべてのツールを試しましたが、簡単な方法はありません。自動化する方法はありますか？または手動で行う必要がありますか？ さらに、これを描くことは可能ですか？： http://alexlenail.me/NN-SVG/LeNet.htmlを見つけましたが、この場合、各レイヤーへの入力は完全な正方形であると想定されています。したがって、上の図を描くことはできません。

7 machine-learning  neural-network  deep-learning 

データポイントの機能が等しくない問題を調べています。 各インスタンスは、システム全体でのアイテムの進行を表します。それらの多くはエンドポイントまで進んでおり、他のものはまだ中間段階にあります。ステージ数は既知です（合計10）。各ステージに入る時間があります。重要なのは、彼らが最終段階に到達する時期を予測することです。 これを処理する方法はいくつかあります。決定木はこれを適切に処理できるかもしれません。ステージのエントリ時間が不明な場合でも、ステージのデータから妥当な予測を行うことができます。 誰かが私を正しい方向に向けることができますか？

7 machine-learning  feature-scaling 

私はプロトタイピングとモデル構築にRとRStudioを使用しており、永続的な問題（これは私が使用している環境にのみ該当します）のため、Pythonを使用することにしました。私は知りたいと思っています： 「RStudio Server」のようなpython開発環境はありますか？ ディシジョンツリー/勾配ブースティングのためにPythonでマルチスレッド/マルチコア処理を有効にするのはどれほど簡単/難しいですか？ Python dev環境サーバーにデータを保持できますか？意味：コードとデータフレームを使用して開発環境を保存し、翌日に戻ってアクセスした場所にアクセスしたり、そこからピックアップしたりできますか？ PythonからOracleデータベースに接続できますか？ .RDataをPython開発環境にインポートする方法はありますか？ なぜこれらの質問をここで行うのですか？ 検索エンジンを調べている間、私は主に信頼できない結果、トレーニング機関のプロモーション、時代遅れのブログ、業界大手からのホワイトペーパーを取得しています。信頼できる答えが必要です。

7 machine-learning  python  scikit-learn 

バッチの正規化を学びながら、適切なアクティベーション関数を使用して「勾配スケールの問題」を解決できないのかと考えていました。 データセット全体をスケーリングするのではなく、アクティベーション関数を遅延させてスケーリングし、それによって分散が確実に保持されるようにできないのでしょうか。

7 machine-learning 

データセットを分類するために決定木分類器を実装しようとしています。私はPythonを使用しています。これでscikit学習で実装するのは簡単ですが、これをテンソルフローに実装するにはどうすればよいですか。

7 machine-learning  python  deep-learning  tensorflow  decision-trees 

2つ（原則としてそれ以上）の1xN時系列があり、両方の次の値を予測するようにNNをトレーニングしたいと思います。それらを2xNマトリックスとして配置し、このマトリックスからのウィンドウをNNへの入力としてフィードできますが、NN自体をどのように構成するかわかりません。 私は単一シリーズでかなりまともな仕事をすることができる畳み込みでNNを作成しましたが、シリーズ間相関を活用したいと思います。NNに時系列間の相関関係を通知させるには、どのトポロジが機能しますか？

7 machine-learning  neural-network  time-series  correlation 

感情分析のタスクとして、で表されるクラスと機能とします。ccciii 各クラスの条件付き確率は次のように表すことができます ここで、は各特徴を表し、はクラスです我々は持っています。次に、経験的に、 ことができます。ここで：P(c|wi)=P(wi|c)⋅P(c)P(wi)P(c|wi)=P(wi|c)⋅P(c)P(wi)P(c | w_i) = \frac{P(w_i|c) \cdot P(c)}{P(w_i)}wiwiw_icccP(wi|c)=ncincP(wi|c)=ncincP(w_i|c) = \frac{n_{ci}}{n_c} P(wi)=ninP(wi)=ninP(w_i) = \frac{n_{i}}{n}P(c)=ncnP(c)=ncnP(c) = \frac{n_c}{n} nnnは、すべてのクラスの特徴の総数です。 ncincin_{ci}は、クラスその特徴カウント数を表し。iiiccc ncncn_cは、クラスの機能の総数です。 ninin_iは、すべてのクラスの機能の総数です。 上記の私の理解は正しいですか？したがって、各単語のこれらの確率を考えると、私は単純なベイズの仮定です。単語は独立しているため、特定のクラスのドキュメントの各単語を単純に乗算します。つまり、ここで、はドキュメント内の単語数です。これは正しいです？P(c|wi)P(c|wi)P(c|w_i)∏P(c|wi),i∈N∏P(c|wi),i∈N\prod P(c|w_i), i \in NNNN 条件付き確率を数値で実際に計算するには、次のことを行えば十分でしょうか。 P(c|wi)=P(wi|c)⋅P(c)P(wi)=ncinc⋅ncn⋅nni=nciniP(c|wi)=P(wi|c)⋅P(c)P(wi)=ncinc⋅ncn⋅nni=nciniP(c | w_i) = \frac{P(w_i|c) \cdot P(c)}{P(w_i)} = \frac{n_{ci}}{n_c} \cdot \frac{n_c}{n}\cdot \frac{n}{n_i} = \frac{n_{ci}}{n_i} 方程式の最後の部分は、かなり複雑な確率を計算するには単純すぎるように思えるため、私には少し疑わしく見えます。

7 machine-learning  nlp  naive-bayes-classifier  sentiment-analysis  natural-language-process 

データと質問に依存することはわかっていますが、特定のデータセットに対して、かなり複雑な非線形モデル（ただし解釈が難しい）を使用して、より優れた予測能力を提供できるシナリオを想像してください。データ内、または予測力は低くても解釈が簡単な単純なモデル（おそらく線形モデルなど）を持っています。これは、機械学習モデルを解釈する方法についてのアイデアを議論する非常に良い投稿です。 業界は非常に慎重ですが、より複雑なモデルの採用に徐々に関心を寄せています。それでも彼らはトレードオフを明確に知りたいですか？データサイエンティストは、おそらくデータチームと意思決定者の間に座っている人であり、これらのことを素人の言葉で説明できる必要があることがよくあります。 私はここでブレインストーミングをして、このようなトレードオフを非技術者に説明するためにどのような類推を思いつくかを確認しようとしていますか？

7 machine-learning  predictive-modeling  model-selection 

回帰問題で、XGBoostやニューラルネットワークなどのモデルを指定して、特定の予測の信頼性/信頼性スコアを計算することはできますか？

7 machine-learning  neural-network  regression  decision-trees  xgboost 

以下のような10,000遺伝子のデータセットがあります person gene1 gene2 ... gene10000 ethnic 1 0 1 1 asian 2 1 0 1 European 各行は、人がDNAに遺伝子を持っているかどうかを意味します。上記のデータに基づいて、さまざまな民族グループを分類しようとしています。しかし、最初にいくつかのクラスタリングアルゴリズムを使用して、さまざまな民族グループのクラスターがどのように見えるかを視覚化したいと思います。このクラスタリングアルゴリズムを使用してグループを分類することはありません。適切な個別のクラスターや重複するクラスターなどがある場合、それがどのように見えるかを視覚化するためだけに使用されます。 このタイプのデータセットには、いくつかのクラスタリングアルゴリズムをお勧めします。また、次元は10000です。これはクラスタリングの問題になるのでしょうか？最初にいくつかの次元削減アルゴリズムを使用する必要がありますか？もしそうなら、あなたの推奨事項を教えてください。前もって感謝します。

7 machine-learning  clustering  unsupervised-learning 

バイナリ分類子が与えられた場合、なぜそれが何らかの入力を陽性クラスとして分類したのかを説明することは常に可能ですか？そして、つまり、大きな機能セットがある場合、次のようなツールがあります。 よろしくお願いします！

7 machine-learning  classification  feature-extraction