タグ付けされた質問 「machine-learning」

Hellinger Distanceで実際に何が起こるかを知りたい（簡単に言えば）。さらに、私はHellinger Distanceを使用できる問題の種類を知ることに興味がありますか？Hellinger Distanceを使用する利点は何ですか？

19 machine-learning  data-mining  text-mining  distance 

私はkaggleコンテストに参加しています。データセットには約100個のフィーチャがあり、すべてが（実際にそれらが表すものに関して）不明です。基本的にそれらは単なる数字です。 これらの機能に対して多くの機能エンジニアリングが行われています。未知の機能に対してどのように機能エンジニアリングを実行できるのでしょうか？誰かがこれを理解するのを助けてもらえますか？また、未知の機能に対して機能エンジニアリングを実行する方法に関するヒントがありますか？

19 machine-learning  feature-selection  feature-extraction  feature-engineering  kaggle 

私が取り組んでいる問題は、短いテキストを複数のクラスに分類することです。私の現在のアプローチは、tf-idf加重項頻度を使用し、単純な線形分類器（ロジスティック回帰）を学習することです。これはかなりうまく機能します（テストセットで約90％のマクロF-1、トレーニングセットで約100％）。大きな問題は、目に見えない単語/ n-gramです。 私は、他の機能、たとえば分布類似性（word2vecで計算）を使用して計算された固定サイズのベクトル、または例の他のカテゴリ機能を追加して、分類器を改善しようとしています。私の考えは、単語の袋からスパース入力フィーチャにフィーチャを追加するだけでした。ただし、これにより、テストおよびトレーニングセットのパフォーマンスが低下します。追加の機能自体は、テストセットで約80％のF-1を提供するため、不要ではありません。機能のスケーリングも役に立たなかった。私の現在の考えでは、この種の機能は（スパース）ワードオブワード機能とうまく混同されません。 質問は次のとおりです。追加機能が追加情報を提供すると仮定して、それらを組み込む最良の方法は何ですか？別々の分類子をトレーニングし、それらをある種のアンサンブル作業で組み合わせることができますか（これには、おそらく、異なる分類子の機能間の相互作用をキャプチャできないという欠点があります）。他に考慮すべき複雑なモデルはありますか？

19 machine-learning  classification  feature-selection  logistic-regression  information-retrieval 

一般に、機械学習モデルはデータセットに基づいて構築されます。元のデータセットの特性を保持するような訓練された機械学習モデルを使用して合成データセットを生成する方法があるかどうかを知りたいですか？ [元のデータ->機械学習モデルの構築-> mlモデルを使用して合成データを生成します.... !!!] 出来ますか ？可能であれば、関連するリソースを指定してください。

19 machine-learning  dataset 

特定のイベントがいくつかの縦断データに影響を与える可能性を分析するために使用する式、方法、またはモデルを見つけようとしています。Googleで何を検索すればよいかわかりません。 シナリオの例を次に示します。 毎日平均100人のウォークイン顧客がいるビジネスを所有しているイメージ。ある日、あなたは毎日あなたの店に来るウォークイン客の数を増やしたいと決めたので、あなたは店の外で狂気のスタントを引いて注意を引きます。来週には、1日平均125人の顧客がいます。 次の数か月間、あなたは再びビジネスを獲得し、おそらくそれをもう少し長く維持したいと決めたので、他のランダムなことを試して、より多くの顧客を獲得します。残念ながら、あなたは最高のマーケティング担当者ではなく、あなたの戦術のいくつかはほとんどまたはまったく効果がなく、他のものはマイナスの影響さえ持っています。 個々のイベントがウォークイン顧客の数にプラスまたはマイナスの影響を与える可能性を判断するために、どのような方法論を使用できますか？相関関係は必ずしも因果関係とは限りませんが、特定のイベント後のクライアントのビジネスにおける日々の歩行の増加または減少の可能性を判断するためにどのような方法を使用できますか？ ウォークイン顧客の数を増やしようとする試みの間に相関関係があるかどうかを分析することに興味はありませんが、他のすべてとは独立した単一のイベントが影響を与えたかどうかは分析しません。 この例はかなり不自然で単純化されているため、私が使用している実際のデータについて簡単に説明します。 特定のマーケティング代理店が新しいコンテンツを公開したり、ソーシャルメディアキャンペーンを実行したりする際に、クライアントのウェブサイトに与える影響を特定しようとしています。各クライアントには、5ページから100万をはるかに超えるサイズのWebサイトがあります。過去5年間にわたって、各代理店は、クライアントごとに、行われた作業の種類、影響を受けたWebサイト上のWebページの数、費やされた時間数など、すべての作業に注釈を付けました。 データウェアハウスにアセンブルした（スター/スノーフレークスキーマの束に配置した）上記のデータを使用して、1つの作業（時間内の1つのイベント）が影響を与えた可能性を判断する必要があります特定の作業によって影響を受ける、すべてまたはすべてのページに到達するトラフィック。Webサイトにある40種類のコンテンツのモデルを作成しました。これらのモデルは、そのコンテンツタイプのページが発売日から現在までに経験する可能性のある典型的なトラフィックパターンを説明しています。適切なモデルに関連して正規化された、特定の作業の結果として特定のページが受信した増加または減少した訪問者の最高数と最低数を判断する必要があります。 私は基本的なデータ分析（線形および重回帰、相関など）の経験がありますが、この問題を解決するためのアプローチ方法に困惑しています。過去に私は通常、特定の軸について複数の測定値を使用してデータを分析しました（たとえば、温度対渇き対動物、および動物全体で温帯の増加に伴う渇きへの影響を決定しました）、私は上記の影響を分析しようとしています非線形であるが予測可能な（または少なくともモデル化可能な）縦断的データセットのある時点での単一イベントの 私は困惑しています:( ヘルプ、ヒント、ポインタ、推奨事項、または指示は非常に役立ち、私は永遠に感謝します！

19 machine-learning  data-mining  statistics 

アクティベーション関数はw * x + b、ニューラルネットワークのタイプの線形出力に非線形性を導入するために使用されます。 シグモイドのような活性化機能について、私は直感的に理解することができます。 バックプロパゲーション中に死んだニューロンを回避するReLUの利点を理解しています。しかし、出力が線形の場合にReLUがアクティベーション関数として使用される理由を理解できませんか？ アクティベーション関数であることのすべてのポイントは、非線形性を導入しない場合、無効になりませんか？

19 machine-learning  neural-network  deep-learning  activation-function 

ニューラルネットワークアーキテクチャを構築するときに、非表示層にいくつのノードを配置し、どのように非表示層を配置するかをどのように決定する必要があるのか​​と思いました。 入力層と出力層はトレーニングセットに依存することを理解していますが、一般に隠れ層と全体的なアーキテクチャをどのように決定するのですか？

19 machine-learning  neural-network 

長所と短所は何ですかKerasとTFlearnは？あるライブラリが他のライブラリよりも優先されるのはいつですか？

18 machine-learning  keras  tflearn 

最近、Word2Vec、Sentence2Vec、Doc2Vecという用語に出くわし、ベクトルセマンティクスが初めてなので混乱しました。誰かがこれらの方法の違いを簡単な言葉で詳しく説明してください。各方法に最適なタスクは何ですか？

18 machine-learning  data-mining  clustering  nlp  unsupervised-learning 

閉じた。この質問には詳細または明確さが必要です。現在、回答を受け付けていません。 この質問を改善したいですか？詳細を追加し、この投稿を編集して問題を明確にします。 閉じた3年前。 25個の機能を持つ架空のデータセットに取り組んでいます。特徴の2つは場所の緯度と経度であり、その他はさまざまな範囲のpH値、標高、windSpeedなどです。他の機能で正規化を実行できますが、緯度/経度機能にどのようにアプローチしますか？ 編集：これは、農業の収量を​​予測する問題です。緯度/経度は非常に重要だと思います。ロケーションは予測に不可欠であるため、ジレンマになります。

18 machine-learning  python  feature-engineering  feature-scaling  normalization 

機械学習でユークリッド距離よりもマンハッタン距離を使用する理由について、適切な議論を探しています。 私がこれまで良い議論に見つけた最も近いものはこのMIT講義にあります。 36:15に、スライドで次のステートメントを確認できます。 「通常、ユークリッドメトリックを使用します。異なる次元が比較可能でない場合は、マンハッタンが適切な場合があります。」 教授が、爬虫類の足の数が0から4まで変化するので（他の機能はバイナリで、0から1までしか変化しないため）、「足の数」機能の方がずっと多くなると言った直後ユークリッド距離が使用される場合の重み。案の定、それは確かに正しいです。しかし、マンハッタン距離を使用する場合、その問題が発生します（ユークリッド距離のように差を2乗しないため、問題がわずかに軽減されるだけです）。 上記の問題を解決するより良い方法は、「脚の数」機能を正規化して、その値が常に0〜1になるようにすることです。 したがって、問題を解決するためのより良い方法があるため、この場合のマンハッタン距離を使用するという議論には、少なくとも私の意見では、より強力なポイントが欠けているように感じました。 ユークリッド上でマンハッタン距離を使用する理由と時期を誰かが実際に知っていますか？マンハッタン距離を使用するとより良い結果が得られる例を教えてもらえますか？

18 machine-learning  classification  distance 

私は機械学習とケラスの初心者であり、現在ケラスを使用してマルチクラスの画像分類問題に取り組んでいます。入力はタグ付き画像です。いくつかの前処理の後、トレーニングデータはPythonリストで次のように表されます。 [["dog", "path/to/dog/imageX.jpg"],["cat", "path/to/cat/imageX.jpg"], ["bird", "path/to/cat/imageX.jpg"]] 「犬」、「猫」、および「鳥」はクラスラベルです。この問題にはワンホットエンコーディングを使用する必要があると思いますが、これらの文字列ラベルの処理方法についてはあまり明確ではありません。私はこの方法でsklearnのLabelEncoder（）を試しました： encoder = LabelEncoder() trafomed_label = encoder.fit_transform(["dog", "cat", "bird"]) print(trafomed_label) そして、出力は[2 1 0]であり、これは[[1,0,0]、[0,1,0]、[0,0,1]]のような気まぐれな出力とは異なります。いくつかのコーディングで行うことができますが、それに対処するための「標準」または「伝統的な」方法があるかどうか知りたいですか？

18 machine-learning  scikit-learn  tensorflow  keras  encoding 

小売店があり、毎分何人の人が私の店に入るかを測定し、そのデータにタイムスタンプを付ける方法がある場合、どうすれば将来の足のトラフィックを予測できますか？ 機械学習アルゴリズムを検討しましたが、どのアルゴリズムを使用すべきかわかりません。私のテストデータでは、KNNのように（賢明なパラメーターと距離関数であると思う）他の試みと比較して、年ごとの傾向がより正確です。 これは、時系列データを扱う金融モデリングに似ているようです。何か案は？

18 machine-learning  time-series 

Andrew Ng（残念ながらもう見つけられないビデオで）が、深層学習問題における局所的最小値の理解が、高次元の空間（ディープラーニング）クリティカルポイントは、ローカルミニマムではなくサドルポイントまたはプラトーになりやすい。 「すべてのローカルミニマムがグローバルミニマムである」という仮定を議論する論文（たとえば、これ）を見てきました。これらの仮定はすべてかなり技術的ですが、私が理解していることから、それらはニューラルネットワークに構造を課し、それをある程度線形にする傾向があります。 ディープラーニング（非線形アーキテクチャを含む）では、プラトーはローカルミニマムよりも可能性が高いという有効な主張ですか？もしそうなら、その背後に（おそらく数学的な）直感がありますか？ ディープラーニングとサドルポイントに特別なことはありますか？

18 machine-learning  deep-learning  optimization  convergence 

ニューラルネットワークにおけるシグモイド関数の微分の役割を理解しようとします。 最初に、シグモイド関数と、Pythonを使用した定義からのすべてのポイントの導関数をプロットします。この派生物の役割は正確に何ですか？ import numpy as np import matplotlib.pyplot as plt def sigmoid(x): return 1 / (1 + np.exp(-x)) def derivative(x, step): return (sigmoid(x+step) - sigmoid(x)) / step x = np.linspace(-10, 10, 1000) y1 = sigmoid(x) y2 = derivative(x, 0.0000000000001) plt.plot(x, y1, label='sigmoid') plt.plot(x, y2, label='derivative') plt.legend(loc='upper left') plt.show()

18 machine-learning  neural-network