タグ付けされた質問 「laplace-smoothing」

今日は、単純ベイズ分類について読んでいた。追加のスムージングを使用したパラメーター推定の見出しの下で読みました： してみましょう（例えば正または負など）クラスを参照してください、としましょうトークンまたは単語を参照してください。cccwww の最尤推定量は、P(w|c)P(w|c)P(w|c)count(w,c)count(c)=counts w in class ccounts of words in class c.count(w,c)count(c)=counts w in class ccounts of words in class c.\frac{count(w,c)}{count(c)} = \frac{\text{counts w in class c}}{\text{counts of words in class c}}. この推定は、未知の単語を含むドキュメントに対して確率を与えるため、問題になる可能性があります。この問題を解決する一般的な方法は、ラプラス平滑化を使用することです。P(w|c)P(w|c)P(w|c)000 Vをトレーニングセット内の単語セットとし、単語セットに新しい要素（不明）を追加します。UNKUNKUNK 定義P（w | c ）= カウント（w 、c ）+ 1カウント（c ）+ | V| +1、P（w|c）=カウント（w、c）+1カウント（c）+|V|+1、P(w|c)=\frac{\text{count}(w,c) +1}{\text{count}(c) + |V| + …

27 machine-learning  classification  text-mining  naive-bayes  laplace-smoothing 

ラプラス平滑化（または加法平滑化）のウィキペディアの記事では、ベイズの観点から、 これは、事前分布としてパラメーターを持つ対称ディリクレ分布を使用して、事後分布の期待値に対応します。αα\alpha それが実際にどのように真実であるかについて私は困惑しています。誰かが私にそれらの2つのものが同等である方法を理解するのを手伝ってくれる？ ありがとう！

11 bayesian  smoothing  dirichlet-distribution  laplace-smoothing 

場合p∼p∼p \sim制服(0,1)(0,1)(0,1)、及びX∼X∼X \simビン(n,p)(n,p)(n, p)、その後の事後平均pppで与えられるX+1n+2X+1n+2\frac{X+1}{n+2}。 この推定者の一般的な名前はありますか？私はそれが多くの人々の問題を解決することを発見しました、そして私は人々に参照を示すことができるようにしたいのですが、それに適切な名前を見つけることができませんでした。 統計101の本では「+ 1 / + 2推定量」のように呼ばれていたことを漠然と覚えていますが、これはあまり検索可能な用語ではありません。

11 bayesian  terminology  laplace-smoothing 

例：仕事の説明に「英国のJavaシニアエンジニア」という文があります。 私は2つのカテゴリとして、それを予測することは、深い学習モデルを使用したい：English とIT jobs。従来の分類モデルを使用する場合softmax、最後のレイヤーで機能を持つ1つのラベルのみを予測できます。したがって、2つのモデルのニューラルネットワークを使用して、両方のカテゴリで「はい」/「いいえ」を予測できますが、さらに多くのカテゴリがあると、コストがかかりすぎます。では、2つ以上のカテゴリを同時に予測するためのディープラーニングまたは機械学習モデルはありますか？ 「編集」：従来のアプローチによる3つのラベルでは、[1,0,0]によってエンコードされますが、私の場合、[1,1,0]または[1,1,1]によってエンコードされます 例：3つのラベルがあり、文がこれらすべてのラベルに収まる場合。したがって、softmax関数からの出力が[0.45、0.35、0.2]である場合、3つのラベルまたは2つのラベルに分類する必要がありますか、それとも1つにすることができますか？それを行うときの主な問題は、1、2、または3つのラベルに分類するための適切なしきい値は何ですか？

9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty 

私はHMMを初めて使用し、まだ学習しています。私は現在、HMMを使用して品詞にタグを付けています。ビタビアルゴリズムを実装するには、遷移確率（a私、jai,j a_{i,j} \newcommand{\Count}{\text{Count}}）と排出確率（b私（o ）bi(o) b_i(o) ）。 私は、教師あり学習法を使用してこれらの確率の値を生成しています。ここでは、文とそのタグ付けを行います。排出確率は次のように計算します。 b私（o ）=カウント（i → o ）カウント（i ）bi(o)=Count(i→o)Count(i) b_i(o) = \frac{\Count(i \to o)}{\Count(i)} どこ カウント（i ）Count(i)\Count(i) タグの回数です 私ii トレーニングセットで発生し、 カウント（i → o ）Count(i→o)\Count(i \to o) 観察された単語が ooo タグにマッピング 私ii。 しかし、これを訓練された b私（o ）bi(o)b_i(o) タグ付けの場合、指定された文に観察された変数があり、 b私bib_i。そのような場合、どのように値を推定しますかbibib_i そのインスタンスのために？

8 probability  hidden-markov-model  laplace-smoothing  viterbi-algorithm