タグ付けされた質問 「smoothing」

例：仕事の説明に「英国のJavaシニアエンジニア」という文があります。 私は2つのカテゴリとして、それを予測することは、深い学習モデルを使用したい：English とIT jobs。従来の分類モデルを使用する場合softmax、最後のレイヤーで機能を持つ1つのラベルのみを予測できます。したがって、2つのモデルのニューラルネットワークを使用して、両方のカテゴリで「はい」/「いいえ」を予測できますが、さらに多くのカテゴリがあると、コストがかかりすぎます。では、2つ以上のカテゴリを同時に予測するためのディープラーニングまたは機械学習モデルはありますか？ 「編集」：従来のアプローチによる3つのラベルでは、[1,0,0]によってエンコードされますが、私の場合、[1,1,0]または[1,1,1]によってエンコードされます 例：3つのラベルがあり、文がこれらすべてのラベルに収まる場合。したがって、softmax関数からの出力が[0.45、0.35、0.2]である場合、3つのラベルまたは2つのラベルに分類する必要がありますか、それとも1つにすることができますか？それを行うときの主な問題は、1、2、または3つのラベルに分類するための適切なしきい値は何ですか？

9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty 

私の教科書はidfをとしてリストしてい。log(1+Nnt)log(1+Nnt)log(1+\frac{N}{n_t}) NNN：ドキュメントの数 ntntn_t：用語を含むドキュメントの数ttt ウィキペディアは、この公式を実際の平滑化バージョンとしてリストしてい。それは私が理解しているものです：からで、直感的に思えます。 しかし、はからこれは奇妙に見えます... 言語モデリングからの平滑化については少し知っていますが、分子に何かを追加します確率質量について心配しているので、分母も同様です。しかし、追加するだけでは意味がありません。ここで何を達成しようとしていますか？log(Nnt)log(Nnt)log(\frac{N}{n_t})log(NN)=0log(NN)=0log(\frac{N}{N})=0∞∞\inftylog(1+Nnt)log(1+Nnt)log(1+\frac{N}{n_t})log(1+1)log(1+1)log(1+1)∞∞\infty111

9 text-mining  natural-language  smoothing 

私は、患者の年齢（年で測定された整数量）が予測変数の1つである予測コストモデルに取り組んでいます。年齢と入院のリスクの間の強い非線形関係は明らかです： 患者の年齢に応じて、ペナルティ付き回帰平滑化スプラインを検討しています。よると、統計的学習の要素（Hastieら、2009、P.151）、最適な結び目の配置は、会員の年齢のユニークな値ごとに結び目があります。 年齢を整数として保持しているとすると、ペナルティ付きスムージングスプラインは、データセットで見つかった年齢の値ごとに1つ（マイナス1つ）の、101の異なる年齢インジケーター変数でリッジ回帰または投げ縄を実行することに相当しますか？各年齢インジケーターの係数がゼロに向かって縮小されるため、過剰パラメーター化は回避されます。

9 nonlinear-regression  lasso  ridge-regression  smoothing  splines 

mgcvパッケージ(x, y)でのプロットplot(b, seWithMean=TRUE)に使用される値を知りたいのですが。これらの値を抽出または計算する方法を誰かが知っていますか？ 次に例を示します。 library(mgcv) set.seed(0) dat <- gamSim(1, n=400, dist="normal", scale=2) b <- gam(y~s(x0), data=dat) plot(b, seWithMean=TRUE)

9 r  time-series  smoothing  mgcv 

TLDR：薄板回帰スプラインには確率的/ベイズ的解釈がありますか？ 入力-出力ペア所与の(xi,yi)(xi,yi)(x_i,y_i)、i=1,...,ni=1,...,ni=1,...,n ; Iは、関数推定するf(⋅)f(⋅)f(\cdot)としては、下記の f(x)≈u(x)=ϕ(xi)Tβ+∑i=1nαik(x,xi),f(x)≈u(x)=ϕ(xi)Tβ+∑i=1nαik(x,xi),\begin{equation}f(x)\approx u(x)=\phi(x_i)^T\beta +\sum_{i=1}^n \alpha_i k(x,x_i),\end{equation}k(⋅,⋅)k(⋅,⋅)k(\cdot,\cdot)ϕ(xi)ϕ(xi)\phi(x_i)m&lt;nm&lt;nm<nαiαi\alpha_iβiβi\beta_iminα∈Rn,β∈Rm1n∥Y−Φβ−Kα∥2Rn+λαTKα,minα∈Rn,β∈Rm1n‖Y−Φβ−Kα‖Rn2+λαTKα,\begin{equation} {\displaystyle \min _{\alpha\in R^{n},\beta \in R^{m}}{\frac {1}{n}}\|Y-\Phi\beta -K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}K\alpha},\end{equation}ΦΦ\Phiϕ(xi)Tϕ(xi)T\phi(x_i)^Ti,ji,ji,jKKKk(xi,xj)k(xi,xj){\displaystyle k(x_{i},x_{j})} α∗=λ−1(I+λ−1K)−1(Y−Φβ∗)α∗=λ−1(I+λ−1K)−1(Y−Φβ∗)\begin{equation} \alpha^*=\lambda^{-1}(I+\lambda^{-1}K)^{-1}(Y-\Phi\beta^*) \end{equation} \ begin {式} \ beta ^ * = \ {\ Phi ^ T（I + \ lambda ^ {-1} K）^ {-1} \ Phi \} ^ {-1} \ Phi ^ …

8 regression  bayesian  gaussian-process  smoothing  semiparametric 

データは、さまざまな時間に記録された光学スペクトル（周波数に対する光強度）で構成されています。ポイントは、x（時間）、y（周波数）の通常のグリッドで取得されました。特定の周波数での時間発展を分析するために（急上昇、続いて指数関数的減衰）、データに存在するノイズの一部を削除したいと思います。このノイズは、固定周波数の場合、ガウス分布のランダムとしてモデル化できます。ただし、一定の時間に、データは異なる種類のノイズを示し、大きなスプリアススパイクと高速振動（+ランダムガウスノイズ）を伴います。2つの軸に沿ったノイズは物理的な起源が異なるため、相関関係がないはずです。 データを平滑化するための合理的な手順は何ですか？目標は、データを歪めることではなく、「明白な」ノイズの多いアーティファクトを削除することです。（そして、過度のスムージングは​​調整/定量化できますか？）1つの方向に沿って他の方向から独立してスムージングすることが意味があるのか​​、それとも2Dでスムージングする方が良いのかわかりません。 2Dカーネル密度推定、2D多項式/スプライン補間などについて読みましたが、専門用語や基礎となる統計理論に精通していません。 私はRを使用していますが、関連しているように見える多くのパッケージ（MASS（kde2）、フィールド（smooth.2d）など）が表示されますが、どの手法を適用するかについてのアドバイスはここでは見つかりません。 あなたが私を指摘する特定の参照があれば、私はもっと学ぶことができて嬉しいです（MASSは良い本だと思いますが、おそらく非統計家には技術的すぎるかもしれません）。 編集：データを表すダミーのスペクトログラムは、時間と波長の次元に沿ったスライスです。 ここでの実際的な目標は、各波長（またはノイズが多すぎる場合はビン）の指数関数的減衰率を時間で評価することです。

8 r  time-series  multivariate-analysis  references  smoothing 

レッツは、私が持っているとn×mn×mn \times m、データ行列中心AAA SVDを用いてA=UΣVTA=UΣVTA = U \Sigma V^{T}。 たとえば、m=50m=50m=50列（測定値）であり、n=100n=100n=100異なる周波数のスペクトルです。行列が中央に配置されるため、行列の行の平均が差し引かれます。これは、左特異ベクトルを主成分として解釈するためのものです。 各列ベクトルを平滑化したときにSVDがどのように変化するかを理解することに興味があります。たとえば、[1/3、2/3、1/3]のような単純なカーネルで各100x1列を平滑化しましょう。 S=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢23131323131323⋱13⋱13⋱23131323131323⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥S=[2313132313132313⋱⋱⋱1323131323131323]S=\begin{bmatrix} \frac{2}{3}&\frac{1}{3}& & & & &\\ \frac{1}{3}&\frac{2}{3}&\frac{1}{3} & & & &\\ & \frac{1}{3}&\frac{2}{3}&\frac{1}{3} & & &\\ & & \ddots& \ddots & \ddots & & \\ & & & \frac{1}{3}&\frac{2}{3}&\frac{1}{3} & \\ & & & &\frac{1}{3}&\frac{2}{3}&\frac{1}{3} \\ & & & & …

8 pca  smoothing  svd 

観測された系列指定して、観測できない変数をサンプリングすることを目的とするMCMCアプリケーションの事後分布に直面しています。x={xt}Tt=0x={xt}t=0Tx=\{x_t\}_{t=0}^{T}y={yt}Tt=0y={yt}t=0Ty=\{y_t\}^T_{t=0} ただし、条件付き事後者はとして読み取り、はa追加の構造パラメーターのベクトル。私の理解によれば、の値を推測するには知識が必要であるため、これは平滑化の問題になります。p(xt|yt+1,yt,yt−1,xt−1,xt+1,Θ),p(xt|yt+1,yt,yt−1,xt−1,xt+1,Θ),p(x_t | y_{t+1}, y_t, y_{t-1} ,x_{t-1}, x_{t+1}, \Theta),ΘΘ\Thetayt+1yt+1y_{t+1}xtxtx_t ただし、同じ問題を扱う記事では、シリーズをフィルターシリーズと呼んでいます。xxx ここで何か不足していますか？

8 time-series  bayesian  smoothing  filter 

いくつかのレベルをホバリングする、やや騒々しい時系列があります。 たとえば、次のデータ： 実線のデータがあり、破線の見積もりを取得したい。区分的に一定でなければなりません。 ここで試すのに適切なアルゴリズムは何ですか？ これまでのところ、私のアイデアは0度のPスプライン（ただし、ノットを配置する場所を見つける方法は？）または構造破壊モデルを中心に扱っています。回帰木は現在私が持っている最高のアイデアですが、理想的には、y = 250の2つのレベルが等しいy値にあるという事実を考慮した方法を探しています。私が正しく理解していれば、回帰ツリーはこれらの2つの区間を2つの異なるグループに分割し、それぞれの平均は異なり​​ます。 それを生成したRコードはこれです： set.seed(20181118) true_fct = stepfun(c(100, 200, 250), c(200, 250, 300, 250)) x = 1:400 y = true_fct(x) + rt(length(x), df=1) plot(x, y, type="l") lines(x, true_fct(x), lty=2, lwd=3)

7 r  time-series  smoothing