タグ付けされた質問 「nonparametric-bayes」

私は興味のある結果が二分されglmnetているLASSO回帰の使用に手を出し始めています。以下に小さな模擬データフレームを作成しました。 age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, 0.85, 0.67, 0.91, 0.29, 0.88) m_edu <- c(0, 1, 1, 2, 2, 3, 2, 0, 1) p_edu <- c(0, 2, 2, …

77 r  self-study  lasso  regression  interpretation  anova  statistical-significance  survey  conditional-probability  independence  naive-bayes  graphical-model  r  time-series  forecasting  arima  r  forecasting  exponential-smoothing  bootstrap  outliers  r  regression  poisson-distribution  zero-inflation  genetic-algorithms  machine-learning  feature-selection  cart  categorical-data  interpretation  descriptive-statistics  variance  multivariate-analysis  covariance-matrix  r  data-visualization  generalized-linear-model  binomial  proportion  pca  matlab  svd  time-series  correlation  spss  arima  chi-squared  curve-fitting  text-mining  zipf  probability  categorical-data  distance  group-differences  bhattacharyya  regression  variance  mean  data-visualization  variance  clustering  r  standard-error  association-measure  somers-d  normal-distribution  integral  numerical-integration  bayesian  clustering  python  pymc  nonparametric-bayes  machine-learning  svm  kernel-trick  hyperparameter  poisson-distribution  mean  continuous-data  univariate  missing-data  dag  python  likelihood  dirichlet-distribution  r  anova  hypothesis-testing  statistical-significance  p-value  rating  data-imputation  censoring  threshold 

連続確率変数密度を推定することに興味があります。これを行う1つの方法は、カーネル密度推定を使用することです。XXX しかし今、私は次の線に沿ったベイジアンアプローチに興味があります。は最初に分布従うと信じています。を読み取ります。新しい測定値に基づいてを更新する方法はありますか？XXXFFFnnnXXXFFF 私は自分が矛盾しているように聞こえますが、もしのみを以前の分布として信じているなら、それ以外のデータを私に納得させるべきではありません。ただし、があり、私のデータポイントがます。見ると、明らかに以前のものに固執することはできませんが、どうすれば更新できますか？FFFFFFUnif[0,1]Unif[0,1]Unif[0,1](0.3,0.5,0.9,1.7)(0.3,0.5,0.9,1.7)(0.3, 0.5, 0.9, 1.7)1.71.71.7 更新：コメントの提案に基づいて、Dirichletプロセスの検討を開始しました。次の表記法を使用します。 G∼DP(α,H)θi|G∼Gxi|θi∼N(θi,σ2)G∼DP(α,H)θi|G∼Gxi|θi∼N(θi,σ2) G \sim DP(\alpha,H)\\ \theta_i | G \sim G\\ x_i | \theta_i \sim N(\theta_i,\sigma^2) この言語で私の元の問題を組み立てた後、私は次のことに興味があると思います：。これをどのように行うのですか？θn+1|x1,...,xnθn+1|x1,...,xn\theta_{n+1} | x_1,...,x_n でノートのセット（2ページ）、著者は一例た（ Urn Scheme）。これが関連するかどうかはわかりません。θn+1|θ1,...,θnθn+1|θ1,...,θn\theta_{n+1} | \theta_1,...,\theta_n 更新2：私も尋ねたい（メモを見た後）：DPのをどのように選択しますか？ランダムな選択のようです。さらに、DPの以前のをどのように選択しますか？事前として事前確率を使用する必要がありますか？H θ Hαα\alphaHHHθθ\thetaHHH

22 bayesian  pdf  nonparametric-bayes  dirichlet-process 

GPMLを使用して多次元出力（おそらく相関）でガウスプロセス回帰を実行する方法はありますか？ でデモスクリプト 私は1Dの例を見つけることができます。 同様の質問 CV上の多次元入力のタックルケース。 私は彼らの本を読み、何かを見つけることができるかどうかを確認しました。で第九章この本（9.1節）の、彼らは、複数の出力のこのケースを言及しています。彼らはこれに対処するためのいくつかの方法について言及しました。1つは相関ノイズプロセスを使用し、2つはCokriging（事前相関）を使用します。 これらのアイデアをどのようにしてGPMLフレームワークに組み込むことができるのか、まだわかりません。 また、多次元出力をサポートする他のGPライブラリ/フレームワークはありますか？

13 regression  machine-learning  matlab  gaussian-process  nonparametric-bayes 

一般化されたウィシャートプロセス（GWP）に関するこのペーパーを読んでいます。この論文では、2乗指数共分散関数、つまりを使用して、さまざまな確率変数（ガウスプロセスに従って）間の共分散を計算します。次に、この共分散行列はGWPに従います。K(x,x′)=exp(−|(x−x′)|22l2)K(x,x′)=exp⁡(−|(x−x′)|22l2)K(x,x') = \exp\left(-\frac{|(x-x')|^2}{2l^2}\right) 私は、線形共分散関数（）K(x,x′)=xTx′K(x,x′)=xTx′K(x,x') = x^Tx'から計算された共分散行列は、適切なパラメーターを使用してウィシャート分布に従うと考えていました。 私の質問は、二乗指数共分散関数を使用してウィシャート分布に従う共分散をまだどのように仮定できるかです。また、一般的に、Wishart分散共分散行列を生成するための共分散関数に必要な条件は何ですか？

11 machine-learning  normal-distribution  covariance  wishart  nonparametric-bayes 

問題のセットアップ 私がPyMCに適用したい最初のおもちゃの問題の1つは、ノンパラメトリッククラスタリングです。いくつかのデータを指定して、ガウス混合としてモデル化し、クラスターの数と各クラスターの平均と共分散を学習します。この方法について私が知っていることのほとんどは、2007年頃のマイケルジョーダンとイーワイテによるビデオ講義（スパースが大流行する前）と、Fonnesbeck博士とE. Chen博士のチュートリアル[fn1]、[ fn2]。しかし、問題はよく研究されており、信頼できる実装がいくつかあります[fn3]。 このおもちゃの問題では、1次元ガウスから10回の描画を生成し、から40回の描画を生成します。以下に見られるように、どのサンプルがどの混合成分からのものであるかを簡単に見分けられるように、ドローをシャッフルしませんでした。N（μ = 4 、σ = 2 ）N(μ=0,σ=1)N(μ=0,σ=1)\mathcal{N}(\mu=0, \sigma=1)N(μ=4,σ=2)N(μ=4,σ=2)\mathcal{N}(\mu=4, \sigma=2) 各データサンプルをに対してモデル化しここで、はこの番目のデータポイントのクラスターを示します。。ここでは、使用される切り捨てられたディリクレプロセスの長さです。私にとって、です。iは= 1 、。。。、50 、Z iは I Z I ∈ [ 1 、。。。、N D P ] N D P N D P = 50yi∼N(μzi,σzi)yi∼N(μzi,σzi)y_i \sim \mathcal{N}(\mu_{z_i}, \sigma_{z_i})i=1,...,50i=1,...,50i=1,...,50ziziz_iiiizi∈[1,...,NDP]zi∈[1,...,NDP]z_i \in [1,...,N_{DP}]NDPNDPN_{DP}NDP=50NDP=50N_{DP}=50 ディリクレプロセスインフラストラクチャを拡張すると、各クラスターIDはカテゴリ確率変数からのドローであり、その確率質量関数はスティック破壊コンストラクトによって与えられます： with for a濃度パラメータ。スティックブレイキングは、最初にに依存する iidベータ分布ドローを取得することにより、合計が1になる -longベクトル構築します。[fn1]を参照してください。そして、データに無知であることを知らせたいので、[fn1]に従い、 0.3、100）と仮定します。、Z I〜C A …

10 bayesian  clustering  python  pymc  nonparametric-bayes 

ディリクレポセスとガウス過程は、しばしば「関数の分布」または「分布の分布」と呼ばれます。その場合、GPの下での関数の密度について意味のある話をすることができますか？つまり、ガウス過程またはディリクレ過程は、確率密度の概念を持っていますか？ そうでない場合、関数の事前確率の概念が明確に定義されていない場合、ベイズの規則を使用して事後から前に進むにはどうすればよいでしょうか。MAPやEAPの推定値などは、ベイジアンノンパラメトリックの世界に存在しますか？どうもありがとう。

10 machine-learning  probability  bayesian  nonparametric  nonparametric-bayes 

私は現在、ディリクレ過程変量効果モデルの論文を見ています。モデルの仕様は次のとおりです： y私ψ私G= X私β+ ψ私+ ϵ私〜G〜D P（α 、G0）yi=Xiβ+ψi+ϵiψi∼GG∼DP(α,G0) \begin{align*}y_{i} &= X_{i}\beta + \psi_{i} + \epsilon_{i}\\ \psi_{i} &\sim G \\ G &\sim \mathcal{DP}\left(\alpha, G_{0}\right) \end{align*}αα\alphaG0G0G_{0}G0G0G_{0}∫f（yj| θ、 ψj）dG0（ψj）。∫f(yj|θ,ψj)dG0(ψj). \int f\left(y_{j}|\theta, \psi_{j}\right)\, dG_{0}\left(\psi_{j}\right).

9 bayesian  dirichlet-distribution  dirichlet-process  nonparametric-bayes  measure-theory 

これのほとんどはバックグラウンドです。ディリクレプロセスの混合物についてすでに十分に知っている場合は、最後までスキップしてください。すなわち聞かせて、私はディリクレ過程の混合物から来ていくつかのデータをモデル化していたととの条件付きF前提とY I I I D 〜 ∫ F （Y | θ ）F （Dのθを）。F〜D（α H）F∼D(αH)F \sim \mathcal D(\alpha H)FFFY私〜I I D∫f（y| θ）F（dθ ）。Yi∼iid∫f(y|θ)F(dθ).Y_i \stackrel {iid}{\sim} \int f(y | \theta) F(d\theta). ここでおよびα Hは、前のベース尺度です。それは、各観察のためかのことが判明Yを、私、私が知っている場合、関連する潜在θ I、の可能性α、このモデルではL （α | T ）α α T Γ （α ）α > 0α>0\alpha > 0α HαH\alpha HY私YiY_iθ私θi\theta_iαα\alpha Tは、別個の値の数であり、θI（ランダム測度Fは、ほぼ確実に離散的です）。EscobarとWestは、ガンマ事前分布を使用してαをサンプリングする次のスキームを開発しました。まず、彼らが書くπ（α|T）απ（α）αTΓ（α）L(α|t)∝αtΓ(α)Γ(α+n)L(α|t)∝αtΓ(α)Γ(α+n)L(\alpha | t) …

9 bayesian  nonparametric-bayes 

私はこのトピックに頭を抱えたいのですが、ホワイトペーパーやチュートリアルから学ぶことは、通常は教科書で埋められる多くのギャップがあるため、困難です。 もしそれが重要であれば、私は博士号を取得したときと同様に、比較的強い数学的背景を持っています。応用数学（より正確にはCFD）。

9 bayesian  nonparametric  references  nonparametric-bayes 

研究論文「認知能力の自動発見」に記載されている中華レストランのプロセス（CRP）と加重中華レストランのプロセス（WCRP）を理解しようとしています。学生の学習。CRPでは、すべての実装（ノンパラメトリックベイズとディリクレプロセスを使用した無限混合モデルを参照）で乱数を比較して、顧客が新しいテーブルと既存のテーブルのどちらに座るかを決定します。なぜこのチェックが行われるのか、またこのチェック条件はWCRPでどのように異なるのですか？

7 clustering  nonparametric-bayes