タグ付けされた質問 「prior」

ロジスティック回帰やランダムフォレストなどの分類器に事前クラス確率分布を組み込む方法についての記事や講義が見つからないことに驚いています。 だから私の質問は： 以前のクラスの確率分布をロジスティック回帰またはランダムフォレストに組み込むにはどうすればよいですか？ 以前のクラス確率分布を組み込むことは、ベイジアン機械を使用する必要があることを意味しますか？ 私はクラスaがクラスbよりもはるかに可能性が高いことを知っている分類タスクに直面しています。 アドホックな解決策は、クラスAのサンプルをトレーニングセットに含めるだけですが、これに関する理論的な結果はありますか？ 私が考えたのは、決定しきい値を0.5からこの以前の不均衡を考慮した値に変更することでした。しかし、それが理論的に理にかなっているのかどうかさえわかりません。決定を下す準​​備ができた時点で、すでにすべての特徴値を調べているため、事前確率ではなくクラスの条件付き確率を気にする必要があるためです。

9 logistic  bayesian  random-forest  prior 

私はベイジアン統計を再学習しようとしていました（私が最終的にそれを得たと思うたびに、以前に考慮しなかった何かがポップアウトします...）。しかし、データ生成プロセスが（私にとって）明確ではありませんでした。ベイジアンフレームワークでは実際にそうです。 頻出主義の枠組みは私には明らかです。いくつかの「真の」パラメータあり、そのパラメータは、パラメータ化する分布に従ってデータを生成します。θθ\theta ただし、ベイジアン設定では、パラメーターを確率変数としてモデル化します。その部分は私を混乱させません。ベイジアンはこの確率をそれ自体の信念の不確実性として解釈するので、それは理にかなっています。彼らは確率を繰り返し不可能なイベントに割り当てても大丈夫です。だから私が「ベイズ主義」を解釈した方法は、データを生成するいくつかのパラメータがあると信じているということでした、それは決定的には不明ですが、それでも「自然」によって決定されたら修正されましたすることが）。それにもかかわらず、それは修正され、それゆえ、それは「再現不可能な出来事」でした。再現性はありませんでしたが、信念を更新することのみを試みていますθθ\theta与えられたデータ。したがって、データは、確率分布によって考慮されている（以前の）パラメーターのいずれかによって生成された可能性がありますが、それでもパラメーターは固定されており、不明です。確率値を付けているだけです。 この見解では、データ生成プロセスが常連客のプロセスとほぼ同じであると想定することは私にとって理にかなっています。「自然」は、「真の」「前の」分布を使用してパラメーターを選択し、確率変数がその「真の」（しかし固定された）実現を実現すると、観測したデータの生成を開始します。θθ\thetaP∗（θ ）P∗（θ）P^*(\theta) これは、ベイジアンフレームワークでのデータ生成プロセスを解釈する標準的な方法ですか？ 私の見解の主なものは、パラメーターが決定的に固定され（rvの実現として見られる）、に従ってデータを生成することです。したがって、私の見解のもう1つの非常に重要な点は、私にとって、以前のものは、パラメータを作成する固定された（反復不可能な）イベントに対する不確実性を表現する定量化可能な方法にすぎないということです。それは人々が以前のをどのように解釈するのですか？θθ\thetaθθ\thetaθθ\thetaP（θ ）P（θ）P(\theta) ユーモラスなメモ： 彼女がどうやってそれをやっているのかを「自然」に尋ねて、これを一度に解決することができればいいのに...

9 bayesian  modeling  prior  frequentist  randomness 

jags / rjags / Rのウィッシュアートの事前分布を使用して、さまざまなサブ母集団にわたる一連の測定値のいくつかの逆共分散行列を推定しています。 以前の逆共分散行列（ウィッシュアート分布）にスケールマトリックスと自由度を指定する代わりに、スケール母とハイパー自由度にハイパープライアを使用して、サブ母集団間の変動から推定できるようにします。 スケールマトリックスと自由度のハイパープライアに関する文献はあまりありません。ほとんどの文献は、共分散/逆共分散の前の選択で階層を停止するようであり、および/または異なる母集団にわたる複数の共分散行列ではなく単一の共分散行列の推定に焦点を当てています。 これをどのように行うかについての提案-スケールマトリックスとwishart分布の自由度に使用するために推奨されるハイパープライオ分布は何ですか？これについて私が見逃している文献はありますか？

9 bayesian  covariance  prior  wishart  hierarchical-bayesian 

以下のためのWikipediaのエントリでは赤池の情報量基準、我々は下の読みBICとの比較（ベイズ情報量基準）という ... AIC / AICcにはBICよりも理論上の利点があります... AIC / AICcは情報の原則から導き出されます。BICはそうではありません... BICには1 / R（Rは候補モデルの数）の事前確率があります。これは「賢明ではない」... AICcはBICよりも実用的/パフォーマンス上の利点がある傾向があります... AICは漸近的です最適... BICは漸近的に最適ではありません... AICが最適に収束する速度は...可能な限り最高です。 AIC トークセクションでは、BICセクションとの比較の偏った表示について多くのコメントがあります。イライラしたある寄稿者は、記事全体が「タバコのコマーシャルのように読める」と抗議しました。 他の情報源、たとえばこの論文の付録では、AICのクレームのテノールがより現実的に見えます。したがって、コミュニティへのサービスとして、以下をお願いします。 Q：BICが有効でAICが役に立たない状況はありますか？

8 model-selection  aic  prior  information-theory  bic 

SVDを適用する前に欠損値を処理する方法に関する素晴らしいコメントを読みましたが、簡単な例でどのように機能するか知りたいです。 Movie1 Movie2 Movie3 User1 5 4 User2 2 5 5 User3 3 4 User4 1 5 User5 5 1 5 上記のマトリックスを考えると、NAの値を削除すると、User2とUser5しかなくなります。これは、私のUが2×kになることを意味します。しかし、欠損値を予測する場合、Uは5×kである必要があります。これは、特異値とVで乗算できます。 上記のマトリックスで、最初に欠損値のあるユーザーを削除してからSVDを適用して、欠損値を記入する人はいますか？数学記号を使いすぎずに、適用した手順の非常に簡単な説明を提供し、答えを実用的なものにしてください（つまり、数値に別の数値を掛けると答えが得られます）。 次のリンクを読みました。 stats.stackexchange.com/q/33142 stats.stackexchange.com/q/31096 stats.stackexchange.com/q/33103

8 r  missing-data  data-imputation  svd  sampling  matlab  mcmc  importance-sampling  predictive-models  prediction  algorithms  graphical-model  graph-theory  r  regression  regression-coefficients  r-squared  r  regression  modeling  confounding  residuals  fitting  glmm  zero-inflation  overdispersion  optimization  curve-fitting  regression  time-series  order-statistics  bayesian  prior  uninformative-prior  probability  discrete-data  kolmogorov-smirnov  r  data-visualization  histogram  dimensionality-reduction  classification  clustering  accuracy  semi-supervised  labeling  state-space-models  t-test  biostatistics  paired-comparisons  paired-data  bioinformatics  regression  logistic  multiple-regression  mixed-model  random-effects-model  neural-networks  error-propagation  numerical-integration  time-series  missing-data  data-imputation  probability  self-study  combinatorics  survival  cox-model  statistical-significance  wilcoxon-mann-whitney  hypothesis-testing  distributions  normal-distribution  variance  t-distribution  probability  simulation  random-walk  diffusion  hypothesis-testing  z-test  hypothesis-testing  data-transformation  lognormal  r  regression  agreement-statistics  classification  svm  mixed-model  non-independent  observational-study  goodness-of-fit  residuals  confirmatory-factor  neural-networks  deep-learning 

サンプルについてガウス尤度を与え様とのパラメータ空間とされて、平均ベクトルと共分散行列の任意のパラメーター化。yyyp(y|θ)=N(y;μ(θ),Σ(θ))p(y|θ)=N(y;μ(θ),Σ(θ))p(y|\theta) = \mathcal{N}(y;\mu(\theta),\Sigma(\theta))ΘΘ\Thetaμ(θ)μ(θ)\mu(\theta)Σ(θ)Σ(θ)\Sigma(\theta) 限界尤度なるように、事前密度と平均ベクトルおよび共分散行列パラメーター化を指定することは可能ですか？はガウス尤度ですか？p(θ)p(θ)p(\theta)μ(θ)μ(θ)\mu(\theta)Σ(θ)Σ(θ)\Sigma(\theta)p(y)=∫θ∈ΘN(y;μ(θ),Σ(θ))p(θ)dθp(y)=∫θ∈ΘN(y;μ(θ),Σ(θ))p(θ)dθp(y)=\int_{\theta\in\Theta}N(y;\mu(\theta),\Sigma(\theta))p(\theta)d\theta 共分散がわかっている自明な解、つまりを除外すると思います。ここで、は任意の固定共分散行列ですが、これは不可能です。Σ(θ)=ΣΣ(θ)=Σ\Sigma(\theta)=\SigmaΣΣ\Sigma 特別な場合および、つまりは1次元であり、、ここでは、表示できる均一密度を示します： μ(σ2)=μμ(σ2)=μ\mu(\sigma^2)=\muΣ(σ2)=σ2Σ(σ2)=σ2\Sigma(\sigma^2)=\sigma^2yyyp(σ2)=U(σ2;a,b)p(σ2)=U(σ2;a,b)p(\sigma^2)=\mathcal{U}(\sigma^2;a,b)U(σ2;a,b)U(σ2;a,b)\mathcal{U}(\sigma^2;a,b)p(y)=∫∞0N(y;μ,σ2)U(σ2;a,b)dσ2=1b−a∫baN(y;μ,σ2)not a Gaussian densityp(y)=∫0∞N(y;μ,σ2)U(σ2;a,b)dσ2=1b−a∫abN(y;μ,σ2)⏟not a Gaussian density\begin{align} p(y)&=\int_0^\infty \mathcal{N}(y;\mu,\sigma^2)\mathcal{U}(\sigma^2;a,b)d\sigma^2 \\ &= \frac{1}{b-a} \underbrace{\int_a^b \mathcal{N}(y;\mu,\sigma^2)}_\text{not a Gaussian density} \end{align} 受け入れられた回答には、公式または非公式の証明またはそれへのポインタが含まれています。

8 normal-distribution  mixed-model  prior  marginal  conjugate-prior 

現在、確率的PCAに関する論文を読んでいますが、潜在変数にガウスの事前（他の事前ではなく）が選ばれるのはなぜですか？それは単純な理由だけですか、それとも別の理由がありますか？ 参照： Tipping＆Bishop、1999年、確率論的主成分分析 -eq。（2） Tipping＆Bishop、1999、Mixtures of Probabilistic Principal Component Analyzers -eq。（4）

8 normal-distribution  pca  prior  latent-variable 

事前確率が連続確率分布としてモデル化されている場合、たとえば、特定のモデルへのバイアスを反映するためにベータ分布が歪んでいる場合、事後確率を計算するにはどうすればよいですか？ 連続分布では間隔の推定値しか得られないため、私にとっての課題は、特定のモデルの確率を計算することです。 質問の素朴さを許してください、私は最近ベイズ統計学を勉強し始めたばかりです。

8 bayesian  prior 

偏見が受け入れられない場合（法廷など）には、情報のない事前情報が優先されます。 しかし、私は、常連主義のアプローチを使用するのが理にかなっているように思えます。なぜベイズのアプローチは非情報的な先行を持っているのですか？ ありがとう！

8 bayesian  prior  uninformative-prior 

対数正規分布の尤度関数は次のとおりです。 f（x ; μ 、σ）∝ ∏ん私11σバツ私exp（ − （lnバツ私- μ ）22つのσ2）f（バツ;μ、σ）αΠ私1ん1σバツ私exp⁡（−（ln⁡バツ私−μ）22σ2）f(x; \mu, \sigma) \propto \prod_{i_1}^n \frac{1}{\sigma x_i} \exp \left ( - \frac{(\ln{x_i} - \mu)^2}{2 \sigma^2} \right ) ジェフリーズの事前は次のとおりです。 p （μ 、σ）∝ 1σ2p（μ、σ）α1σ2p(\mu,\sigma) \propto \frac{1}{\sigma^2} したがって、2つを組み合わせると次のようになります。 f（μ 、σ2| x）= ∏ん私11σバツ私exp（ − （lnバツ私- μ ）22つのσ2） ⋅ σ− 2f（μ、σ2|バツ）=Π私1ん1σバツ私exp⁡（−（ln⁡バツ私−μ）22σ2）⋅σ−2f(\mu,\sigma^2|x)= \prod_{i_1}^n \frac{1}{\sigma x_i} \exp \left …

8 bayesian  prior  posterior  conjugate-prior  uninformative-prior 

でベイジアンデータ解析は、第13章、ページ317、第二の完全な段落、モーダルおよび分布近似で、ゲルマンら。書く： 計画が [2変量正規分布の相関パラメーター] の事後モードによって推論を要約する場合、U（-1,1）事前分布を 、これは変換されたパラメーター Beta（2,2）と同等です。事前および結果の密度は境界でゼロであるため、事後モードは-1または1になることはありません。ただし、事前密度は境界付近で線形であるため、可能性と矛盾しません。ρρ\rhoP （ρ ）α （1 - ρ ）（1 + ρ ）p（ρ）α（1−ρ）（1+ρ）p(\rho) \propto (1 - \rho)(1 + \rho)ρ + 12ρ+12\frac{\rho + 1}{2}ρρ\rho 以下は、Beta（2,2）分布のPDFのプロットです。 プロットはドメイン[0,1]について示されていますが、形状は上記の引用で説明した変換の逆を実行することによって得られたドメイン[-1,1]と同じです。これはかなり有益なディストリビューションです！には、約7倍の密度がます。したがって、実際には、可能性が境界から遠いものを指している場合は、可能性と矛盾しますが、からはさらに遠ざかり。以前のベータ（1 +、1 +）を回避するより良い境界はありません。ここで、です。たとえば、下にプロットされているBeta（1.0001、1.0001）を考えてみます。ρ + 12= 0.5ρ+12=0.5\frac{\rho + 1}{2} = 0.5ρ + 12= 0.3 、0.97ρ+12=0.3、0.97\frac{\rho + 1}{2} = 0.3,0.97ρ = 0ρ=0\rho = 0δδ\deltaδδ\deltaδ→ 0δ→0\delta \rightarrow …

8 bayesian  prior  posterior  mode 

2つの質問があります。 質問1：可能性が二項であり、事前分布がベータである場合、事後分布がベータ分布であることをどのように示すことができますか 質問2：以前のパラメーターの選択は事後にどのように影響しますか？それらはすべて同じである必要はありませんか？ Rでこれらの質問に答えることは可能ですか？

8 r  self-study  bayesian  prior  posterior 

モデルの一部でキャリブレーション関数として機能する醜いパラメーター化された関数に依存するモデルに取り組んでいます。ベイジアン設定を使用して、関数を説明するパラメーターについて、情報を提供しない事前情報を取得する必要があります。理想的には、参照または少なくともジェフリーズ事前分布を導出する必要があることを知っていますが、関数は非常に醜く、多くのパラメーターがあり、実際に結果を得る可能性について悲観的です。それで、私はこの可能性を落とし、彼らが非常に有益でないようにそれらを詮索する私の前の経験的に経験的に選ぶことにしました。これが私の2つの質問です。 詮索好き以上のものを作って、推論結果から彼らの非情報性について洞察を与えることはできますか？編集：事後Vs以前のプロットが最初のポイントになると思います。たぶん、MAPとMLの推定値を比較することは、2番目の引数かもしれません。 さらに、それは「次元分析」からの選択のいくつかの側面を正当化するのに意味がありますか？例として、私は（簡単な回帰設定で）形の可能性の構造を考慮した場合： DOは、あなたは、私が上で事前のための任意の「構造」を推測することができると思いますし、B 1が重さという事実に基づいて、Xを、他方の重さE のx？Y|a,b,x=a.x+b.e−x+ϵY|a,b,x=a.x+b.e−x+ϵ Y | a,b,x = a.x+b.e^{-x} + \epsilon aaabbbxxxexexe^x

8 bayesian  inference  prior  uninformative-prior 

事後推定値と仮定する前に正常尤度と逆ガンマのσ 2は：ですσ′2σ』2\sigma'^{2}σ2σ2\sigma^2 σ′2∼IG(α+n2,β+∑ni=1(yi−μ)22)σ』2〜IG（α+ん2、β+Σ私=1ん（y私−μ）22）\sigma'^{2}\sim\textrm{IG}\left(\alpha + \frac{n}{2}, \beta +\frac{\sum_{i=1}^n{(y_i-\mu)^2}}{2}\right) これは σ′2∼IG(n2,nσ22)σ』2〜IG（ん2、んσ22）\sigma'^{2}\sim\textrm{IG}\left( \frac{n}{2}, \frac{n\sigma^2}{2}\right) 弱いのでに先立っσ 2削除しαおよびβ EQN 1：IG(α,β)IG（α、β）\textrm{IG}(\alpha, \beta)σ2σ2\sigma^2αα\alphaββ\beta σ′2∼IG(n2,∑ni=1(yi−μ)22)σ』2〜IG（ん2、Σ私=1ん（y私−μ）22）\sigma'^{2}\sim\textrm{IG}\left( \frac{n}{2}, \frac{\sum_{i=1}^n{(y_i-\mu)^2}}{2}\right) それの後方推定することは明らかであるサンプルサイズと尤度の二乗和の関数です。しかし、これはどういう意味ですか？ウィキペディアには、私があまり従わない派生物があります。σ2σ2\sigma^2 次の質問があります ベイズの法則を呼び出さずにこの2番目の方程式に到達できますか？通常の尤度とは無関係に平均と分散に関連するIGのパラメーターに固有の何かがあるかどうか私は興味があります。 私は通知前に推定するために、以前の研究から、サンプルサイズと標準偏差を使用することはでき、その後、新しいデータで前の更新しますか？これは簡単なように見えますが、そうした例や、これが正当なアプローチである理由を説明することはできません。σ2σ2\sigma^2 詳細な説明について相談できる人気の確率または統計のテキストはありますか？

8 bayesian  prior  conjugate-prior 

中断したところから正方形を完成させるにはどうすればよいですか？これまでのところ正しいですか？ 私はの形式の通常の事前を持っています。P （β | σ 2）〜N（0 、σ 2 V ）ββ\betap(β|σ2)∼N(0,σ2V)p(β|σ2)∼N(0,σ2V）p(\beta|\sigma^2)\sim \mathcal{N}(0,\sigma^2V) p （β| σ2）= （2 πσ2V）p2exp[ − 12つのσ2βTβ]p(β|σ2)=(2πσ2V)p2exp⁡[−12σ2βTβ]p(\beta|\sigma^2)=(2\pi\sigma^2V)^\frac{p}{2}\exp[-\frac{1}{2\sigma^2}\beta^T\beta] ここで、は です。P Σ iは= 1 β 2 IβTββTβ\beta^T\betaΣi = 1pβ2私∑i=1pβi2\sum\limits_{i=1}^p \beta_i^2 私の可能性は、の形式のデータポイントyの正規分布を持っていますp （y| β、σ2）〜N（B β、σ2私）p(y|β,σ2)∼N(Bβ,σ2I)p(y|\beta,\sigma^2)\sim\mathcal{N}(B\beta,\sigma^2I) p （y| β、σ2）= （2 πσ2V）ん2exp[ − 12つのσ2（Y - B β）T（Y - B β）]p(y|β,σ2)=(2πσ2V)n2exp⁡[−12σ2(y−Bβ)T(y−Bβ)]p(y|\beta,\sigma^2)=(2\pi \sigma^2V)^\frac{n}{2}\exp[-\frac{1}{2\sigma^2}({\bf y}-{\bf B}{\bf \beta})^T({\bf …

8 bayesian  normal-distribution  prior  likelihood