タグ付けされた質問 「latent-variable」

単語の類似性を計算するためのLatent Dirichlet Allocationとword2vecの類似性を理解しようとしています。 私が理解しているように、LDAは単語を潜在トピックの確率のベクトルにマッピングし、word2vecはそれらを実数のベクトルにマッピングします（点ごとの相互情報の特異値分解に関連します。O。Levy 、Y. Goldberg、 "Neural Word Embedding暗黙的な行列因子分解として」 ; word2vecの仕組みも参照してください）。 理論的な関係（一方を他方の一般化、またはバリエーションと見なすことができます）と実用（一方を使用して他方を使用しない場合）の両方に興味があります。 関連： ドキュメント間の距離を計算する標準的な方法は何ですか？-DataScience.SE

39 machine-learning  self-study  natural-language  latent-variable  word2vec 

潜在クラス分析（LCA）とクラスター分析から作成できる推論の違いは何ですか？クラスター分析はクラスター化アルゴリズムからの相関属性の経験的記述であるのに対し、LCAはクラスを生じさせる潜在的な潜在変数を想定しているのは正しいですか？社会科学では、LCAが人気を得ており、クラスター分析では得られない正式なカイ2乗有意性検定があるため、方法論的に優れていると考えられます。 「LCAはこれに適していますが（クラスター分析ではありません）、クラスター分析はこれに適しています（ただし、潜在クラス分析ではありません）」の形式で例を提供できれば素晴らしいと思います。 ありがとう！ブライアン

30 clustering  latent-variable  latent-class 

短縮版： ロジスティック回帰とプロビット回帰は、観測前に何らかの固定しきい値に従って離散化される連続潜在変数を含むものとして解釈できることを知っています。同様の潜在変数の解釈は、例えばポアソン回帰で利用可能ですか？3つ以上の個別の結果がある場合、二項回帰（ロジットまたはプロビットなど）についてはどうですか？最も一般的なレベルでは、潜在変数の観点からGLMを解釈する方法はありますか？ ロングバージョン： バイナリ結果のプロビットモデルを動機付ける標準的な方法（たとえば、Wikipediaから）は次のとおりです。予測変数Xを条件として、正規分布している未観測/潜在結果変数YYYがあります。この潜在変数はしきい値処理を受け、、場合、実際に観測される離散結果はXXXY ≥ γをu=1u=1u=1Y≥γY≥γY \ge \gammau=0u=0u=0、場合です。これにより、Xが与えられた場合のu = 1の確率は、平均および標準偏差がしきい値γの関数である正規CDFの形をとることになります。Y&lt;γY&lt;γY < \gammau=1u=1u=1XXXγγ\gammaおよびX上のの回帰の傾き。したがって、プロビットモデルは、X上のYの潜在的な回帰から勾配を推定する方法として動機付けられています。YYYXXXYYYXXX これは、Thissen＆Orlando（2001）の以下のプロットに示されています。これらの著者は、私たちの目的ではプロビット回帰に非常に似ているアイテム応答理論から通常のオジーブモデルを技術的に議論しています（これらの著者はXの代わりにを使用し、確率は通常のPではなくTで記述されていることに注意してください）。θθ\thetaXXXTTTPPP ロジスティック回帰はほぼ同じ方法で解釈できます。唯一の違いは、Xが与えられると、観測されていない連続が正規分布ではなくロジスティック分布に従うことです。Yが正規分布ではなくロジスティック分布に従う理由の理論的議論は少し明確ではありません...しかし、結果のロジスティック曲線は、実際の目的（リスケーリング後）で通常のCDFと本質的に同じように見えるため、おそらく実際には、どのモデルを使用するかが重要になる傾向があります。ポイントは、両方のモデルに非常に簡単な潜在変数の解釈があるということです。YYYXXXYYY -私たちは、他のGLMSに見て、類似した（または地獄、非類似に見える）潜在変数の解釈を適用することができるかどうかを知りたいにも、または任意の GLM。 上記のモデルを拡張して、項分布の結果（つまり、ベルヌーイの結果だけでなく）を説明することは、私には完全に明確ではありません。おそらく、単一のしきい値γを持つ代わりに、複数のしきい値（観測された個別の結果の数より1つ少ない）があることを想像することでこれを行うことができます。ただし、しきい値が等間隔になっているなど、しきい値に何らかの制約を課す必要があります。詳細は明らかにしていませんが、このようなことがうまくいくと確信しています。n &gt; 1n&gt;1n>1γγ\gamma ポアソン回帰のケースに移行することは、私にはさらに明確ではないようです。この場合のモデルについて考えるのにしきい値の概念が最善の方法になるかどうかはわかりません。また、潜在的な結果がどのような分布であると考えられるかについてもわかりません。 これまで最も望ましい解決策は、解釈の一般的な方法だろう任意のいくつかのディストリビューションや他との潜在変数の面でGLMを-この一般的な解決策を暗示していた場合でも、異なるロジット/プロビット回帰の通常のものよりも潜在変数の解釈を。もちろん、一般的な方法が通常のロジット/プロビットの解釈に同意するだけでなく、他のGLMにも自然に拡張されると、さらに格好良くなります。 しかし、そのような潜在変数の解釈が一般的なGLMの場合に一般的に利用できない場合でも、上記の二項およびポアソンのような特殊な場合の潜在変数の解釈についても聞きたいです。 参照資料 Thissen、D.＆Orlando、M.（2001）。2つのカテゴリでスコア付けされたアイテムのアイテム応答理論。D. Thissen＆Wainer、H.（編）、Test Scoring（pp。73-140）。ニュージャージー州マーワー：Lawrence Erlbaum Associates、Inc. 2016-09-23を編集 GLMが潜在変数モデルであるという些細な感覚があります。つまり、推定される結果分布のパラメーターを「潜在変数」として常に見ることができるということです。つまり、直接観察しません。 、たとえば、ポアソンのレートパラメーターは、データから推測するだけです。この解釈によれば、線形モデル（およびもちろん他の多くのモデル！）は「潜在変数モデル」であるため、これはかなり些細な解釈であり、私が探しているものではありません。たとえば、通常の回帰では、Xが与えられた場合に通常のYの「潜在的な」を推定します。μμ\muYYYバツバツX。そのため、潜在変数のモデリングとパラメーターの推定を混同しているようです。私が探しているものは、たとえばポアソン回帰の場合、観測された結果が最初にポアソン分布を持たなければならない理由についての理論モデルのように見えます。潜在的なの分布、存在する場合は選択プロセスなど。その後、（おそらく決定的には？）これらの潜在的な分布/プロセスのパラメーターの観点から推定GLM係数を解釈できるはずです。潜在正規変数の平均シフトおよび/または閾値γのシフトに関してプロビット回帰の係数を解釈します。YYYγγ\gamma

21 logistic  generalized-linear-model  poisson-regression  probit  latent-variable 

コンテキスト 私はアイテム反応理論について読んでいますが、それは魅力的です。私は基本を理解していると思いますが、その地域に関連する統計的手法をどのように適用するのか疑問に思っています。以下は、ITRを適用したい分野に類似した2つの記事です。 http://www.jstor.org/stable/4640738?seq=7 http://www.ncbi.nlm.nih.gov/pubmed/21744971 2つ目は、この時点で実際に拡張したいものです。 jMetrikという無料のプログラムをダウンロードしましたが、うまく機能しているようです。IRTに関しては基本的すぎると思いますが、よくわかりません。 「最良の」方法にはRの学習が含まれる可能性が高いことを知っています。ただし、その学習曲線に取り組む時間を割くことができるかどうかはわかりません。ソフトウェアを購入するための資金はいくらかありますが、私が見る限り、素晴らしいIRTプログラムは存在しないようです。 ご質問 jMetrikの有効性についてどう思いますか？ IRTの適用をどのように進めますか？ IRTを適用するのに最適なプログラムは何ですか？ IRTを定期的に使用している人はいますか？もしそうなら、どのように？

21 psychometrics  latent-variable  irt 

行列の所与Vm×nVm×n\mathbf V^{m \times n}、非負行列因子分解（NMF）は、2つの非負行列発見Wm×kWm×k\mathbf W^{m \times k}及びHk×nHk×n\mathbf H^{k \times n}（すなわち、すべての要素と≥0≥0\ge 0）として分解行列を表します。 V≈WH,V≈WH,\mathbf V \approx \mathbf W\mathbf H, WW\mathbf WHH\mathbf H∥ V−WH∥2.‖V−WH‖2。\|\mathbf V-\mathbf W\mathbf H\|^2. NMFで数値を推定する一般的な方法はありますか？たとえば、そのためにクロス検証をどのように使用できますか？kkk

15 cross-validation  unsupervised-learning  latent-variable  matrix-decomposition  nnmf 

私はこれについて以前に尋ねましたが、何がモデルパラメータを作り、何が潜在変数を作るのかを特定することに本当に苦労してきました。このサイトのこのトピックに関するさまざまなスレッドを見ると、主な違いは次のように思われます。 潜在変数は観察されませんが、変数であり、パラメータも観察されず、それらに関連する分布がないため、関連する確率分布があります。これらは定数であり、固定しようとしている未知の値を持っていると理解しています見つける。また、パラメーターに関連付けられた真の値が1つだけであるか、少なくともそれが想定されている場合でも、これらのパラメーターに関する不確実性を表すためにパラメーターに事前分布を置くことができます。私はこれまでのところ正しいと思いますか？ 今、私はジャーナル論文からベイジアン加重線形回帰のこの例を見ており、パラメーターと変数とは何かを理解するのに本当に苦労しています： y私= βTバツ私+ ϵy私y私=βTバツ私+ϵy私 y_i = \beta^T x_i + \epsilon_{y_i} ここでは、とyが観察されますが、yのみが変数として扱われます。つまり、それに関連付けられた分布があります。バツバツxyyyyyy 現在、モデリングの前提は次のとおりです。 y〜N（βTバツ私、σ2/ w私）y〜N（βTバツ私、σ2/w私） y \sim N(\beta^Tx_i, \sigma^2/w_i) したがって、の分散は重み付けされます。yyy また、およびwには事前分布があり、それぞれ正規分布とガンマ分布です。 ββ\betawww したがって、完全な対数尤度は次のように与えられます。 ログp （y、w 、β| X）=ΣログP（y私| w、β、x私）+ ログP（β）+ Σ ログP（w私）ログ⁡p（y、w、β|バツ）=Σログ⁡P（y私|w、β、バツ私）+ログ⁡P（β）+Σログ⁡P（w私） \log p(y, w, \beta |x) = \Sigma \log P(y_i|w, \beta, x_i) + \log P(\beta) + \Sigma \log P(w_i) …

13 bayesian  modeling  random-variable  latent-variable 

私は経験的にアンケートを作成している最中であり、この例では任意の数字を使用して説明します。文脈のために、私は不安障害を持つ個人で一般的に特定される思考パターンを評価することを目的とした心理学的アンケートを作成しています。アイテムは、「オーブンがオフになっていることを確認できないため、オーブンを繰り返しチェックする必要があります」のように見えます。 1つまたは2つの要素で構成される20の質問（5点リッカート）があります（実際には、10のスケールで構成される200の質問があり、各スケールは2つの要素で構成されることに注意してください）。約半分の項目を消去して、2つの要因のいずれかに10の質問を残します。 探索的因子分析（EFA）、内部整合性（クロンバッハのアルファ）、アイテム応答理論（IRT）のアイテム特性曲線に精通しています。これらのメソッドのいずれかを使用して、単一のスケール内でどのアイテムが「悪い」かを判断する方法がわかります。それぞれの方法が異なる質問に答えることに感謝しますが、それらは同様の結果につながる可能性があり、どの「質問」が最も重要かはわかりません。 始める前に、これらの各メソッドで何をしているのかを個別に確認してください。 EFAを使用して、要因の数を特定し、それぞれの要因で最も負荷が少ない（たとえば&lt;.30とする）項目、または実質的に要因間で相互に負荷をかける項目を削除します。 内部整合性を使用して、「アルファがアイテムを削除した場合」の悪いアイテムを削除します。スケール内の1つの因子を想定して行うことも、初期EFAの後に因子の数を特定し、その後各因子に対してアルファを実行することもできます。 IRTを使用して、（5リッカート）応答オプションに沿って関心のある要因を評価しないアイテムを削除します。私はアイテムの特性曲線を目撃します。基本的には、リッカートスケールのオプション1から潜在スコアに沿って最大5までの45度の角度の線を探します。1つの因子を仮定してこれを行うことも、最初の EFAの後に因子の数を特定し、その後各因子の曲線を実行することもできます。 どのアイテムが「最悪」であるかを最も適切に特定するために、これらの方法のどれを使用するかわかりません。広義の最悪の場合は、信頼性または有効性のいずれかの観点から項目が測定値を損なうように使用します。どちらも私にとって同様に重要です。おそらく私はそれらを一緒に使用することができますが、どうすればいいのかわかりません。 私が今知っていることを進めて、ベストショットを与えるとしたら、次のようにします。 EFAを実行して、多くの要因を特定します。また、他の分析でどのように動作するかに関係なく、負荷が大きくないアイテムが必要ないため、それぞれの要因で負荷が低いアイテムを削除します。 IRTを実行し、EFAから残っている場合は、その分析によって判断された不良アイテムも削除します。 CronbachのAlphaを報告するだけで、アイテムを削除する手段としてそのメトリックを使用しないでください。 一般的なガイドラインは大歓迎です！ また、おそらく回答できる特定の質問のリストもあります。 因子負荷に基づいてアイテムを削除することと、Chronbachのアルファに基づいてアイテムを削除することの実際的な違いは何ですか（両方の分析に同じ因子レイアウトを使用すると仮定）？ どちらを先にすればいいですか？EFAとIRTを1つの要素で行い、両方とも削除する必要がある異なるアイテムを特定すると仮定すると、どの分析を優先する必要がありますか？ Chronbachのアルファを報告しますが、これらの分析をすべて行うことに苦労しているわけではありません。IRTだけを行うと、何かが足りなくなるだけでなく、EFAだけでも同じように感じます。

12 factor-analysis  reliability  psychometrics  latent-variable  validity 

ディープ生成モデルの自動エンコード変分ベイズと確率的バックプロパゲーションの違いは何ですか？両方の方法での推論は同じ結果につながりますか？著者の両方のグループが互いに引用しているにもかかわらず、2つの方法の明確な比較については知りません。

10 deep-learning  inference  latent-variable  variational-bayes  sgd 

潜在変数を使用した構造方程式モデリング（SEM）では、一般的なモデルの定式化は「複数のインジケーター、複数の原因」（MIMIC）で、潜在変数はいくつかの変数によって引き起こされ、他の変数によって反映されます。以下に簡単な例を示します。 本質的に、f1の回帰結果であるx1、x2とx3、とy1、y2とy3の測定指標ですf1。 複合潜在変数を定義することもできます。この場合、潜在変数は基本的にその構成変数の重み付き組み合わせになります。 これが私の質問です：f1回帰結果として定義することとMIMICモデルで複合結果として定義することの間に違いはありますか？ のlavaanソフトウェアを使用したいくつかのテストRは、係数が同一であることを示しています。 library(lavaan) # load/prep data data &lt;- read.table("http://www.statmodel.com/usersguide/chap5/ex5.8.dat") names(data) &lt;- c(paste("y", 1:6, sep=""), paste("x", 1:3, sep="")) # model 1 - canonical mimic model (using the '~' regression operator) model1 &lt;- ' f1 =~ y1 + y2 + y3 f1 ~ x1 + x2 + x3 ' …

10 sem  latent-variable  lavaan 

ゼロ膨張ポアソン回帰モデルは、サンプルに対してによって 定義され そしてさらに、パラメーターおよび満たすと仮定しますYは、iが = { 0の確率でのp I + （1 - P I）E - λ I kの確率で（1 - P I）E - λ I、λはk個のI / Kを！λ = （λ 1、... 、λ N）P =(y1,…,yn)(y1,…,yn)(y_1,\ldots,y_n)Yi={0kwith probability pi+(1−pi)e−λiwith probability (1−pi)e−λiλki/k!Yi={0with probability pi+(1−pi)e−λikwith probability (1−pi)e−λiλik/k! Y_i = \begin{cases} 0 & \text{with probability} \ p_i+(1-p_i)e^{-\lambda_i}\\ k & \text{with …

10 generalized-linear-model  maximum-likelihood  poisson-distribution  expectation-maximization  latent-variable 

PLSの基礎となるモデルは、与えられた行列とベクトルがによって関連付けられることです ここで、は潜在的な行列、およびはノイズ項です（が中央にあると）。n×mn×mn \times mXXXnnnyyyX=TP′+E,X=TP′+E,X = T P' + E, y=Tq′+f,y=Tq′+f,y = T q' + f,TTTn×kn×kn \times kE,fE,fE, fX,yX,yX, y PLSの推定値生成、および回帰係数の'ショートカット'ベクター、ように。の分布をいくつかの単純化した仮定の下で見つけたいと思います。T,P,qT,P,qT, P, qβ^β^\hat{\beta}y∼Xβ^y∼Xβ^y \sim X \hat{\beta}β^β^\hat{\beta} モデルは正確です。つまり 、未知のに対してです。X=TP′+E,y=Tq′+fX=TP′+E,y=Tq′+fX = T P' + E,y = T q' + fT,P,qT,P,qT, P, q 潜在因子の数は既知であり、PLSアルゴリズムで使用されます。kkk 実際の誤差項は、既知の分散を持つiidゼロ平均正規です。 「the」PLSアルゴリズムには多数のバリアントがあるため、この質問はいくぶん過小評価されていますが、私はそれらの結果を受け入れます。私はまたの分布を推定する方法についての指導受け入れるだろうを経由して例えば Aのブートストラップを、おそらくそれは別の問題です。β^β^\hat{\beta}

10 regression  confidence-interval  latent-variable  partial-least-squares 

場合観測データの行列であり、Yは、次に潜在変数でありますバツXXYYY バツ= WY+ μ + εX=WY+μ+ϵX=WY+\mu+\epsilon ここで、は観測されたデータの平均であり、ϵはデータのガウス誤差/ノイズであり、Wは主部分空間と呼ばれます。μμ\muεϵ\epsilonWWW 私の質問は、通常のPCAが使用されると、以下が真である正規直交固有ベクトルセットを取得することです。EEE Y= EバツY=EXY=EX しかし、PPCAでは、は正規直交でも固有ベクトルでもありません。では、Wから主成分を取得するにはどうすればよいですか？WWWWWW 本能に従って、MATLABでppcaを検索しました。この行に出くわしました。 収束時、Wの列は部分空間に広がりますが、それらは正規直交ではありません。ppcaは、Wの直交化によって成分の正規直交係数coeffを取得します。 Wを取得するためにppcaコードを少し変更して実行し、直交化した後、WからPを取得しました。 なぜこの直交化によって固有ベクトルが得られ、それに沿ってほとんどの分散が見られるのでしょうか？ 私は、直交化によって主部分空間にまたがる一連の直交/正規直交ベクトルが得られると仮定していますが、この直交化された結果の行列がeigenmatrixに等しいのはなぜですか（pcaの固有行列も正規直交であることを知っています）？主部分空間が正規直交ベクトルの一意のセットによってのみスパンされると仮定できますか？その場合、両方の結果は常に一致します。

10 machine-learning  pca  latent-variable  eigenvalues 

これは中間試験の練習問題です。問題はEMアルゴリズムの例です。（f）の部分で困っています。（a）から（e）までのパーツをリストアップして、前に間違えた場合に備えて完成させます。 ましょレートを持つ独立した指数確率変数もθ。残念ながら、実際のX値は観測されず、X値が特定の間隔内にあるかどうかのみが観測されます。ましょうG 1 、J = 1 { X J &lt; 1 }、G 2 、J = 1 { 1 &lt; X J &lt; 2 }、及びG 3 、J = 1 {X1,…,XnX1,…,XnX_1,\ldots,X_nθθ\thetaXXXXXXG1j=1{Xj&lt;1}G1j=1{Xj&lt;1}G_{1j} = \mathbb{1}\left\{X_j < 1\right\}G2j=1{1&lt;Xj&lt;2}G2j=1{1&lt;Xj&lt;2}G_{2j} = \mathbb{1}\left\{1< X_j<2\right\} （j=1、…、nの場合）。観測されたデータは（ G 1 j、 G 2 j、 G 3 j）で構成されています。G3j=1{Xj&gt;2}G3j=1{Xj&gt;2}G_{3j} = \mathbb{1}\left\{X_j > 2\right\}j=1,…,nj=1,…,nj=1,\ldots,n(G1j,G2j,G3j)(G1j,G2j,G3j)(G_{1j},G_{2j},G_{3j}) …

9 self-study  maximum-likelihood  latent-variable  expectation-maximization 

現在、確率的PCAに関する論文を読んでいますが、潜在変数にガウスの事前（他の事前ではなく）が選ばれるのはなぜですか？それは単純な理由だけですか、それとも別の理由がありますか？ 参照： Tipping＆Bishop、1999年、確率論的主成分分析 -eq。（2） Tipping＆Bishop、1999、Mixtures of Probabilistic Principal Component Analyzers -eq。（4）

8 normal-distribution  pca  prior  latent-variable 

Eステップがアルゴリズムのどこで発生するかを理解しています（以下の数学セクションで説明されています）。私の考えでは、アルゴリズムの重要な工夫は、対数尤度の下限を作成するためのジェンセンの不等式の使用です。その意味でExpectationは、対数尤度を再定義してJensenの不等式（つまり、凹関数の場合はに適合するように単純に行われます。E(f(x))&lt;f(E(x))E(f(x))&lt;f(E(x))E(f(x)) < f(E(x)) Eステップがいわゆると呼ばれる理由はありますか？期待していること（意味はありますか？単に予期せずに発生するのではなく、期待が中心的である理由の背後にある直感が欠けているように感じますジェンセンの不等式の使用。p(xi,zi|θ)p(xi,zi|θ)p(x_i, z_i| \theta) 編集：チュートリアルは言う： 「Eステップ」という名前は、通常、完了に対する確率分布を明示的に形成する必要はなく、これらの完了に対して「期待される」十分な統計を計算するだけでよいという事実に由来しています。 「通常、完了に対する確率分布を明示的に形成する必要がない」とはどういう意味ですか？その確率分布はどのようになりますか？ 付録：EMアルゴリズムのEステップ l l= ∑私ログp （x私; θ ）= ∑私ログΣz私p （x私、z私; θ ）= ∑私ログΣz私Q私（z私）p （x私、z私; θ ）Q私（z私）= ∑私ログEz私[ p （x私、z私; θ ）Q私（z私）]≥ Σ Ez私[ ログp （x私、z私; θ ）Q私（z私）]≥ Σ私Σz私Q私（z私）ログp （x私、z私; θ ）Q私（z私）対数尤度の定義潜在変数zで補強 Q私zの 分布です 私期待に応える-したがって、EMのE 凹型のログにジェンセンのルールを 使用する最大化するQ関数ll=∑ilog⁡p(xi;θ)definition of log likelihood=∑ilog⁡∑zip(xi,zi;θ)augment with latent variables …

8 maximum-likelihood  optimization  expectation-maximization  latent-variable  kullback-leibler