LSAとpLSAの間の並列

pLSAの最初の論文では、著者のThomas Hoffmanが、pLSAとLSAのデータ構造の類似点を説明します。

バックグラウンド：

情報検索からインスピレーションを得て、ドキュメントのコレクションと用語の語彙 $N$

D = {d_{1}, d_{2}, . . . ., d_{N}}

$D = \lbrace d_1, d_2, ...., d_N \rbrace$

M

$M$

Ω = {ω_{1}, ω_{2}, . . ., ω_{M}}

$\Omega = \lbrace \omega_1, \omega_2, ..., \omega_M \rbrace$

コーパス で表すことができる cooccurencesのマトリックス。 $X$ $N \times M$

潜在的意味AnalisysによってSVD行列 3つの行列に因数分解される：ここでと特異値でありますとのランクである。 $X$

X = U Σ V^{T}

$X = U \Sigma V^T$

Σ = d i a g {σ_{1}, . . ., σ_{s}}

$\Sigma = diag \lbrace \sigma_1, ..., \sigma_s \rbrace$

σ_{i}

$\sigma_i$

X

$X$

s

$s$

X

$X$

次に、図に示すように、のLSA近似が計算され、3つの行列がいくつかのレベルに切り捨てられます。 $X$

\hat{X} = \hat{U} \hat{Σ} \hat{V^{T}}

$\hat{X} = \hat{U}\hat{\Sigma}\hat{V^T}$

k < s

$k < s$

ここに画像の説明を入力してください

PLSAでは、トピックの固定セットを選びだし（潜在変数）の近似値：として計算されここで、3つの行列は、モデルの尤度を最大化する行列です。 $Z = \lbrace z_1, z_2, ..., z_Z \rbrace$ $X$

X = [P (d_{i} | z_{k})] \times [d i a g (P (z_{k})] \times [P (f_{j} | z_{k})]^{T}

$X = [P(d_i | z_k)] \times [diag(P(z_k)] \times [P(f_j|z_k)]^T$

実際の質問：

著者は、これらの関係は存続すると述べています。

$U = [P(d_i | z_k)]$
$\hat{\Sigma} = [diag(P(z_k)]$
$V = [P(f_j|z_k)]$

LSAとpLSAの決定的な違いは、最適な分解/近似を決定するために利用される目的関数であること。

2つの行列異なる概念をと思うので、彼が正しいかどうかはわかりません。LSAでは、用語がドキュメントに出現する回数の概算であり、pLSAでは（推定）用語がドキュメントに現れる確率。 $\hat{X}$

この点を明確にしていただけませんか。

さらに、LSAで新しいドキュメント与えられたコーパスで2つのモデルを計算したとします。LSAで近似を計算するために使用します。 $d^*$

\hat{d^{*}} = d^{*} \times V \times V^{T}

$\hat{d^*} = d^*\times V \times V^T$

これは常に有効ですか？
同じ手順をpLSAに適用しても意味のある結果が得られないのはなぜですか？ $\hat{d^{*}} = d^{*} \times [P (f_{j} | z_{k})] \times [P (f_{j} | z_{k})]^{T}$ $\hat{d^*} = d^*\times [P(f_j|z_k)] \times [P(f_j|z_k)]^T$

ありがとうございました。

— アスラン986
ソース

簡単にするために、LSAと非負行列因数分解（NMF）の間の接続をここに示し、コスト関数の単純な変更がどのようにpLSAにつながるかを示します。前に述べたように、LSAとpLSAはどちらも、行と列の正規化まで、ドキュメントの用語行列の低ランクの分解という意味で因数分解法です。

X = U Σ D

$X=U\Sigma D$

以前の表記を使用します。より簡単に言えば、ドキュメントの用語マトリックスは、2つのマトリックスの積として記述できます。

X = A B^{T}

$X = AB^T$

ここで、およびです。LSAの場合、前の式との対応は、および設定ことによって得られます。 $A\in\Re^{N\times s}$ $B\in\Re^{M\times s}$ $A=U \sqrt{\Sigma}$ $B=V\sqrt{\Sigma}$

LSAとNMFの違いを理解する簡単な方法は、幾何学的解釈を使用することです。

LSAは次の解です：
$min_{A, B} ‖ X - A B^{T} ‖_{F}^{2},$ $\min_{A,B} \|X - AB^T \|_F^2,$
NMF-は次の解です： $L_2$
$min_{A \geq 0, B \geq 0} ‖ X - A B^{T} ‖_{F}^{2},$ $\min_{A\ge 0,B\ge 0} \|X - AB^T \|_F^2,$
NMF-KLはpLSAと同等で、次の解です：
$min_{A \geq 0, B \geq 0} K L (X | | A B^{T}) .$ $\min_{A\ge 0,B\ge 0} KL(X|| AB^T).$

ここで、は、行列と間のカルバックライブラーダイバージェンスです。に正の数を乗算してを除算できるため、上記のすべての問題に一意の解決策がないことは簡単にわかります。 $KL(X||Y) = \sum_{ij} x_{ij}\log{\frac{x_{ij}}{y_{ij}}}$ $X$ $Y$ $A$ $B$ 同じ目標値を得るために同じ番号で。したがって、LSAの場合、人々は通常、固有値の減少によってソートされた直交基底を選択します。これはSVD分解によって与えられ、LSAソリューションを識別しますが、ほとんどの操作（コサイン類似度、上記の平滑化式など）に影響を与えないため、他の選択も可能です。-NMFの場合、直交分解は不可能ですが、の行は、として直接確率的に解釈されるため、通常、合計が1になるように制約されます。さらに、の行が正規化されている（つまり、合計が1である）場合、の行を合計して1にする必要があり、確率論的解釈につながります。 $A$ $p(z_k|d_i)$ $X$ $B$ $p(f_j|z_k)$ 。の列が1に合計されるように制約されているため、の値はになるため、上記の質問で与えられたpLSAのバージョンとわずかな違いがありますが、違いはパラメーター化の変更のみです。、問題は同じままです。 $A$ $A$ $p(d_i|z_k)$

ここで、最初の質問に答えるために、LSAとpLSA（およびその他のNMFアルゴリズム）の違いには微妙な点があります。非負性制約は、「クラスタリング効果」を引き起こします。これは、特異値のため、古典的なLSAケースでは無効です。分解解は回転に不変です。非負性制約は、この回転不変性を何らかの形で破り、何らかの意味論的意味を持つ要因（テキスト分析のトピック）を提供します。それを説明する最初の論文は：

Donoho、David L.、Victoria C. Stodden。「非負の行列因数分解はいつ部分に正しく分解するのですか？」神経情報処理システムの進歩16：2003年会議の議事録。MIT Press、2004。[リンク]

それ以外の場合、PLSAとNMFの関係は次のとおりです。

丁、クリス、タオリー、ウェイペン。「非負行列因数分解と確率的潜在的意味索引付けの間の同等性について。」計算統計とデータ分析52.8（2008）：3913-3927。[リンク]

— ギヨーム
ソース