相互情報行列の固有ベクトルの意味は何ですか？

共分散行列の固有ベクトルを見ると、最大分散の方向を取得します（最初の固有ベクトルは、データが最も大きく変化する方向などです）。これは、主成分分析（PCA）と呼ばれます。

相互情報行列の固有ベクトル/値を見るとどういう意味になるのだろうか、最大エントロピーの方向を指すのだろうか？

それは直接的な答えではありませんが（点ごとの相互情報に関するものです）、word2vecをPMI行列の特異値分解に関連付ける論文を見てください。

• O.レビー、Y。ゴールドバーグ、暗示的行列因子分解としてのニューラルワード埋め込み

Mikolovらによって導入された単語埋め込み方法であるネガティブサンプリング（SGNS）を使用したスキップグラムを分析し、そのセルがそれぞれのポイントワイズ相互情報（PMI）である単語コンテキストマトリックスを暗黙的に因数分解していることを示しますグローバル定数だけシフトされた単語とコンテキストのペア。別の埋め込み方法であるNCEが暗黙的に同様の行列を因数分解していることがわかります。各セルは、コンテキストが与えられた単語の（シフトされた）対数条件付き確率です。疎シフト正PMI単語コンテキストマトリックスを使用して単語を表すと、2つの単語類似タスクと2つの類推タスクのいずれかで結果が向上することがわかります。高密度の低次元ベクトルが望ましい場合、SVDを使用した正確な因数分解は、SGNSの単語類似性タスクのソリューションと少なくとも同等のソリューションを実現できます。類似の質問では、SGNSはSVDよりも優れています。これは、SGNSの因数分解の重み付けされた性質に起因すると推測します。