多様体上の統計のグラフィカル直観

で、この記事は、文を読むことができます：

モデルは通常、有限次元多様体上の点 $\theta$ で表されます。

上の微分幾何学と統計マイケル・K・マレーとジョン・W・ライスによってこれらの概念は、数学的な表現を無視して散文読めるでもで説明されています。残念ながら、イラストはほとんどありません。同じことがのために行くこの記事 MathOverflowに。

トピックをより正式に理解するための地図または動機として役立つ視覚的表現の支援をお願いしたいと思います。

マニホールドのポイントは何ですか？このオンライン検索からのこの引用は、データポイントまたは分布パラメーターのいずれかである可能性があることを示しているようです：

多様体と情報幾何学に関する統計は、微分幾何学が統計学と出会う2つの異なる方法です。多様体に関する統計では、多様体上にあるのはデータですが、情報幾何学では、データは $R^n$ にありますが、パラメーター化された対象の確率密度関数のファミリーは多様体として扱われます。このような多様体は統計的多様体として知られています。

ここで、接線空間の説明に触発されてこの図を描きました。

$C^\infty$ $(\mathcal M)$ $p\in \mathcal M$ $(\psi: \mathbb R \to \mathcal M)$ $p.$ $p,$ $C^\infty (t)\to \mathbb R,$ $\left(f \circ \psi \right )'(t)$ $\psi$ $\mathcal M$ $p,$ $f,$ $f$ $p$

同等性（または統計に適用される同等性の1つ）はここで説明されており、次の引用に関連しています。

$s$

$\mathcal R^s$ $s.$

$\mathbb R$ $\psi: \mathbb R \to \mathcal M$ $f$ $\left(f \circ \psi \right)'(t).$ $f: \mathbb M \to \mathbb R$ $\psi$ $f$

背景が追加されたもの：

注目に値するのは、これらの概念がMLの非線形次元削減に直接関係しないことだと思います。それらは情報ジオメトリに似ています。ここに引用があります：

$R^n$ $n$

Oren Freifeldによる形状変形のモデリングへの応用を伴う多様体に関する統計からの以下の情報：

$M$ $TpM$ $p \in M$ $TpM$ $M$ $TpM$ $p$ $M$ $TpM$ $M$ $p$ $M$ 完全にその片側にあります。TpMの要素は接線ベクトルと呼ばれます。

[...]多様体では、統計モデルはしばしば接線空間で表現されます。

[...]

$M$

$D_L = \{p_1, \cdots , p_{NL}\} \subset M$

$D_S = \{q_1, \cdots , q_{NS}\} \subset M$

$µ_L$ $µ_S$ $M$

$\{\log_{\mu L} (p_1), \cdots , \log_{\mu L}(p_{NL})\} \subset T_{\mu L}M, \quad \log_{\mu L}(p_i) \overset{\text{i.i.d}}{\sim} \mathscr N(0, \Sigma_L)$ $\{\log_{\mu S} (q_1), \cdots , \log_{\mu S}(q_{NS})\} \subset T_{\mu S}M, \quad \log_{\mu S}(q_i) \overset{\text{i.i.d}}{\sim} \mathscr N(0, \Sigma_S)$

[...]

$D_L$ $M$ $\mu_L$ $\Sigma_L$ $D_S$ $\mu_S$ $\Sigma_S$

同じ参照で、私が尋ねているこのグラフィカルな概念の最も近い（そして実際にのみ）例をオンラインで見つけます：

これは、データが接線ベクトルとして表された多様体の表面にあり、パラメータがデカルト平面にマッピングされることを示しますか？

— アントニ・パレッラダ
ソース

ここで何をしようとしていますか？マニホールドを描画しますか？それらのほとんどは、描くには退屈すぎる。たとえば、ガウス分布を試してください。

— Aksakal

θ \in R^{n}

$\theta\in\mathbb{R}^n$

f (θ) = 0

$f(\theta)=0$

うまくいけば、@ whuberがやって来て、彼がチャットで行っていたコメントについて詳しく説明します。

— ガン-モニカの復活

編集した質問に対する短い答えは「いいえ」です。接線空間は、マニホールド内のすべてのスムーズパスの速度を表します。統計学におけるその主な役割は、マニホールドが有限にパラメーター化されたファミリーを記述する可能性を最大化することです。「多様体学習」では、多様体がデータの局所近似として使用されます。これは、線形回帰における「列空間」の曲線バージョンです。そこでは、接線空間がアンビエントユークリッド空間内に埋め込まれています。ローカルでは、データの「方向」を記述し、通常のバンドルでは「エラー」の方向を示します。

— whuber

T_{p}^{*} M

$T_p^{*}M$

p

$p$

p

$p$

p

$p$

T^{*} M

$T^{*}M$

T M

$TM$

T_{p} M

$T_pM$

T_{q} M

$T_qM$

M

$M$

T_{x} R^{n}

$T_x\mathbb{R}^n$

x

$x$

回答:

$(\Theta)$ $\mathcal N(\mu,\sigma^2),$ $\mathbb R^2$ $x$ $y$

$\mathrm{pdf}$

フィッシャー情報距離：幾何学的な読み取り、コスタSI、サントスSAとStrapasson JEの間の類似性を利用するガウス分布のフィッシャー情報行列及びメトリックベルトラミ-Pointcaréディスクモデル閉鎖式を導出します。

$x^2 + y^2 - x^2 = -1$ $\mathrm {pdf's,}$ $P$ $Q,$ $\mathrm{pdf's}$ $g_{\mu\nu}\;(\Theta)\;\mathbf e^\mu\otimes \mathbf e^\nu$

D (P (x; θ_{1}), Q (x; θ_{2})) = min_{θ (t) | θ (0) = θ_{1}, θ (1) = θ_{2}} \int_{0}^{1} \sqrt{{(\frac{d θ}{d t})}^{⊤} I (θ) \frac{d θ}{d t} d t}

$D\,\left ( P(x;\theta_1)\,,\,Q(x;\theta_2) \right)=\min_{\theta(t)\,|\,\theta(0)=\theta_1\;,\;\theta(1)=\theta_2}\;\int_0^1 \; \sqrt{\left(\frac{\mathrm d\theta}{\mathrm dt} \right)^\top\;I(\theta)\frac{\mathrm d \theta}{\mathrm dt}dt}$

I (θ) = \frac{1}{σ^{2}} [\begin{matrix} 1 & 0 \\ 0 & 2 \end{matrix}]

$I(\theta) = \frac{1}{\sigma^2}\begin{bmatrix}1&0\\0&2 \end{bmatrix}$

カルバック・ライブラー情報量は幾何学と関連するメトリックを欠いているにもかかわらず、密接に関連しています。

そして、興味深いのは、フィッシャー情報行列がシャノンエントロピーのヘッセ行列として解釈できることです。

g_{i j} (θ) = - E [\frac{\partial^{2} \log p (x; θ)}{\partial θ_{i} \partial θ_{j}}] = \frac{\partial^{2} H (p)}{\partial θ_{i} \partial θ_{j}}

$g_{ij}(\theta)=-E\left[ \frac{\partial^2\log p(x;\theta)}{\partial \theta_i \partial\theta_j} \right]=\frac{\partial^2 H(p)}{\partial \theta_i \partial \theta_j}$

と

H (p) = - \int p (x; θ) \log p (x; θ) d x .

$H(p) = -\int p(x;\theta)\,\log p(x;\theta) \mathrm dx.$

この例は、より一般的なステレオグラフィックの地球地図と概念が似ています。

ML多次元埋め込みまたは多様体学習については、ここでは扱いません。

— アントニ・パレッラダ
ソース

確率をジオメトリにリンクする方法は複数あります。楕円分布（例：ガウス分布）について聞いたことがあると思います。用語自体はジオメトリリンクを意味し、その共分散行列を描くと明白になります。多様体では、可能なすべてのパラメータ値を座標系に配置するだけです。たとえば、ガウス多様体は 2次元になります。は任意の値を指定できますが、正の分散のみです。したがって、ガウス多様体は空間全体の半分になります。面白くない $\mu,\sigma^2$ $\mu\in R$ $\sigma^2>0$ $R^2$

— アクサカル
ソース

「多様体」はその埋め込み空間よりも低い次元であるはずだと私は思ったと思いますか？それで、ハーフスペースはカウントされませんか？

— GeoMatt22 2016年

ガウシアンでは、それは多様体でもありません。制約が必要なため、何らかの平面または線になります

— Aksakal

私はあなたが「意味するか...あなたの答えの意味を理解しようとしていますジオメトリリンク」？また、私はMathOverflowでこの関連記事を見つけました。

— Antoni Parellada 2016年

それは、フィッシャー・ラオのような適切なメトリックでさらに面白くなり、その後、ポアンカレ双曲線半位en.wikipedia.org/wiki/Poincar%C3%A9_half-plane_model

— mic

全員に：（1）パラメトリックファミリーを記述する多様体は固有多様体であり、ベクトル空間に埋め込む必要はありません。（2）それらは単なる微分可能多様体以上のものです。FisherInformationはそれらにリーマン計量（局所距離）を与え、幾何学的に研究できるようにします。これにより、「空間全体の半分」が曲面になります。

R^{2}

$\mathbb{R}^2$

— whuber