タグ付けされた質問 「geometry」

正準相関分析（CCA）は、主成分分析（PCA）に関連する手法です。散布図を使用してPCAまたは線形回帰を教えるのは簡単ですが（Googleの画像検索に関する数千の例を参照）、CCAの同様の直感的な2次元の例を見たことはありません。線形CCAの機能を視覚的に説明する方法

70 regression  data-visualization  pca  canonical-correlation  geometry 

重回帰のサプレッサー変数とは何ですか？また、抑制効果を視覚的に表示する方法は何ですか（そのメカニズムまたは結果の証拠）？考えを持つすべての人を招待して、共有したいと思います。

40 multiple-regression  data-visualization  geometry  suppressor 

ビショップの「パターン認識と機械学習」の本のセクション12.2.4「因子分析」からの引用です。 ハイライトされた部分によると、因子分析は行列変数間の共分散をキャプチャしWWW。私は不思議どのように？ ここに私がそれを理解する方法があります。たとえば、は観測された次元変数、は因子負荷行列、は因子スコアベクトルです。次につまり および各列は、ベクトルを読み込む因子 ここに書いたように、はxxxpppWWWzzzx=μ+Wz+ϵ,x=μ+Wz+ϵ,x=\mu+Wz+\epsilon,⎛⎝⎜⎜x1⋮xp⎞⎠⎟⎟=⎛⎝⎜⎜μ1⋮μp⎞⎠⎟⎟+⎛⎝⎜|w1|…|wm|⎞⎠⎟⎛⎝⎜⎜z1⋮zm⎞⎠⎟⎟+ϵ,(x1⋮xp)=(μ1⋮μp)+(||w1…wm||)(z1⋮zm)+ϵ,\begin{align*} \begin{pmatrix} x_1\\ \vdots\\ x_p \end{pmatrix} = \begin{pmatrix} \mu_1\\ \vdots\\ \mu_p \end{pmatrix} + \begin{pmatrix} \vert & & \vert\\ w_1 & \ldots & w_m\\ \vert & & \vert \end{pmatrix} \begin{pmatrix} z_1\\ \vdots\\ z_m \end{pmatrix} +\epsilon, \end{align*}WWWwi=⎛⎝⎜⎜wi1⋮wip⎞⎠⎟⎟.wi=(wi1⋮wip).w_i=\begin{pmatrix}w_{i1}\\ \vdots\\ w_{ip}\end{pmatrix}.WWWmmm検討中の要因がことを意味する列。mmm ハイライトされた部分によると、ここにポイントがあります。各列w_iの負荷wiwiw_iは、観測されたデータの共分散を説明すると思いますか？ 例えば、まずはローディングベクトルを見てみましょうw1w1w_1ため、1≤i,j,k≤p1≤i,j,k≤p1\le i,j,k\le p場合、w1i=10w1i=10w_{1i}=10、w1j=11w1j=11w_{1j}=11およびw1k=0.1w1k=0.1w_{1k}=0.1次に、xixix_iとxjxjx_jは非常に相関しているとxkxkx_k思いますが、x_kはそれらとは無相関のようですが、そうですか？ そして、これが因子分析が観測された特徴間の共分散を説明する方法である場合、PCAも共分散を説明すると思いますよね？

37 pca  factor-analysis  geometry 

線形回帰は「すべての点に垂直に最も近い線」と考えることができることを知っています。 しかし、列係数を「係数行列の列がまたがる空間への投影」として視覚化することで、それを見る別の方法があります。 私の質問は、これら2つの解釈において、リッジ回帰やLASSOなどのペナルティ付き線形回帰を使用すると どうなりますか？最初の解釈の行はどうなりますか？そして、2番目の解釈の投影はどうなりますか？ 更新：コメントの@JohnSmithは、係数のスペースでペナルティが発生するという事実を持ち出しました。この空間にも解釈はありますか？

26 regression  intuition  geometry 

Iは、複数の相関の幾何学的な意味に興味RRR決意するのと係数R2R2R^2回帰におけるyi=β1+β2x2,i+⋯+βkxk,i+ϵiyi=β1+β2x2,i+⋯+βkxk,i+ϵiy_i = \beta_1 + \beta_2 x_{2,i} + \dots + \beta_k x_{k,i} + \epsilon_i 、またはベクトル表記で、 y=Xβ+ϵy=Xβ+ϵ\mathbf{y} = \mathbf{X \beta} + \mathbf{\epsilon} ここで、設計行列XX\mathbf{X}有するnnn行およびkkk列を、そのうちの最初のものであるx1=1nx1=1n\mathbf{x}_1 = \mathbf{1}_n、切片に相当するが、その1Sのベクトルβ1β1\beta_1。 ジオメトリは、k次元の可変空間ではなく、nnn次元の対象空間でより興味深いものです。帽子行列を定義します。kkk H=X(X⊤X)−1X⊤H=X(X⊤X)−1X⊤\mathbf{H} = \mathbf{X \left(X^\top X \right)}^{-1} \mathbf{X}^\top これは、の列空間への正射影ですXX\mathbf{X}。つまり、各変数x iを表すk個のベクトルが 広がる原点を通る平面です。その最初は1 nです。次いで、Hは観測された応答のベクトル突出Yを平坦にその「影」に、近似値のベクトルY = H yは、と我々は残差のベクトルを参照投影経路に沿って見た場合に、E = yと- ykkkxixi\mathbf{x}_i1n1n\mathbf{1}_nHH\mathbf{H}yy\mathbf{y}y^=Hyy^=Hy\mathbf{\hat{y}} = \mathbf{Hy}e=y−y^e=y−y^\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}三角形の3番目の辺を形成します。これにより、幾何学的な解釈への2つのルートが提供されR2R2R^2ます。 複数の相関係数の二乗RRRとの間の相関として定義され、yy\mathbf{y}およびY。これは、角度の余弦として幾何学的に表示されます。y^y^\mathbf{\hat{y}} ベクトルの長さの点で：例えば、SSresidual=∑ni=1e2i=∥e∥2SSresidual=∑i=1nei2=‖e‖2SS_\text{residual} = …

24 regression  correlation  multiple-regression  r-squared  geometry 

私は、主成分分析（PCA）がサブジェクト（デュアル）スペースでどのように機能するかを直感的に理解しようとしています。 2つの変数と、およびデータポイント（データ行列はあり、中心にあると想定される）を含む2Dデータセットを考えます。PCAの通常の表現は、点を考慮し、共分散行列を書き留め、その固有ベクトルと固有値を見つけることです。最初のPCは最大分散の方向などに対応します。これは共分散行列です。赤い線は、それぞれの固有値の平方根でスケーリングされた固有ベクトルを示しています。x1x1x_1x2x2x_2nnnXX\mathbf Xn×2n×2n\times 2nnnR2R2\mathbb R^22×22×22\times 2C=(4222)C=(4222)\mathbf C = \left(\begin{array}{cc}4&2\\2&2\end{array}\right) \hskip 1in 次に、デュアルスペース（機械学習で使用される用語）とも呼ばれる、対象空間（@ttnphnsからこの用語を学びました）で何が起こるかを考えます。これは、2つの変数のサンプル（ 2列）が2つのベクトルおよび形成する次元空間です。各可変ベクトルの長さの2乗はその分散に等しく、2つのベクトル間の角度のコサインはそれらの間の相関に等しくなります。ちなみに、この表現は重回帰の処理において非常に標準的です。私の例では、対象空間は次のようになります（2つの変数ベクトルにまたがる2D平面のみを表示しています）。X x 1 x 2nnnXX\mathbf Xx1x1\mathbf x_1x2x2\mathbf x_2 \hskip 1in 2つの変数の線形結合である主成分は、同じ平面で2つのベクトルおよびします。私の質問は、そのようなプロットで元の変数ベクトルを使用して主成分変数ベクトルを形成する方法の幾何学的な理解/直感は何ですか？と与えられた場合、を生成する幾何学的な手順は何ですか？p 2 x 1 x 2 p 1p1p1\mathbf p_1p2p2\mathbf p_2x1x1\mathbf x_1x2x2\mathbf x_2p1p1\mathbf p_1 以下は私の現在の部分的な理解です。 まず、標準的な方法で主成分/軸を計算し、同じ図にプロットします。 \hskip 1in また、は、（青いベクトル）と上の投影の距離の二乗の合計が最小になるように選択されていることに注意できます。これらの距離は再構成エラーであり、黒い破線で示されています。同様に、は、両方の投影の長さの2乗の合計を最大化します。これは、を完全に指定し、もちろん、プライマリ空間での同様の説明に完全に類似しています（主成分分析、固有ベクトル、固有値の理解に対する私の回答のアニメーションを参照）。こちらの@ttnphnsの回答の最初の部分もご覧ください。x i p 1 p 1 p 1p1p1\mathbf p_1xixi\mathbf x_ip1p1\mathbf p_1p1p1\mathbf …

19 pca  linear-algebra  intuition  geometry 

線形モデルの場合は：、我々はOLSを経由して推定されたモデルの素敵な幾何学的な解釈ができ、Y = X β + Eを。yが xで張られる空間へと残留y= X β+ ey=バツβ+ey=x\beta+ey^= X β^+ e^y^=バツβ^+e^\hat{y}=x\hat{\beta}+\hat{e}y^y^\hat{y}この空間に垂直であるxで張ら。e^e^\hat{e} さて、私の質問は次のとおりです。一般化線形モデル（ロジスティック回帰、ポアシオン、サバイバル）の幾何学的解釈はありますか？私は推定バイナリロジスティック回帰モデルの解釈方法については非常に興味がありますP = ロジスティック（X βを）線形モデルと同様の方法で、幾何学的に。エラー用語さえありません。 p^= ロジスティック（X β^）p^=ロジスティック（バツβ^）\hat{p} = \textrm{logistic}(x\hat{\beta}) 一般化線形モデルの幾何学的解釈についての話を見つけました。http://statweb.stanford.edu/~lpekelis/talks/13_obs_studies.html#(7） 。残念ながら、図は入手できず、想像するのは非常に困難です。 ヘルプ、参照、および提案は大歓迎です!!!

13 regression  model  geometry 

尖度は、分布のピークと平坦度を測定することです。分布の密度関数は、存在する場合、曲線と見なすことができ、その形状に関連する幾何学的特徴（曲率、凸性など）を持ちます。 それで、分布の尖度が密度関数の幾何学的特徴に関係しているかどうか疑問に思います。それは尖度の幾何学的意味を説明できますか？

12 kurtosis  geometry 

私はフランクリンM.フィッシャーの『計量経済学における識別問題』という本を読んでいて、尤度関数を視覚化することで識別を示している部分に戸惑いました。 問題は次のように簡略化できます。 回帰の場合、どこU 〜I 。私。d 。N （0 、σ 2 I ）、 及びBはパラメータです。Yの係数cが1に等しいと仮定します。その後の空間における尤度関数Cは、、bが なければならない真のパラメータとそのスカラー倍のベクトルに対応する線に沿ってリッジY= a + Xb + uY=a+Xb+uY=a+Xb+uU 〜I 。私。d。N（0 、σ2私）u∼i.i.d.N(0,σ2I)u \sim i.i.d. N(0,\sigma^2I)aaabbbYYYcccc 、a 、bc,a,bc, a,b。によって与えられる場所のみを考慮する場合、尤度関数は、光線がその平面と交差する点で一意の最大値を持ちます。c=1c=1c=1 私の質問は： デモンストレーションで言及された尾根と光線について、どのように理解し、それを推論すべきか。 光線は真のパラメーターとスカラーであるため、パラメーターcの真の値が1であるため、光線が与えられる平面上にないのはなぜですか。c=1c=1c=1ccc

11 mathematical-statistics  maximum-likelihood  geometry 

この質問は、Amariによる論文「曲線指数ファミリの曲がった幾何学-曲率と情報損失」に関係しています。 テキストは次のようになります。 LET であるn個の座標系との確率分布の次元マニホールドθ = （θ 1、... 、θ N）、p個のθ（X ）> 0が想定され...Sん= { pθ}Sn={pθ}S^n=\{p_{\theta}\}んnnθ = （θ1、… 、θん）θ=(θ1,…,θn)\theta=(\theta_1,\dots,\theta_n)pθ（x ）> 0pθ(x)>0p_{\theta}(x)>0 私たちは、すべてのポイントを考えることがのS N機能搭載など、ログのp θ（X ）のXを ...θθ\thetaSんSnS^nログpθ（x ）log⁡pθ(x)\log p_{\theta}(x)バツxx ましょうの正接空間であるS Nにおけるθ、大まかに言えば、である、の小さな近傍の線形化バージョンで識別θでS N。してみましょうE I（θ ）、私は= 1 、... 、n個の自然の基礎となるT θ協調システムに関連付けられています...TθTθT_{\theta}SんSnS^nθθ\thetaθθ\thetaSnSnS^nei(θ),i=1,…,nei(θ),i=1,…,ne_i(\theta), i=1,\dots,nTθTθT_{\theta} 各点のでのS N機能搭載ログPのθ（X ）のXは、考えるのが自然であるE I（θ ）におけるθの関数として表すE I（θ ）= ∂をθθ\thetaSnSnS^nlogpθ(x)log⁡pθ(x)\log p_{\theta}(x)xxxei(θ)ei(θ)e_i(\theta)θθ\thetaei(θ)=∂∂θilogpθ(x).ei(θ)=∂∂θilog⁡pθ(x).e_i(\theta)=\frac{\partial}{\partial\theta_i}\log p_{\theta}(x). 私は最後の声明を理解していません。これは、上記の論文のセクション2に記載されています。接線空間の基準は上記の方程式でどのように与えられますか？この種の資料に精通しているこのコミュニティの誰かが私がこれを理解するのを助けてくれると助かります。ありがとう。 更新1： 場合、私は（@aginenskyから）ことを同意するが、、その後直線的に独立している∂∂∂θipθ∂∂θipθ\frac{\partial}{\partial\theta_i}p_{\theta}これらが最初の場所で接空間のメンバーであるかも線形独立であるが、非常に明確ではありません。それでは、どの缶∂∂∂θilogpθ∂∂θilog⁡pθ\frac{\partial}{\partial\theta_i}\log p_{\theta}接空間のための基礎として考慮されます。どんな助けでもありがたいです。∂∂θilogpθ∂∂θilog⁡pθ\frac{\partial}{\partial\theta_i}\log p_{\theta} …

10 mathematical-statistics  statistical-learning  geometry  information-geometry 

教科書では、2つの共分散行列を比較するために正定性（準正定性）を使用していることを読んでいます。A−BA−BA-Bがpdの場合、BBBはAAAよりも小さいという考えです。しかし、私はこの関係の直感を得るために苦労していますか？ ここに同様のスレッドがあります： /math/239166/what-is-the-intuition-for-using-definiteness-to-compare-matrices 行列を比較するために明確性を使用する直感とは何ですか？ 答えはいいですが、直感には対応していません。 ここに私が混乱する例があります： [1612129]−[1224][1612129]−[1224]\begin{equation} \begin{bmatrix} 16 & 12 \\ 12 & 9 \end{bmatrix} - \begin{bmatrix} 1 & 2 \\ 2 & 4 \end{bmatrix} \end{equation} ここで、差の行列式は-25なので、関係はpdまたはpsdでもなく、最初の行列は最初の行列よりも大きくありませんか？ 2つの3 * 3共分散行列を比較して、どちらが最小かを確認したいだけですか？それらを比較するためにユークリッドノルムのようなものを使用する方が私にとってより直感的に見えるでしょうか？ただし、これは、上記の最初のマトリックスが2番目のマトリックスよりも大きいことを意味します。さらに、共分散行列の比較に使用されるpd / psd基準のみが表示されます。 誰かがpd / psdがユークリッドノルムなどの別の尺度を使用するよりも優れている理由を説明できますか？ 私はまた、数学フォーラムにこの質問を投稿しました（何が最善だったのかわかりません）。これがルールに違反しないことを願っています。 /math/628135/comparing-two-covariance-matrices

10 covariance-matrix  matrix  intuition  linear-algebra  geometry 

今学期は、いくつかの変数の関数の統合とベクトル計算についてクラスを教えています。このクラスはほとんどの経済学専攻と工学専攻で構成されており、数学や物理学の専門家もいます。私はこの学期を前学期に教えました、そして、経済学専攻の多くは後半にかなり退屈であることがわかりました。共同で分布した確率変数を使用していくつかの計算を行うことで、複数の積分を動機づけることができましたが、コースのベクトル分析の部分については、物理学に基づいて考えることができる唯一の動機付けでした。 だから、誰かがベクトル計算の主要な定理のいずれかの統計的/確率論的解釈を知っているかどうか疑問に思っています：グリーンの定理、ストークスの定理、そして発散の定理。問題の一部は、発散、勾配、またはカールは言うまでもなく、確率論ではベクトル場があまり頻繁に出現しないように見えることです。数日前にこの質問をmath.stackexchangeにも投稿しましたが、まだ他のアイデアを探しています。

10 generalized-linear-model  teaching  integral  geometry  quasi-likelihood 

我々はデータ行列があるとであり、N行列P、およびラベルベクトルYであり、nは -by-一つ。ここで、行列の各行は観測値であり、各列は次元/変数に対応しています。（n > pと仮定）バツX\mathbf{X}んnnpppYYYんnnn>pn>pn>p 次に何をすべきかdata space、variable space、observation space、model space意味ですか？ 列ベクトルにまたがる空間は、ランクpでありながらn座標を持っているため、（退化した） -D空間であり、変数ベクトルにまたがるため、可変空間と呼ばれますか？それとも、各次元/座標が観測に対応するため、観測空間と呼ばれますか？nnnnnnppp そして、行ベクトルがまたがる空間はどうですか？

9 regression  multiple-regression  terminology  geometry  biplot 

数学的な観点からは、ベイズの定理は完全に理にかなっています（つまり、導出と証明）が、ベイズの定理を説明するために示すことができる素晴らしい幾何学的またはグラフィカルな引数があるかどうかはわかりません。私はこれに対する答えを探してグーグルで試しましたが、驚くべきことに、何も見つけることができませんでした。

9 bayesian  bayes  geometry 

2つのパラメーターを測定しました（溶存有機炭素DOC = y、排出量= x）。これら2つの変数を互いにプロットすると、ヒステリシスループが得られます（コード例と図を参照）。 ここで、さらに分析するために、このヒステリシスループの領域を決定します。これは、モンテカルロダーティングメソッドを使用して実行できることを理解しました。この方法では、未知の領域の面積は、既知の長方形の面積に、内側のフィールド（ループ）でのヒットを掛けたものに比例します。 私の問題は、Rを使用して内側/外側の問題を解決する方法です。どのようにして既知の領域を持つ長方形を描画し、ヒステリシスループの内側と外側のランダムヒットに優れるのでしょうか。 私は他の方法を受け入れることに注意してください... 私はググっていろいろな統計サイトを検索したが答えは見つからなかった。他のウェブサイト/投稿への直接的な支援やリンクは大歓迎です。 Data <- read.table("http://dl.dropbox.com/u/2108381/DOC_Q_hystersis.txt", sep = ";", header = T) head(Data) plot(Data$Q, Data$DOC, type = "o", xlab = "Discharge (m3 s-1)", ylab = "DOC (mg C l-1)", main = "Hystersis loop of the C/Q relationship")

8 r  data-visualization  geometry