なぜテンソルに突然魅了されるのですか？

最近、多くの人々が多くの方法（テンソル因数分解、テンソルカーネル、トピックモデリングのテンソルなど）のテンソル等価物を開発していることに気付きました。なぜ世界は突然テンソルに魅了されるのでしょうか。これをもたらした特に驚くべき最近の論文/標準結果はありますか？以前に疑われていたよりも計算上はるかに安価ですか？

私はglibではありません、私は心から興味があり、これに関する論文へのポインタがあれば、私はそれらを読みたいです。

テンソルは多くの場合、データのより自然な表現を提供します。たとえば、時間の経過とともに明らかに相関する画像で構成されるビデオを検討します。これをマトリックスに変えることはできますが、それは自然なものでも直観的なものでもありません（ビデオのマトリックス表現の因数分解とはどういう意味ですか？）。

テンソルはいくつかの理由でトレンドになっています：

• 多重線形代数の理解は、特にさまざまなタイプの因数分解で急速に改善されており、新しい潜在的なアプリケーションを特定するのに役立ちます（たとえば、多元成分分析）
• ソフトウェアツールが登場し（例：Tensorlab）、歓迎されています
• ビッグデータアプリケーションは、推奨システムなどのテンソルを使用して解決できることが多く、ビッグデータ自体はホットです
• いくつかのテンソル操作が重くなる可能性があるため、計算能力が向上します（これは、ディープラーニングが今とても人気がある主な理由の1つでもあります）

あなたの質問は、質問自体と同じように自由に流れ、開かれた答えと一致すべきだと思います。だから、ここに私の二つのアナロジーがあります。

まず、あなたが純粋な数学者でない限り、おそらく最初に単変量の確率と統計を教えられたでしょう。例えば、最も可能性の高いあなたの最初のOLSの例では、このようなモデルにおそらくだった：

$$y_i=a+bx_i+e_i$$ ほとんどの場合、あなたが実際に最小二乗和を最小化することによって推定値を導出することを通して行ってきました： $$TSS=\sum_i(y_i-\bar a-\bar b x_i)^2$$ 、あなたが書き込みFOCをパラメータのためのsおよびソリューションを取得する： $$\frac{\partial TTS}{\partial \bar a}=0$$

その後、ベクトル（行列）表記でこれを行う簡単な方法があると言われます：

$$y=Xb+e$$

そしてTTSになる：

$$TTS=(y-X\bar b)'(y-X\bar b)$$

FOCSである：

$$2X'(y-X\bar b)=0$$

その溶液は、

$$\bar b=(X'X)^{-1}X'y$$

線形代数が得意な場合は、習得したら2番目のアプローチに固執します。これは、特に多変量統計を取得した後は、最初のアプローチですべての合計を書き留めるよりも簡単だからです。

したがって、私の類推は、行列からテンソルへの移動は、ベクトルから行列への移動に似ているということです。

第二に、テンソルはどこから来ますか？私はこのことの歴史全体についてはわかりませんが、それらを理論力学で学びました。確かに、テンソルのコースがありましたが、数学のコースでインデックスを交換するこれらすべての素晴らしい方法とはどういう関係があるのか​​わかりませんでした。それはすべて、張力を研究するという文脈で意味をなし始めました。

だから、物理それらはまた、従って、単位面積当たりの力として定義される圧力の簡単な例で始まる：

$$F=p\cdot dS$$ これはあなたの力ベクトルを計算できることを意味$F$圧力乗じて$p$領域単位で（スカラー）$dS$（法線ベクトル）。これは、無限平面が1つしかない場合です。この場合、垂直力は1つだけです。大きな風船が良い例です。

ただし、材料内部の張力を研究している場合は、考えられるすべての方向と表面を処理しています。この場合、垂直方向だけでなく、あらゆる方向に引っ張ったり押したりする任意の表面に力がかかります。いくつかの面は、などだから、あなたの方程式が「横」接線方向の力によって引き裂かれています。

$$F=P\cdot dS$$ 力がまだベクトルである$F$と表面積は、まだその法線ベクトルで表される$dS$が、$P$ありますスカラーではなくテンソルになりました。

OK、スカラーとベクトルもテンソルです:)

テンソルが自然に現れる別の場所は、共分散または相関行列です。考えてみてください：相関行列$C_0$を別の$C_1$に変換する方法は？：あなたは、この方法で私達はちょうどそれを行うことはできません実現

$$C_\theta(i,j)=C_0(i,j)+ \theta(C_1(i,j)-C_0(i,j)),$$ $\theta\in[0,1]$私たちはすべて維持する必要があるため、$C_\theta$半正定値。

そこで、我々は道を見つける必要があるだろう$\delta C_\theta$ように$C_1=C_0+\int_\theta\delta C_\theta$、どこ $\delta C_\theta$行列に小さな障害です。さまざまなパスがあり、最短のパスを検索できます。これが、リーマン幾何学、多様体、そして...テンソルに到達する方法です。

更新：とにかくテンソルとは何ですか？

@amoebaと他の人たちは、テンソルの意味と、それが配列と同じかどうかについて活発な議論を始めました。だから、私は例が秩序だと思った。

たとえば、バザーに行って食料品を買います。2人の商人、$d_1$と$d_2$ます。私たちは、気づいた私たちが払っているのであればという$x_1$にドルを$d_1$および$x_2$ドル$d_2$ その後、$d_1$私たちを販売している$y_1=2x_1-x_2$りんごのポンド、及び$d_2$私たちを販売している$y_2=-0.5x_1+2x_2$オレンジ。たとえば、1ドル、つまり$x_1=x_2=1$両方を支払う場合、1ポンドのリンゴと1.5ポンドのオレンジを取得する必要があります。

この関係を行列$P$形式で表現できます。

 2   -1
-0.5  2 

その後、商人は、$x$ドルを支払えば、これだけのリンゴとオレンジを生産します

$$y=Px$$

これは、ベクトル乗算による行列とまったく同じように機能します。

さて、これらの商人から商品を個別に購入する代わりに、利用する支出バンドルが2つあると宣言します。0.71ドルの両方を支払うか、$d_1$ 0.71ドルを支払い、$d_2$から0.71ドルを要求します。最初の場合と同様に、バザーに行き、バンドル1に$z_1$を、バンドル2に$z_2$を費やします。

それでは、バンドル1に$z_1=2$だけを費やす例を見てみましょう。この場合、最初の商人は$x_1=1$ドルを受け取り、2番目の商人は同じ$x_2=1$受け取ります。したがって、上の例のように同じ量の農産物を手に入れる必要がありますよね？

多分そうでないかもしれません。$P$行列が対角線でないことに気付きました。これは、何らかの理由で、ある商人が自分の農産物に請求する金額が、他の商人に支払った金額にも依存することを示しています。彼らは、たぶん噂を通して、いくら払うのかを考えなければなりませんか？この場合、バンドルで購入を開始すると、バンドルをバザーに宣言するため、それぞれの金額を確実に支払うことができます。この場合、$P$行列が同じままであることをどのように知ることができますか？

市場での支払いに関する完全な情報があれば、価格設定の式も変わるかもしれません！これにより、マトリックス$P$が変更され、どの程度正確かを言うことはできません。

ここで、テンソルを入力します。基本的に、テンソルを使用すると、各商人と直接取引するのではなく、バンドルで取引を開始しても計算は変わらないと言います。それが制約であり、これは$P$に変換規則を課します。これをテンソルと呼びます。

特に、我々は正規直交基底持っていることに気づくかもしれ$\bar d_1,\bar d_2$、$d_i$商人に1ドルの支払いを意味し$i$と何も他にします。我々はまた、バンドルはまた、正規直交基底を形成することあり$\bar d_1',\bar d_2'$、これはまた、反時計回りに45度ずつ第1基底を単純に回転させます。また、最初の基底のPC分解です。したがって、バンドルへの切り替えは単純な座標の変更であり、計算を変更すべきではないと言っています。これは、モデルに課した外部制約であることに注意してください。それは、行列の純粋な数学特性からではありませんでした。

今、我々の買い物は、ベクトルとして表現することができ$x=x_1 \bar d_1+x_2\bar d_2$。ベクトルもテンソルです。テンソルは興味深いことである：それは次のように表すことができる。

$$P=\sum_{ij}p_{ij}\bar d_i\bar d_j$$ として、及び食料品$y=y_1 \bar d_1+y_2 \bar d_2$。食料品$y_i$支払われたドルではなく、商人$i$からの農産物のポンドを意味します。

座標をバンドルに変更しても、テンソル方程式は同じままです：

$$y=Pz$$

それはうれしいですが、支払ベクトルが異なる根拠に今ある：

$$z=z_1 \bar d_1'+z_2\bar d_2'$$ 、我々は古い基準で生産ベクトルを保つかもしれないが$y=y_1 \bar d_1+y_2 \bar d_2$。テンソルは、あまりにも変更されます。 $$P=\sum_{ij}p_{ij}'\bar d_i'\bar d_j'$$ 。それはために起こって、テンソルを変換する必要がありますどのように導出することは簡単です$PA$回転行列は次のように定義され、$\bar d'=A\bar d$。私たちの場合、それはバンドルの係数です。

テンソル変換の式を計算すると、$x_1=x_2=1$および$z_1=0.71,z_2=0$の例と同じ結果が得られます。

これはあなたの質問に対する答えではありませんが、異なる人々のコメントでここで提起された問題に関する拡張コメントです。つまり、機械学習の「テンソル」は数学のテンソルと同じものですか？

さて、Cichoki 2014によると、ビッグデータ処理の時代：テンソルネットワークとテンソル分解を介した新しいアプローチ、およびCichoki et al。2014年、信号処理アプリケーションのテンソル分解、

高次テンソルは多方向配列として解釈できます、[...]

テンソルはマルチインデックス数値配列と考えることができます、[...]

テンソル（すなわち、多方向配列）[...]

そのため、機械学習/データ処理では、テンソルは単純に多次元数値配列として定義されているように見えます。このような3Dテンソルの例は、640 × 480サイズのビデオフレームです。通常のn × pデータ行列は、この定義による2Dテンソルの例です。$1000$$640\times 480$$n\times p$

これは、数学と物理学でテンソルが定義される方法ではありません！

$V$$V\otimes\ldots\otimes V^*$$p\times p$$p\times p\times p$$p$$V$

$3\times 3$$4\times 4$$4\times 4\times 4\times 4$ $V$

$V\otimes W$$p$$V$$q$$W$

$V$

$p\times p$$p$$V$$n\times p$$X$

$X$$W\otimes V$$W$$n$$V$$p$$X$$V$$W$$X$$W\otimes V$

$X\in\mathbb R^{n\times p}$$R^{n\times p}$$n\times p$

私の結論は：（a）機械学習テンソルは数学/物理テンソルではなく、（b）それらをテンソル積の要素として見ることはほとんど役に立たない。

代わりに、それらは行列の多次元一般化です。残念ながら、そのための数学用語は確立されていないため、この「テンソル」の新しい意味は今も残っているようです。

ニューラルネットワークを研究して構築し、この質問を繰り返し尋ねた人として、私はテンソル表記法の有用な側面を借りるという結論に達しました。なぜなら、それらは導出をはるかに簡単にし、グラデーションをネイティブな形に保つからです。テンソルチェーンルールは、私が今まで見た中で最もエレガントな派生ツールの1つです。さらにテンソル表記法は、ベクトル計算の一般的な拡張バージョンを使用する場合に見つけるのが単に悪夢のような計算効率の高い単純化を促進します。

でベクトル/行列の計算例えば、行列積（アダマール、通常クロネッカー、および要素単位）の4種類があるが、内テンソル計算の乗算の一種類があるまだそれは、すべての行列乗算などを覆っています。寛大になりたい場合は、テンソルを、操作するオブジェクトがテンソルではなく、テンソルベースの計算を使用して導関数を見つけることを意図している多次元配列を意味すると解釈します。

ほとんどの機械学習の専門家は、高レベルの数学や物理学の定義を順守することをあまり気にしないので、正直なところ、多次元配列テンソルを呼び出します。現実には、テンソルを記述するときに通常使用される、よく開発されたアインシュタインの和の規則と計算を借用しているだけであり、アインシュタインの和の規則に基づく計算を何度も繰り返したくありません。いつか、ニューラルネットワークの分析に特にテンソル計算から必要なものだけを盗む、時間のかかる若い分野として、新しい表記法と規則を開発するかもしれません。

今、私は実際に他の回答の内容のほとんどに同意します。しかし、私はある点で悪魔の支持者を演じるつもりです。繰り返しますが、それは自由に流れるので、謝罪します...

Googleは、ディープラーニング用のTensor Flowと呼ばれるプログラムを発表しました。これは、私が見た定義とのつながりを作ることができなかったため、ディープラーニングの「テンソル」とは何なのかと思いました。

$i$$y$

$y_i = \sigma(\beta_i^j x_j)$

現在、アイデアは、元の座標の有用な表現に到達するために、そのような変換の束を連結することです。そのため、たとえば、画像の最後の変換後、単純なロジスティック回帰により優れた分類精度が得られます。一方、生の画像では間違いなくそうなります。

さて、視界から失われたと思われるものは、適切なテンソルで求められる不変性の性質です。特に、変換された変数の次元が層ごとに異なる場合があります。[たとえば、テンソルで見たもののいくつかは、非正方形ヤコビアンには意味がありません-いくつかの方法が欠けているかもしれません]

保持されているのは変数の変換の概念であり、ベクトルの特定の表現は特定のタスクに対して他の表現よりも有用である可能性があります。デカルト座標系または極座標系の問題に取り組む方が理にかなっているかどうかという類推です。

---

@Aksakalに応じて編集：

座標の数が変化するため、ベクトルを完全に保存することはできません。ただし、ある意味では、少なくとも有用な情報は変換中に保存されます。たとえば、PCAでは座標を削除する可能性があるため、変換を反転することはできませんが、それでも次元の削減は有用です。連続するすべての変換が可逆的である場合、最後から2番目のレイヤーから入力スペースにマップできます。現状では、サンプリングによってそれ（RBM）を可能にする確率モデルのみを見てきました。

以下は、統計とコンピュータービジョンへの応用による非負テンソル因数分解の抜粋（コンテキスト用）です。A。シャシュアとT.ハザンは、少なくとも一部の人々がテンソルに魅了される理由の中心になります。

次元を連結することにより、n次元の問題を2次元形式で表すことができます。したがって、たとえば、画像のセットの非負の低ランク分解を見つける問題は、3-NTF（非負のテンソル分解）であり、画像は3Dキューブのスライスを形成しますが、次のように表すこともできます。画像（行列の列を形成する画像）をベクトル化することによるNMF（非負行列因子分解）問題。

画像のコレクションのマトリックス表現が適切でない理由は2つあります。

1. 空間的な冗長性（ピクセル、必ずしも隣接していない、同様の値を持っている）はベクトル化で失われるため、効率の悪い分解が期待されます。
2. NMF分解は一意ではないため、（ローカルパーツの）生成モデルが存在する場合でも、NMFは必ずしもその方向に移動するわけではありません。これは、Chu、M.、Diele、F.、Plemmons、R。 ＆Ragni、S.「非負行列因子分解の最適性、計算、解釈」SIAM Journal on Matrix Analysis、2004。たとえば、画像セットの不変部分はすべての因子にゴーストを形成し、スパース性効果を汚染する傾向があります。NTFはほとんど常に一意であるため、NTFスキームは生成モデルに向かって移動し、特に不変部分の影響を受けないことが予想されます。

[編集] Peter McCullagh著、Tensor Methods in Statisticsの本を発見しました。

テンソルは、信号（または画像）の未知の混合識別、特にCanonical Polyadic（CP）テンソル分解の概念周辺の関心プロパティを表示します。たとえば、Tensors：a Brief Introduction、P. Comon、2014を参照してください。 「ブラインドソース分離（BSS）」という名前で：

テンソル分解は、明示的または暗黙的に、多くのブラインドソース分離（BSS）アルゴリズムの中核です。特に、Canonical Polyadic（CP）テンソル分解は、未決定の混合物の識別に中心的な役割を果たします。いくつかの類似点にもかかわらず、CPと特異値分解（SVD）はまったく異なります。より一般的には、この簡単な紹介で指摘したように、テンソルと行列は異なる特性を持っています。

最近、3次テンソルに対していくつかの一意性の結果が導き出されました。3次テンソルの標準的なポリアディック分解の一意性について（パート1、パート2）、I 。、2013。

テンソル分解は、例えば、非一意性に対応するために、分解因子（直交性、ヴァンダーモンド、ハンケル）および低ランクに構造を課すことによって、しばしばスパース分解に結び付けられます。

不完全なデータ分析およびセンサーアレイからの複雑な測定値の決定に対するニーズの高まりに伴い、テンソルは、マトリックスの完成、潜在変数分析、およびソースの分離にますます使用されています。

付記：明らかに、Canonical Polyadic分解は、システム同定（ブロック構造化、並列Wiener-Hammersteinまたは非線形状態空間モデル）のアプリケーションで、線形形式のべきの和としての同次多項式のWaring分解とも同等です。

Kroonenberg、PM Applied Multiway Data Analysis and Smilde et al。多方向分析。化学科学での応用（両方ともWiley）。興味深いのは私の記事もあります：Kroonenberg、PM（2014）。多方向コンポーネント分析と3方向コレスポンデンス分析の歴史。ブラジウス、J。およびグリーンエーカー、MJ（編）。データの視覚化と言語化（pp。77〜94）。ニューヨーク：チャップマン＆ホール/ CRC。ISBN 9781466589803。

これらの参考文献は、テンソルではなくマルチウェイデータについて述べていますが、同じ研究分野について言及しています。

機械学習の人々は、数学者や医師と同じ注意を払ってテンソルを見ないのは事実です。この不一致を明らかにする可能性のある論文を次に示します。ComonP。、「Tensors：a brief Introduction」IEEE Sig。手続き 雑誌、2014年5月31日