統計、線形代数、機械学習の古典的な表記法は何ですか？そして、これらの表記法の間の関係は何ですか？

26

本を読むとき、表記を理解することは、内容を理解する上で非常に重要な役割を果たします。残念ながら、異なるコミュニティでは、モデルと最適化問題の定式化に関して異なる表記規則があります。ここに定式化表記をまとめて考えられる理由を教えてください。

ここで例を示します：線形代数の文学では、古典的な本はStrangの線形代数入門です。本で最も使用されている表記は

A x = b

$A x=b$

ここで、は係数行列、は解く変数、は方程式の右側のベクトルです。その理由本はこの表記法を選択するには、線形代数の主な目的は、ベクターが何であるかを線形システムと数字解決されている。そのような定式化を考えると、OLS最適化問題は $A$ $x$ $b$ $x$

\underset{x}{minimize} ‖ A x - b ‖^{2}

$\underset{x}{\text{minimize}}~~ \|A x-b\|^2$

統計または機械学習リテラシー（書籍統計学習の要素）で、人々は同じ表記を表すために異なる表記法を使用します。

X β = y

$X \beta= y$

どこに $X$ あるデータマトリックス、 $\beta$ ある係数または重みが学習を学習する、 $y$ 応答です。理由統計や機械学習コミュニティの人々がされているため、人々はこれを使用するには、あるデータを駆動して、データおよび応答は彼らが使用する場合には、それらの最も興味深いものです $X$ と $y$ 表現するために。

ここで、考えられるすべての混乱が存在することがわかります。最初の方程式のは2番目の方程式の $A$ と同じです。そして、2番目の式、解決する必要はありません。また、用語について：は線形代数の係数行列ですが、統計のデータです。は「係数」とも呼ばれます。 $X$ $X$ $A$ $\beta$

さらに、 $X \beta=y$ は機械学習で広く使用されているものではなく、すべてのデータポイントを要約するハーフベクトル化バージョンを使用していることを述べました。といった

min \sum_{i} L (y_{i}, f (x_{i}))

$\min \sum_i \text{L}(y_i,f(x_i))$

この理由は、確率的勾配降下法や他のさまざまな損失関数について話すときに良いからだと思います。また、線形回帰以外の問題については、簡潔なマトリックス表記が消えます。

ロジスティック回帰の行列表記

誰もが異なる文学にまたがる表記法についてより多くの要約を与えることができますか？この質問に対する賢明な回答が、異なる文学を横断する本を読んでいる人々のための良いリファレンスとして使用できることを望みます。

私の例 および制限されないでください。他にもたくさんあります。といった $A x=b$ $X \beta=y$

なぜ2つの異なるロジスティック損失定式化/表記法があるのですか？

machine-learning probability self-study optimization

— hxd1011
ソース

5

表記は、ある種の外部的に検証可能な真実として実際には存在しません。それは言語なので、本質的に文脈依存であり、再定義することができます。私がx * bと書いて、それが行列xドット積ベクトルbを意味すると言うなら、それはただ太字であるかどうかです。

— シコラックスは、モニカを

3

とは同等の表記法を持っていると思います。変数の名前だけが変更されました。一般的に、フィールド内であっても、紙から紙への変数の一貫した命名は見つかりません。

A x = b

$Ax = b$

X β = y

$X \beta = y$

— user20160

6

現在、これには10回のアップ投票、150回のビューがあります。価値のある便利なスレッドのようです。さらに、賛成の答えがあります。だから答えが広すぎるとは思わない。

— GUNG -復活モニカ

3

@gungに同意します。コミュニティはこの質問に明らかに興味を持っています。再開にノミネートしました。

— マシュードゥルーリー

1

通常のqには広すぎると思います。-しかし、すでにCWであり、やや人気があるので、そこにあった4つに再オープンする投票を追加しました。

— Scortchi-モニカの復職

回答:

18

おそらく関連する質問は、「さまざまな言語で使用されている単語とは何か、これらの単語間の関係は何か」です。

表記はある意味で言語のようなものです。

一部の単語には地域固有の意味があります。一部の単語は広く理解されています。
強力な国々が言語を広めるように、成功した分野と影響力のある研究者が表記法を広めました。
言語は時間とともに進化します。言語には歴史的起源と現代の影響が混在しています。

特定の質問...

この2つは「完全に異なる表記法」に従うというあなたの主張には同意しません。両方のと行列を表すために使用大文字。彼らはありませんよという異なります。 $X\boldsymbol{\beta} = \boldsymbol{y}$ $A\mathbf{x} = \mathbf{b}$
機械学習をされ、高度に統計に関連し、大規模な成熟した分野。を使用してデータマトリックスを表すことは、ほぼ間違いなく最も読みやすく、最も標準的な規則です。一方で、線形システムを解くための規格であり、それはだない統計をやって人々は通常の方程式を書く方法。そうしようとすると、聴衆はもっと混乱するでしょう。ローマにいるとき... $X$ $A\mathbf{x} = \mathbf{b}$
ある意味、修正された質問の核心は、「データを表す文字と、解く未知の変数を表す文字を使用した統計の歴史的起源は何ですか？」です。
- これは統計史家にとっての質問です！簡単に検索すると、影響力のある英国の統計学者であり、ケンブリッジの学者であるUdny Yule が彼の統計理論入門（1911）でデータを表すためにを使用していることがわかります。彼は回帰方程式をとして書き、最小二乗の目的はを最小化し、解。それは少なくとも当時に戻ります... $x$ $x_1 = a + bx_2$ $\sum\left( x_1 - a - bx_2\right)^2$ $b_{12} = \frac{\sum x_1x_2}{\sum x_2^2}$
- さらに影響力のRAフィッシャーは使用従属変数とするために彼の1925本の中で独立変数のための研究労働者のための統計的方法。（情報を提供するリンクについては、@ Nick Coxにお問い合わせください。） $y$ $x$

良い表記法は良い言葉のようなものです。可能な限り、フィールド固有の専門用語は避けてください。英語を話すほとんどの人が理解できる言語である高BBC英語に相当する数学を書きます。可能な限り、明確で広く理解されている表記法を使用して記述する必要があります。

— Matthew Gunn
ソース

1

統計のこのアマチュア歴史家は、Yuleが決して教授ではなかったという教訓的な修正を提供できます...さらに興味深いことに、現在ダウンしているように見えることを除いて、jeff560.tripod.com / stat.htmlに関連するWebサイトがあります。

— ニックコックス

2

math.hawaii.edu/~tom/history/stat.htmlはコピーのようです。パラメータについてはギリシャ語、変数についてはローマ語などの体系的な規則は、主にRAフィッシャーによるものと理解していますが、サンプルのカイ2乗統計のなど、多くのホールドアウトがあります。

χ^{2}

$\chi^2$

— ニックコックス

@NickCox Fantastic link jeff560.tripod.com/stat.html（私のために...）YuleとRA Fisherを参照しています！回帰の初期の数学的起源は明らかにガウスとラプラスにさかのぼりますが、私の完全なアマチュア検索では、異なる表記法を使用しているように見えました。

— マシューガン

私が書いているjeff560.tripod.com/stat.htmlは2014年の更新です。www.math.hawaii.edu/~tom/history/stat.htmlは2007

— ニックコックス

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。

Licensed under cc by-sa 3.0 with attribution required.