「正規化」という用語の由来

生徒に概念を紹介するとき、用語の由来を教えてくれるのが楽しいことがよくあります（たとえば、「回帰」は興味深い起源を持つ用語です）。統計/機械学習で「正規化」という用語の歴史/背景を明らかにすることはできませんでした。

それでは、正則化という用語の起源は何ですか？

Matthew Gunnの貢献と同様に、これも実際には答えではなく、もっともらしい候補です。

私はまた、ティホノフ正則化の文脈で、特に地球物理学における（線形）逆問題の文脈で「正則化」という用語を初めて耳にしました。おもしろいことに、それは私が研究分野（つまり、私のユーザー名を見る）に起因する可能性が高いと思っていたが、明らかにTikhonovは実際にその分野で彼の仕事の多くを行ったようです！

私の勘では、現代の「正則」アプローチの可能性が高いということですでしたチホノフの仕事に由来します。この推測に基づいて、ここでの私の貢献は2つの部分に分かれています。

最初の部分は、（アームチェア）本質的に歴史的です（論文のタイトルと私自身の先入観に基づいています）。1963年の誤った定式化された問題の解決と正則化方法は、「正則化」という用語の最初の使用であるように見えますが、これが真実であるかどうかはあまりわかりません。この参照は、Wikipediaで次のように引用されています。

ティホノフ、AN（1963）。「Орешениинекорректнопоставленныхзадачиметодерегуляризации」。Doklady Akademii Nauk SSSR。151：501〜504。「誤って定式化された問題の解決と正則化方法」に翻訳されています。ソビエト数学。4：1035〜1038。

チホノフ自身がロシア語でこの作品の少なくとも一部を最初に書いたという印象を与えるので、「正規化」というフレーズは後の翻訳者によって造られた可能性があります。[更新：いいえ、"регуляризации" =正則化、Cagdas Ozgencのコメントを参照してください。]さらに、この作品は、ティホノフがはるかに長い期間にわたって行った一連の研究の一部のようです。たとえば、紙

ティホノフ、アンドレイ・ニコラエヴィッチ（1943）。「Обустойчивостиобратныхзадач」[逆問題の安定性について]。Doklady Akademii Nauk SSSR。39（5）：195–198。

彼は、少なくとも20年前に同じ一般的なトピックに従事していたことを示しています。しかし、このタイムラインは、おそらく逆問題の作業が1943年よりも1963年にはるかに近づいて始まったことを示唆しています。

[ 更新：1943年の論文のこの翻訳は、「逆問題の安定性（または逆マッピングの連続性）」を指すために「規則性」の用語がここで使用されたことを示しています。

私の貢献の2番目の部分は、この文脈で「正規化」が元々どのように意図されていたのかという仮説です。非常に一般的な「通常」は、特に曲線や表面のジオメトリを記述する際に、「スムーズ」の同義語として使用されます。ほとんどの地球物理学アプリケーションでは、望ましい解決策は空間的に分布したフィールドのグリッド推定であり、Tikhonov正則化は事前に滑らかさを課すために使用されます。

（通常、Tikhonov行列は、PDE行列に似た離散空間微分演算子 vsリッジ回帰の単位行列になります。これは、これらのグリッド/フォワードモデルでは、フォワードモデル行列のヌル空間に含まれる傾向があるためです。ペナルティを受けない限り結果を汚染する「チェッカーボードモード」など、これに似ています）。

更新：これらの問題は、こちらの回答で説明されています。

概要

1. また、私はチホノフにオリジネーターとして投票しました（おそらく1963年頃）
2. 元のアプリケーションは地球物理学的な逆モデリングであった可能性があるため、「正規化」という用語は、結果のマップ*をより滑らかにする、つまり「正規」にすることを指す場合があります。

（* 1943年の論文からの更新された引用に基づいて、このフレージングは​​本当のように見えます...しかし間違った理由のために！関連する「マップ」はグリッドとフィールドの間ではなく、でしたが、順モデルからの逆マッピングθ = F − 1 [ u ]。）$u[x]=F[\theta]$$\theta=F^{-1}[u]$

これは一部の回答であり、一部の長いコメントです。候補者の不完全なリスト：

1. ティホノフ、アンドレイ。「誤って定式化された問題の解決と正則化方法。」ソビエト数学。Dokl .. Vol。5. 1963. TikhonovはTikhonov正則化（リッジ回帰とも呼ばれます）で知られています。

2. 物理学には、少なくとも1940年代にまで遡る正則化の概念がありますが、ティホノフ正則化とは関係がありませんか？（私は物理学者ではありません。）

3. 工学テキストは、少なくとも1880年代に遡る（航行を改善するための）川の正則化について述べています。

http://books.google.comを検索すると、数学と物理の本の文脈で何度も何度も登場する1970年代まで、「正規化」という用語が広く使用されることはありません。

不良設定問題の解決策の束から、それがあるソリューションを選択した：それは技術の中核目標捕捉しているため、ほとんど単純に、この用語は、科学用語の自然な進化を生き延び定期的に、です、

規則に従って

（無料の辞書の定義）

これは、たとえば大工仕事で滑らかな表面を設計するための共通言語でも使用されます。同様に、再構築された信号の滑らかでないビットの合計変動（TV）を最小化すること（たとえば、勾配の合計エネルギーで測定される）をルールにすると、回帰問題の解はより規則的に見えます。

$\ell_0$