'69年のデータから学ぶ一般的な最先端技術


16

私は、ニューラルネットワークにとって非常に重要な1969年の有名なミンスキーとペーパーの本「パーセプトロン」の文脈を理解しようとしています。

私が知る限り、パーセプトロンを除いて、他の一般的な教師あり学習アルゴリズムはまだありませんでした。決定木は実際には70年代後半にのみ有用になり始め、ランダムフォレストとSVMは90年代です。ジャックナイフ法はすでに知られているようですが、k-cross validation(70s)やbootstrap(1979?)ではありません。

ウィキペディアによると、ハイブリッド理論を説明する最初の試みはすでに40年代にあったにもかかわらず、ネイマンピアソンとフィッシャーの古典的な統計フレームワークは50年代にはまだ意見の相違がありました。

したがって、私の質問:データから予測する一般的な問題を解決するための最先端の方法は何でしたか?


6
ロジスティック回帰は、今日の70年代後半に使用され始めました。Cramer、JS(2002)を参照してください。「ロジスティック回帰の起源」、p。12、papers.tinbergen.nl/02119.pdf
ティム

線形回帰はおそらく「一般的な教師あり学習アルゴリズム」であり、1800年代初期に発生しました。プロビット回帰は、少なくとも何らかの形で、明らかに1930年代に発生しました。ここで特に「ジェネリック」とは何かを意味しますか?
ドゥーガル

@Dougal:「特定の問題を解決するために設計された」とは対照的に、「さまざまな分野の多数の問題に適用できることがわかった」。60年代に統計学者やAI科学者がどの方法を使用するかを理解しようとしていますしたがって、より複雑なツールを探すことは正当化されます。たとえば、ランダムフォレストはそのようなアルゴリズムの1つになりました。さまざまなフィールドの多くのデータセットで適切に機能します。
リオリ

ええ、確かに。プロビット回帰は、実際にはおそらく元のパーセプトロンよりも優れた汎用分類モデルであることに注意する価値があります。当時それがそのように使用されていたかどうかはわかりません。当時のパーセプトロンは、当時のコンピューターに対してプロビットよりも拡張性の高いSGDに似た最適化アルゴリズムがバンドルされていたため、当時は異なると考えられていましたが、もちろん今日ではこれらの選択肢は独立していることがわかります。
-Dougal

1
トピックにまだ興味がある人のために:私は、60年代のパーセプトロン論争のテーマに関する科学分野の社会学からの興味深い研究を見つけました:オラザラン、「パーセプトロン論争の公式史」。このテキストはここで述べた質問に答えるものではありませんが、ミンスキーとペーパーの本の社会学的背景を提供します。
-liori

回答:


12

私はこれに興味があったので、掘り下げました。多くの一般的な分類アルゴリズムの認識可能なバージョンが1969年頃にすでに利用可能であったことに私は驚いた。リンクと引用を以下に示します。

AIの研究が常に分類に焦点を当てているわけではないことに注意してください。もはや流行していない計画と象徴的な推論に多くの関心があり、ラベル付きデータを見つけるのははるかに困難でした。これらの記事のすべてが広く利用可能になったわけではありません。たとえば、SVMのプロトタイプの作品はほとんどロシア語で公開されていました。したがって、これは1969年に平均的な科学者が分類についてどれだけ知っていたかを過大評価する可能性があります。


判別分析

1936記事における優生年報、フィッシャーは、それらの花弁とがく片の寸法に基づいて、アイリスの花3種を区別する線形関数を求めるための手順を記載しています。その論文は、フィッシャーがエジプトで発掘された人間の下顎(顎骨)の性別を予測するために、E.S MartinおよびKarl Pearson(jstor)との共同で、および別の頭蓋測定プロジェクトですでに同様の手法を適用したことを言及していますミス・ミルドレッド・バーナード(私は追跡できませんでした)。

ロジスティック回帰

ロジスティック関数自体は19世紀から知られていますが、主に人口増加や生化学反応などの飽和プロセスのモデルとして知られています。TimはJS Cramerの上記の記事にリンクしています。これは初期の素晴らしい歴史です。ただし、1969年までに、コックスは Analysis of Binary Dataのオリジナルは見つかりませんでしたが、後のエディションには、ロジスティック回帰を使用した分類の実行に関する章全体が含まれています。例えば:

y=01バツyy ....

k最近傍

kk

ニューラルネットワーク

ローゼンブラットは、公開された技術レポート 1957年パーセプトロンを記述をし、それをフォローアップブックニューロの原則によって、仕事を含め、1960年代初頭以来の周りされているバックプロパゲーションの1962年連続のバージョンでは、ケリー、ブライソン、とに改訂ブライソン&ホー( 1975年、しかし元は1969年から。しかし、それは少し後まで、ニューラルネットワークに適用され、そして非常に深いネットワークを訓練するための方法がはるかに最近ですいませんでした。この深い学習上のスカラーペディアの記事は、より多くの情報を持っています。

統計的方法

分類にベイズの規則を使用することは何度も発見され、再発見されたのではないかと思われます。これは規則自体のかなり自然な結果です。信号検出理論は、特定の入力が「信号」であるかノイズであるかを決定する定量的フレームワークを開発しました。その一部は第二次世界大戦後のレーダー研究から生まれましたが、知覚実験に迅速に適応しました(例:Green and Swets)。予測変数間の独立性を仮定することでうまくいくことを誰が発見したかはわかりませんが、この記事で要約したように、1970年代初期からの仕事がこのアイデアを活用していたようです。ちなみに、この記事は、ナイーブベイズがかつて「バカベイズ」と呼ばれていたことも指摘しています。

サポートベクターマシン

1962年、VapnikとChervonenkisは、「一般化ポートレートアルゴリズム」(ひどいスキャン、申し訳ありません)について説明しました。Chervonenkisは、「サポートベクターマシンの初期の歴史」というタイトルの記事を執筆し、これとそのフォローアップ作業について詳細に説明しています。カーネルトリック(内部製品としてのカーネル)は、1964年にAizerman、Braverman、およびRozonoerによって説明されました。svms.orgは、ここでサポートベクターマシンの歴史についてもう少し詳しく説明しています


2
時系列分析もいくつかの興味深い問題を解決していました。ARMAおよびKalmanフィルターは、50年代および60年代にかなりの燃費を実現しました。
EngrStudent-モニカの復活

1
面白い!それやその歴史についてはあまり知りませんが、もしあなたが答えを書いたら喜んで賛成します!
マットクラウス

3

免責事項:この答えは不完全ですが、今のところそれを最新にする時間はありません。今週後半に取り組んでみたいと思っています。


質問:
1969年頃のデータから予測する属の問題を解決する最新の方法は何でしたか?

注:これは、「マットクラウス」による優れた答えを繰り返すつもりはありません。

「最新技術」とは「最良かつ最新」を意味しますが、業界標準としての実践に必ずしも限定されるものではありません。対照的に、米国特許法は、「当業者」によって定義されている「非自明」を探しています。1969年の「最先端」は、今後10年間で特​​許になりそうでした。

1969年の「最良かつ最も明るい」アプローチがECHELONでの使用のために使用または評価された可能性が極めて高い(1) (2)。また、他の、非常に数学的に可能な時代の超大国、ソ連の評価にも表示されます。(3) 衛星の製造には数年かかるため、通信、テレメトリ、偵察衛星の今後5年間の技術やコンテンツが1969年の技術水準を示すことも期待されます。 Meteor-2気象衛星は1967年に開始され、1971年に予備設計が完了しました。(4) 分光および化学量論のペイロードエンジニアリングは、その日のデータ処理能力と、想定される「近未来」のデータ処理によって通知されます。この種のデータの処理は、期間のベストプラクティスを探す場所です。

「Journal of Optimization Theory and Applications」の閲覧は数年前から行われており、その内容にアクセスできます。 (5)最適な推定量の この(6)評価、および再帰推定量のこの評価を検討してください。(7)

1970年代に開始されたSETIプロジェクトは、当時の技術に合うように古い低予算の技術と技術を使用していた可能性があります。探査早期 SETI技術は、周りの1969年ワン有力候補をリードすると考えられていたものにも話すことができる「とprecurserあるスーツケースSETI」。「スーツケースSETI」はDSPを使用して、約130kの狭帯域チャネルに自己相関レシーバーを構築しました。SETIの人々は、特にスペクトル分析の実行を検討していました。このアプローチは、最初にオフラインでAriceboデータを処理するために使用されました。その後、1978年にアリセボ電波望遠鏡に接続され、ライブデータと結果が同じ年に公開されました。実際のSuitecase-SETIは1982年に完成しました。(リンク) プロセスを示すブロック図です。

アプローチは、チャープの処理やドップラーシフトのリアルタイム補正などの帯域幅セグメントを検索するために、オフラインの長フーリエ変換(〜64kサンプル)を使用することでした。このアプローチは「新しくない」ものであり、以下を含む参照が提供されています。たとえば、

A. G. W. Cameron, Ed., 
In- terstellar Communication 
(Benjamin, New York,1963); 

I. S. Shklovskii and C. Sagan, 
In-telligent Life in the Universe 
(Holden-Day, San Francisco, 1966); 

C. Sagan, Ed., 
Communication with Extraterrestrial Intelligence 
(MIT Press, Cambridge, Mass., 1973); 
P. Morrison, J.

B. M. Oliver and J. Billingham, 
"Project Cyclops: A Design Study of a System for Detecting Extraterrestrial Intelligent Life," 
NASA Contract. Rep. CR114445 (1973). 

当時人気があった次の状態の予測に使用されるツールには、次のようなものがあります。

  • カルマン(および微分)フィルター(ワイナー、ビュシー、非線形...)
  • 時系列(および微分)メソッド
  • フィルタリングと増幅を含む周波数領域法(フーリエ)

一般的な「キーワード」(または流行語)には、「随伴、変分、勾配、最適、二次、および共役」が含まれます。

カルマンフィルターの前提は、実世界のデータと分析および予測モデルとの最適な混合です。彼らは、ミサイルのようなものを動く標的に当てるために使われました。


それを書いてくれてありがとう-私はあなたが取ったアプリケーション駆動型のアプローチが好きです!
マットクラウス

@MattKrause-まだ少し入れます。この場合、アプリケーション駆動型のアプローチが「数学の考古学」に役立つと考えました。様子を見よう。この仕事により、私は「スーツケース-SETI」を構築し、それを使用して人生のために私の人間の環境を見回して、50年のツールが何をしていたのかを知ることができます。
EngrStudent-モニカの復活
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.