「モデルを学ぶ」という用語はどこから来たのですか

ここのデータマイナーがこの用語を使用することをよく耳にします。分類の問題に取り組んだ統計学者として、「分類子を訓練する」という用語をよく知っており、「モデルを学習する」と同じことを想定しています。「分類子を訓練する」という言葉は気にしません。これは、トレーニングデータを使用してモデルパラメータの適切な「改善された」推定値を取得するため、モデルの当てはめのアイデアを描いているようです。しかし、それは知識を得るための手段を学ぶでしょう。わかりやすい英語で「モデルを学ぶ」とは、それが何かを知ることを意味します。しかし、実際にはモデルを「知る」ことはありません。モデルは現実に近似していますが、正しいモデルはありません。それはボックスが「モデルは正しくないが、いくつかは有用である」と言ったようです。

データマイナーの応答を聞きたいです。この用語の由来は？それを使うなら、なぜそれが好きですか？

その起源は人工ニューラルネットワークの研究コミュニティにあると思います。ニューラルネットワークは、人間の脳で発生するのと同様の方法でシナプスの重みを変更してデータのモデルを学習していると考えることができます。経験。私の研究のキャリアは人工ニューラルネットワークで始まったので、このフレーズを時々使用します。

おそらく、モデルが方程式ではなくモデルのパラメータにエンコードされていると考える方が理にかなっています。同じように、メンタルモデルはパラメータのセットほど脳の特定可能な物理的コンポーネントではありません。一部のニューロンの設定。

メンタルモデルが必ずしも正しいという意味もないことに注意してください。

用語は人工知能ではかなり古いです。チューリングは、1950年にマインドで発表した「コンピューティング機械と知能」の論文で「学習機械」に関する長いセクションを取り上げ、教師あり学習を定性的にスケッチしています。ローゼンブラットの元の論文：パーセプトロン： 1958年に発表された脳の情報ストレージと組織化のための確率論的モデルは、「数学の学習モデル」について広く語っています。ここでパーセプトロンは「学習のモデル」でした。モデルは「学習」されませんでした。

ピッツアンドマッカロー1943年の論文-元の「ニューラルネットワーク」論文-は、実際には学習に関心がなく、論理的計算（ヒルベルトシステムやゲンツェンシステムなど）をどのように構築できるかについては触れていません。推論を実行できます。この伝統における学習の象徴的な概念とは対照的に、数値を紹介したのは「パーセプトロン」の論文だったと思います。

機械が例からチェスのやり方を学ぶことは可能ですか？はい。チェスをするためのモデルはありますか？はい。それは最適なモデルですか（存在する場合）。ほとんど間違いなくそうではありません。わかりやすい英語では、チェスを上手くプレイできるかどうか、またはかなりうまくできていれば、「チェスを学びました」。それは私が最適なチェスプレイヤーだという意味ではありません。これは、チューリングが論文でチェスの学習について議論したときにチューリングが「学習」について説明していた感覚です。

使用している用語に一貫性がない。つまり、（たとえば）限界学習については「識別」、SVM学習については「トレーニング」、MCMC-「学習」については「最適化」と言います。そして例えば私は単に回帰を「回帰」と呼びます。

Bioplausible Machine Learningの研究者として、「モデルは正しくないが、一部は有用である」ことに強く同意します。実際、モデルと形式は、問題の最適化について話している著者が使用しているときに、問題が発生しているときに強く失敗します。はモデルを最適化しています。つまり、そのパラメータ空間を探索し、ローカルまたはうまくいけばグローバル最適を見つけます。これは一般的に実際の問題に最適ではありません。通常、モデルの作成者は正しい用語を使用し、すべての仮定を公開しますが、ほとんどのユーザーは、ほとんどの場合保持されないことが知られている仮定を無視し、「学習」、「最適化」、および「パラメータ化」。

モデルのこの最適なパラメーター化は、機械学習、特に教師付き機械学習で意味があると思いますが、「モデルを学習する」という話をよく聞いたとは言えませんが、それは起こります。モデルをトレーニングすると、コンピューターはモデルのパラメーターを学習します。教師なし学習であっても、「学習」はほとんどの場合モデルのパラメータ化であり、「モデルの学習」はモデルの最適なパラメータ化であることが望ましいです（ただし、パラメータ空間を検索するさまざまな方法で、さまざまな解決策が見つかる場合もあります同じことを最適化します）。「モデルのトレーニング」を実際に使用したい

実際、私の研究のほとんどは、より良いモデル、またはより計算的かつ認知的/生物学的/生態学的にもっともらしいモデルを発見するという観点からモデルを学習することです。