パラメーターを推定するための機械学習の「基本的な」アイデアとは何ですか？

パラメーターを推定するための統計の「基本的な」考え方は、最尤法です。機械学習の対応するアイデアは何だろうと思っています。

Qn 1.パラメーターを推定するための機械学習の「基本的な」アイデアは、「損失関数」であると言ってもいいでしょうか。

[注：機械学習アルゴリズムは損失関数を最適化することが多いため、上記の質問が印象的です。]

Qn 2：統計と機械学習のギャップを埋めようとする文献はありますか？

[注：おそらく、損失関数を最尤法に関連付けることによって。（たとえば、OLSは正規分布エラーなどの最尤と同等です）]

統計が尤度の最大化に関するものであれば、機械学習は損失の最小化に関するものです。将来のデータで生じる損失がわからないため、近似、つまり経験的損失を最小限に抑えます。

たとえば、予測タスクがあり、誤分類の数によって評価される場合、結果のモデルがトレーニングデータで最小数の誤分類を生成するようにパラメーターをトレーニングできます。「誤分類の数」（つまり、0-1損失）は微分できないため、扱いにくいハード損失関数です。したがって、滑らかな「代理」で近似します。たとえば、ログ損失は0-1損失の上限であるため、代わりにそれを最小化できます。これは、データの条件付き尤度を最大化するのと同じであることがわかります。パラメトリックモデルでは、このアプローチはロジスティック回帰と同等になります。

構造化モデリングタスクおよび0〜1の損失のログ損失近似では、最大条件付き尤度とは異なるものが得られ、代わりに（条件付き）限界尤度の積が最大化されます。

損失のより良い近似を得るために、人々は損失を最小化するためのトレーニングモデルと、その損失を将来の損失の推定値として使用することは過度に楽観的な推定値であることに気付きました。そのため、より正確な（真の将来損失）最小化のために、経験的損失にバイアス補正項を追加し、それを最小化します。これは、構造化リスク最小化と呼ばれます。

実際には、正しいバイアス補正項を見つけるのは非常に難しい場合があるため、バイアス補正項の「精神で」という表現、たとえばパラメーターの2乗和を追加します。最終的に、ほとんどすべてのパラメトリック機械学習の教師付き分類アプローチは、モデルをトレーニングして以下を最小化します

$\sum_{i} L(\textrm{m}(x_i,w),y_i) + P(w)$

ここで、はベクトルwでパラメーター化されたモデル、iはすべてのデータポイント{ x i、y i }で取得され、Lは真の損失の計算上適切な近似値、P （w ）はバイアス補正/正規化項です$\textrm{m}$$w$$i$$\{x_i,y_i\}$$L$$P(w)$

あなたの場合、例えば、、Y ∈ { - 1 、1 }、典型的なアプローチができるようになり、M（xは）= 符号（W ⋅ X ）、L （M（X ）、Y ）= - ログ（Y × （X ⋅ W ））、P $x \in \{-1,1\}^d$$y \in \{-1,1\}$$\textrm{m}(x)=\textrm{sign}(w \cdot x)$$L(\textrm{m}(x),y)=-\log(y \times (x \cdot w))$、および選択 Qをクロスバリデーションによって$P(w)=q \times (w \cdot w)$$q$

項目別に答えます。議論の余地はありませんが、オンデマンドでより多くの引用を提供できます。

• 統計は（ログ）尤度を最大化することだけではありません。それは、適切なモデルを通じて後輩を更新したり、信念を広めたりする原則的なベイジアンにとっては忌み嫌いです。
• 多くの統計は、損失の最小化に関するものです。機械学習もたくさんあります。経験的損失の最小化は、MLでは異なる意味を持ちます。明確で物語的な視点については、Vapnikの「統計学習の性質」をご覧ください
• 機械学習は、損失の最小化だけではありません。まず、MLには多くのベイジアンがいるためです。第二に、MLの多くのアプリケーションが時間学習と近似DPに関係しているためです。確かに、目的関数がありますが、「統計」学習とは非常に異なる意味を持っています。

フィールド間にギャップはないと思います。多くの異なるアプローチがあり、すべてがある程度重複しています。私はそれらを明確に定義された相違点と類似点を持つ体系的な分野にする必要性を感じていません。

十分な評判がないため、コメント（このコメントの適切な場所）を投稿することはできませんが、質問の所有者がベストアンサーとして受け入れた回答はポイントを逃します。

「統計が尤度の最大化に関するものであれば、機械学習は損失の最小化に関するものです。」

尤度は損失関数です。尤度の最大化は、損失関数の最小化と同じです。逸脱は、対数尤度関数のちょうど-2倍です。同様に、最小二乗解を見つけることは、残差平方和を表す損失関数を最小化することです。

MLと統計の両方は、アルゴリズムを使用して、ある関数の（最も広い用語での）データへの適合を最適化します。最適化には必然的に損失関数の最小化が伴います。

些細な答えがあります-機械学習にはパラメーター推定はありません！私たちのモデルがいくつかの隠された背景モデルと同等であると仮定しません。現実とモデルの両方をブラックボックスとして扱い、モデルボックス（公式用語のトレーニング）を揺らして、出力が現実のボックスの出力と同様になるようにします。

尤度だけでなく、トレーニングデータに基づいたモデル全体の選択の概念は、未定義のデータの精度（定義されているもの、原則として望ましい使用の良さ）を最適化することによって置き換えられます。これにより、精度とリコールの両方を組み合わせて最適化できます。これは、学習者のタイプに応じて異なる方法で達成される一般化する能力の概念につながります。

質問2への答えは、定義に大きく依存します。それでも、ノンパラメトリック統計はこの2つをつなぐものだと思います。

Machine Learningのパラメーター推定に関する基本的な考え方はないと思います。MLクラウドは、アルゴリズムが効率的であり、「正確に」予測する限り、可能性または事後確率を喜んで最大化します。焦点は計算にあり、統計からの結果は広く使用されています。

一般的な基本的なアイデアを探している場合、計算学習理論ではPACが中心です。統計的学習理論では、構造的リスクの最小化。他の領域もあります（たとえば、ジョンラングフォードによる予測科学の投稿を参照してください）。

ブリッジング統計/ MLでは、格差は誇張されているようです。「2つの文化」の質問に対する gappyの答えが好きでした。

負の対数尤度として損失を定義することにより、尤度最大化問題を損失最小化問題として書き直すことができます。尤度が独立した確率または確率密度の積である場合、損失は独立した項の合計となり、効率的に計算できます。さらに、確率変数が正規分布している場合、対応する損失最小化問題は最小二乗問題になります。

尤度最大化を書き直して損失最小化問題を作成できる場合、これは損失最小化問題をゼロから作成することを好むはずです。理論的に設立され、アドホックではありません。たとえば、通常は値を推測する必要のある重み付き最小二乗などの重みは、元の尤度最大化問題を書き換えるプロセスから単純に現れ、すでに（できれば）最適な値を持っています。