最近のコロキウムでは、講演者の要約は、彼らが機械学習を使用していると主張しました。講演中、機械学習に関連する唯一のことは、データに対して線形回帰を実行することでした。5Dパラメーター空間で最適な係数を計算した後、あるシステムのこれらの係数を他のシステムの最適な係数と比較しました。

線形回帰の機械学習は、単に最適な線を見つけるのではなく、いつ行われますか？（研究者の抽象的な誤解を招くものでしたか？）

最近、機械学習が注目を集めているため、このような区別をすることが重要だと思われます。

私の質問はこれに似ていますが、その質問は「線形回帰」の定義を求めますが、私の質問は線形回帰（多数のアプリケーションを持っています）が適切に「機械学習」と呼ばれる場合を尋ねます。

明確化

線形回帰が機械学習と同じであるかどうかは問いません。一部の人が指摘したように、単一のアルゴリズムは研究分野を構成しません。使用しているアルゴリズムが単なる線形回帰であるときに、機械学習を行っていると言ってもいいのかどうかを尋ねています。

1つは、彼らがされていない場合、あなたの名前にいくつかの金の星を追加するために機械学習を行っていると言うことは非倫理的であるため、わきすべてのジョーク（コメントを参照してください）、私はこれを頼む理由の一つは、実際に機械学習を行います。（多くの科学者は自分の仕事に最適なラインを計算しますが、これは機械学習を行っているという意味ではありません。）一方、機械学習の一部として線形回帰が使用されている状況は明らかにあります。これらの状況を分類するのに役立つ専門家を探しています。;-)

質問で質問に答える：機械学習とは正確には何ですか？Trevor Hastie、Robert Tibshirani、Jerome Friedman in the Elements of Statistics Learning、Kevin P.Murphy in Machine Learning A Probabilistic Perspective、Christopher Bishop in Pattern Recognition and Machine Learning、Ian Goodfellow、Yoshua Bengio and Aaron Courville in Deep Learningなど他の機械学習「聖書」は、機械学習「アルゴリズム」の1つとして線形回帰に言及しています。機械学習は、部分的には適用される統計の流行語であり、統計と機械学習の区別はあいまいになることがよくあります。

線形回帰は、間違いなく機械学習で使用できるアルゴリズムです。しかし、reductio ad abdardum：Excelのコピーを持っている人は誰でも線形モデルに適合できます。

線形モデルに制限されている場合でも、機械学習を議論する際に考慮すべきことがいくつかあります。

• ビジネス上の問題に関する機械学習には、より多くのデータが含まれる場合があります。流行語を使用する場合は、「ビッグデータ」。データのクリーニングと準備には、実際のモデリングよりも多くの作業が必要になる場合があります。また、データの量が1台のマシンの処理能力を超えると、エンジニアリングの課題は統計の課題と同じくらい重要になります。（経験則：メインメモリに収まる場合、ビッグデータではありません）。
• 機械学習には、多くの場合、従来の統計モデルよりも多くの説明変数（機能）が含まれます。おそらく数十個、時には数百個でさえあり、そのうちのいくつかは多くのレベルを持つカテゴリー変数になります。これらの機能が潜在的に相互作用する可能性がある場合（クロスエフェクトモデルなど）、適合させる潜在的なモデルの数は急速に増加します。
• 機械学習の実践者は通常、個々の機能の重要性にあまり関心がなく、機能の組み合わせを使用して、モデルから可能な限り多くの予測力を絞り出すことに関心があります。（P値は予測ではなく説明に関連付けられています。）
• 多数の機能、およびそれらの機能を設計するさまざまな方法により、手作業によるモデル選択は実行不可能になります。私の意見では、機械学習の本当の課題は、機能の自動選択（機能エンジニアリング）とモデル仕様の他の側面です。線形モデルでは、これを行うさまざまな方法がありますが、通常はブルートフォースの変形です。ステップワイズ回帰、逆方向除去などが含まれますが、これらはすべてかなりの計算能力を必要とします。（2番目の経験則：手動で機能を選択する場合、機械学習ではなく統計を実行します）。
• 多くの機能を備えた多くのモデルを自動的に適合させる場合、過剰適合は重大な潜在的問題です。この問題に対処するには、多くの場合、何らかの形式の相互検証が必要です。

私の観点からの簡単な答えは、機械学習が従来の統計モデリングから逸脱するのは、特に大量のデータと多数の説明変数を持つドメインにおいて、モデル選択へのブルートフォースと数値的アプローチの適用であるということです、予測力に重点を置き、その後にモデル検証のための総当たり攻撃が続きます。

ミッチェルの定義は、一種の第一原理である機械学習の議論の土台となる有用な方法だと思います。ウィキペディアで再現されたとおり：

Pによって測定されるTのタスクでのパフォーマンスがエクスペリエンスEで向上する場合、コンピュータープログラムはタスクTとパフォーマンス測定Pのクラスに関してエクスペリエンスEから学習すると言われています。

これはいくつかの点で役立ちます。まず、あなたの直近の質問に答えます。回帰とは、あるアプリケーションの予測機能から推定値を提供することがタスクの場合の機械学習です。より多くのデータが発生するにつれて、平均二乗（または絶対値など）で測定されたエラーを抑えて、そのパフォーマンスが向上するはずです。

第二に、関連用語から機械学習を明確にし、マーケティングの流行語として使用するのに役立ちます。上記のタスクを、アナリストが重要な関係の係数を解釈する標準の推論回帰と比較してください。ここで、プログラムは要約を返します：係数、p値など。プログラムは経験を積んでこのパフォーマンスを改善するとは言えません。タスクは手の込んだ計算です。

最後に、導入学習（教師あり、教師なし）で一般的に使用される機械学習サブフィールドを、強化学習や密度推定などの他のフィールドと統合するのに役立ちます。（十分に考えれば、それぞれにタスク、パフォーマンス測定、および経験の概念があります。）それは、どちらかを不必要に削減することなく、2つのフィールドを線引きするのに役立つ、より豊かな定義を提供します。例として、「MLは予測のため、推論のための統計」は、教師あり学習以外の機械学習手法と、予測に焦点を当てた統計手法の両方を無視します。

キャビネットメーカーがバレルメーカーのノコギリを使用できないと言う法律はありません。

機械学習と統計はあいまいなラベルですが、明確に定義されていれば、統計と機械学習の間には多くの重複があります。そして、これは、これらの2つの分野の方法だけでなく、これら2つの分野で自分自身にラベルを付ける人々のために（そして別々に）行きます。しかし、数学に関する限り、機械学習は完全に統計の分野内にあります。

線形回帰は、非常に明確に定義された数学的手順です。私はそれを統計学の分野や、自分たちを「統計学者」と呼ぶ人々や、学術プログラムから出てくる人々と「統計学」のようなラベルを付ける傾向があります。SVM（サポートベクターマシン）も同様に非常に明確に定義された数学的手順であり、同様の入力と出力がいくつかあり、同様の問題を解決します。しかし、私はそれを機械学習の分野や自分自身をコンピューター科学者と呼ぶ人々、または人工知能や機械学習で働く人々をコンピューター科学の一部と見なされる傾向があると関連付ける傾向があります。

ただし、一部の統計学者はSVMを使用し、一部のAIの人々はロジスティック回帰を使用します。明確にするために、統計学者またはAI研究者が実際に実用化するよりもメソッドを開発する可能性が高くなります。

機械学習のすべての方法を統計の領域内に完全に配置しました。ディープラーニング、RNN、CNN、LSTM、CRFなどの最近のものでも。応用統計学者（生物統計学者、農学者）はそれらに精通していないかもしれません。これらはすべて、通常「機械学習」とラベル付けされた予測モデリング手法であり、統計に関連付けられることはめったにありません。しかし、それらは予測モデルであり、統計的手法を使用して判断できるという許容範囲があります。

最終的に、ロジスティック回帰は機械学習の一部と見なされる必要があります。

しかし、はい、私はこれらの言葉の誤用に対するあなたの嫌悪感を見て、しばしば共有します。線形回帰は統計と呼ばれるものの基本的な部分であるため、その使用を「機械学習」と呼ぶのは非常に奇妙で誤解を招くと感じています。

例を挙げると、ロジスティック回帰は、非表示ノードのないディープラーニングネットワークと数学的に同一であり、単一出力ノードのアクティベーション関数としてのロジスティック関数です。私はロジスティック回帰を機械学習法とは呼びませんが、機械学習のコンテキストで確実に使用されます。

それはほとんど期待の問題です。

A：「心臓手術後の病院への再入院を予測するために機械学習を使用しました。」

B：「ああ？ディープラーニング？ランダムフォレスト？!!？」

A：「ああ、いや、それほど空想的なものは何もない、ただロジスティック回帰。」

B：非常に失望した表情。

窓を水で洗うとき、量子化学を使っていると言っているようなものです。確かにそれは技術的に間違っているわけではありませんが、必要以上に多くのことを暗示しています。

しかし、実際には、それはまさに文化の違いと物質の違いです。単語の意味合いと人々のグループとの関連（LRは完全にMLではありません！）対数学とアプリケーション（LRは完全にMLです！）。

一般的な見解は、機械学習が4つの領域で構成されているということです。

1）次元削減

2）クラスタリング

3）分類

4）回帰

線形回帰は回帰です。モデルがトレーニングされると、ランダムフォレスト回帰などの他のモデルと同様に、予測に使用できます。

線形回帰は手法ですが、機械学習はさまざまな手段と手法で達成できる目標です。

したがって、回帰パフォーマンスは期待される直線/曲線にどれだけ適合するかによって測定され、機械学習は特定の問題を必要な手段で解決できるかどうかによって測定されます。

機械学習と統計的推論の違いは明らかだと主張します。つまり、機械学習= 将来の観測の予測。統計=説明。

興味のある分野（医薬品）の例を次に示します。薬剤を開発するとき、その薬剤で標的とすることを目標に、病気の状態を最もよく説明する遺伝子を検索します。そのために統計を使用します。対照的に、たとえば薬剤が患者に役立つかどうかを予測するなどの診断テストを開発する場合、目標は、多くの遺伝子を含み、理解するには複雑すぎる場合でも、将来の結果の最良の予測因子を厳密に見つけることです。この目的のために機械学習を使用します。薬物標的の存在が治療結果の良好な予測因子ではないこと、したがって区別を示す複数の公開例[1]、[2]、[3]、[4]があります。

これに基づいて、目標が将来/以前は見えなかった観測の結果を厳密に予測しているときに、機械学習を行っていると言ってもいいでしょう。目標が特定の現象を理解することである場合、それは機械学習ではなく統計的推論です。他の人が指摘したように、これは関係する方法に関係なく当てはまります。

あなたの質問に答えるために：あなたが説明する特定の研究では、科学者は異なる線形回帰モデルの因子の役割（重み）を比較し、モデルの精度を比較していませんでした。したがって、彼らの推論機械学習を呼び出すことは正確ではありません。

[1] Messersmith WA、アーネンDJ。結腸直腸癌におけるEGFRの標的化。ニューイングランドジャーナルオブメディシン; 2008; 359; 17。

[2] Pogue-Geile KL et al。NSABP試験B-31におけるアジュバントトラスツズマブの有益性の予測。J Natl Cancer Inst; 2013; 105：1782-1788。

[3] VemurafenibのPazdur R. FDA承認。 https://www.cancer.gov/about-cancer/treatment/drugs/fda-vemurafenib。2013年7月3日更新。

[4] Ray T. 2つのASCOの研究は、NSCLC薬物試験で予測マーカーとしてMETシグナル伝達を使用することの課題を示しています。GenomeWeb、2014年6月11日。

一般に、線形回帰の機械学習を呼び出すと、問題の解決方法に関するいくつかの重要なことを意味するため、この方法は便利です。

1. 説明変数の背後にある因果的な仮定と事前の理論を確認する必要はないと判断しました。モデルが説明するためではなく、予測するためのものではないことを示しています。これは、キーワードに基づいて電子メールスパムを予測するなど、多くの設定で完全に合理的です。単語がスパムを予測する文献はあまり多くありません。また、各単語の理論的な重要性を考えるのは理にかなっていないほど多くの単語があります。
2. 変数の有意性を確認したり、p値を使用したりしませんでしたが、代わりにホールドアウトセットまたはクロス検証を選択して、サンプル外の予測パフォーマンスを評価しました。メールスパムの例に戻りますが、これは、従来の有意性テストに合格しない可能性のある変数を含めることを犠牲にして、スパムを効果的に予測するモデルを作成することだけが本当に重要な場合です。

ただし、モデルが予測よりも説明することを意図しており、モデルの理論的な因果的仮定などを厳密に確認する場合は、機械学習と呼ぶのはかなりばかげています。

確かに、この質問に対する答えは客観的な事実よりも意見ですが、なぜ答えが決してないと思うのか、私の論理を説明しようと思います。いわゆる機械学習の専門家やインストラクターは、線形回帰を表現することによって、彼らの無知を明らかにするだけです。

学問分野の描写は、方法よりもコミュニティの描写に関するものです。科学の分野では、あらゆる分野の手法を常に取り入れています。また、19世紀（線形回帰が開発されたとき）およびそれ以前は、科学分野は今日ほど明確に描写されていませんでした。したがって、特に19世紀以前にメソッドが開発されたときは、特定の分野にそれらを割り当てるように注意する必要があります。

とはいえ、ある分野の歴史を見ると、特定の方法はある分野に「属している」と合理的に結論付けることができます。微積分学の発明者の一人であるニュートンがこれを物理学に確実に適用しようとしても、微積分学が物理学の分野に属するとは今日誰も言いません。微積分学は明らかに物理学ではなく数学の分野に属します。これは、微積分が物理コンテキストの外で完全に使用できる一般的な数学的方法だからです。

同じ理由で、線形回帰は、機械学習のコンテキストでモデルにデータをフィッティングする単純な例として一般的に使用されていますが、統計学の分野に属します。微積分が物理学のコンテキストの外で使用できるように、線形回帰は機械学習のコンテキストの外で使用できます（そして使用されます）。

機械学習のインストラクターは、現代の機械学習の概念が生まれるずっと前の19世紀後半から線形回帰が使用されていることを指摘するのが賢明でしょう。また、機械学習では、他の分野（情報理論など）と同様に、確率と統計から多くの概念を利用することを強調する必要があります。ただし、これらの概念自体は、機械学習または機械学習の「アルゴリズム」を表すものではありません。

バカな機械だ！

私は統計学者でもビッグデータの専門家でもありません。しかし、本質的な違いは、「機械学習」には「機械」が必要だということです。特に、代理店を意味します。結果は、人間によってゆっくりと消費されることはありません。むしろ、結果はクローズドサイクルへの入力となり、自動化システムがパフォーマンスを向上させます。

クローズドシステム

これはショーン・イースターの答えと非常に一致していますが、私は、商業的なアプリケーションでは、機械が結果を見て、それらに作用していることを強調したいと思います。典型的な例は、Netflix Prizeの対象となったCineMatchアルゴリズムです。人間はCineMatchの出力を見て、映画視聴者に関する興味深い機能を学ぶことができます。しかし、それが存在する理由ではありません。CineMatchの目的は、Netflix サーバーが顧客に楽しめる映画を提案できるメカニズムを提供することです。統計モデルの出力はリコメンダーサービスに送られ、顧客が映画を評価するにつれて最終的にはより多くの入力が生成されます。その一部はCineMatchのアドバイスに基づいて選択されました。

オープンシステム

一方、研究者がアルゴリズムを使用して、他の人間へのプレゼンテーションに表示される統計結果を生成する場合、その研究者は機械学習にほとんど関与していません。これは、明らかに私にとって、人間の学習です。分析はマシンによって実行されますが、それ自体は学習を行っているマシンではありません。現在、人間の脳がサンプル入力のすべてを経験せず、「生物学的」に統計結果を導き出したという程度の「機械学習」です。しかし、これはまさに統計学者がフィールドが発明されてからやってきたことだからです。

結論

したがって、この質問には「結果を消費するのは誰ですか？」答えが「人間」の場合、それは「統計」です。答えが「ソフトウェア」の場合、それは「機械学習」です。そして、「ソフトウェアが結果を消費する」と言うとき、後で検索するためにそれをどこかに保存するという意味ではありません。閉ループの結果によって決定される動作を実行することを意味します。

私の意見では、あるデータを使用してあるモデルのパラメーターを推測するように機械がプログラムされている場合、機械学習について話すことができます。

線形回帰が機械によって行われた場合、それは適格です。

手で行う場合は、そうではありません。

私の意見では、何らかのエージェント（Excelなど）の普及、または反復的な改善（ショーンイースターが上記で示唆しているように）に依存する定義は、何らかの形で統計から分離しようとするか、結果の処理方法に応じて一貫性がないことが判明します。