確率的プログラミングと「従来の」ML

私はPymcのgithubリポジトリを閲覧していて、このノートブックを見つけました。

変分推論：ベイジアンニューラルネットワーク

著者は、ベイジアン/確率的プログラミングの長所を称賛しますが、次に続けます：

残念ながら、分類や（非線形）回帰などの従来のML問題の場合、確率的プログラミングは、アンサンブル学習などのよりアルゴリズム的なアプローチ（ランダムフォレストや勾配ブースト回帰ツリーなど）に対して（精度とスケーラビリティに関して）2番目のフィドルを実行することがよくあります。 。

誰かが説明してください：

1. このステートメントが一般的に当てはまる場合
2. このステートメントが真実である理由

1. プロのデータサイエンティストとしての私の個人的な経験では、一般的にそうです。

2. それは私がほとんどの場合観察するものだからです。なぜこれがこのように発生するのかを質問する場合、いくつかの理由があります。

   1. 今日では、洗練されたアンサンブル法やニューラルネットワークなど、多くの従来のMLアルゴリズムが「既製」で利用可能です。確率論的手法では、StanなどのDSLで記述された、または直接汎用プログラミング言語で記述されたオーダーメイドのソリューションが依然として必要です。
   2. 今日データサイエンスに入る多くの人々は、工学および自然科学のバックグラウンドから来ています。彼らは、強力な数学および「アルゴリズム」のスキルを持っていますが、確率モデリングに関する経験や直感があまりありません。それは彼らのレーダーではありません、そして彼らはそれらを実装するために必要な方法とソフトウェアにそれほど慣れていません。
   3. 確率モデルから「ハード」予測を行うには、手を振るか、正式な決定理論を使用します。AIの研究者と高額な統計コンサルタントはこれを知っており、採用しています。しかし、ランクアンドファイルデータサイエンティストにとって、上司に相談して、分布と確率の観点から話を始めるのはそれほど簡単ではありません。ビジネス（またはあなたが構築している自動化システム）には、いまいましい答えが必要です。確率やものについて不平を言うのをやめれば、人生はずっと簡単になります。その場合、そもそもそれらを気にしない方がよいでしょう。
   4. 確率論的モデリングは、多くの場合非常に計算集約的であり、特に閉じた形のソリューションが稀な贅沢であるベイジアンモデリングであり、特に「大きな」データセットで二重になります。1,000万行のデータセットでXGBoostを実行することをためらわないでしょう。1,000万行のデータセットでStanモデルを実行することさえ考えていません。

上記のすべての欠点を考えると、データサイエンティストまたはデータサイエンティストの小さなチームは、確率論的ではない機械学習手法を使用してはるかに迅速に反復し、「十分な」結果を得ることができます。

編集：コメントで指摘されているように、＃1と＃2は両方とも、確率的プログラミング手法が実際の問題でノックアウトパフォーマンスを発揮することがまだ示されていないためである可能性があります。CNNは既存の技術を吹き飛ばしたため、人気が出ました。

編集2：時系列モデリングでは確率論が人気を博しているようで、ディープラーニングは他のドメインほど効果的ではないようです。

上記のShadowTalkerの、確率論的MLがまだ十分に機能していないという点に対抗することは、現状では間違いなく真実ですが、変革的推論が原因で、スケーラビリティと複雑さには、本当に最先端の研究が行われているため、非常に刺激的な進歩がありました。確率論的MLが従来の方法と同じパフォーマンスを提供できる場合、それらをそれらの方法よりも均一に好むかどうかについては、興味深い質問が残っていると思います。多くの方法で、PML推定事後で伝えられる情報は非常に多くなります。

上記の質問への答えに関係なく、私は2つの方法のセットが今後数年間で異なるニッチに住んでいると思います。おそらく、従来の方法はある程度のパフォーマンスの優位性を維持すると思いますが、問題の潜在的な変数（不明）を実際に心配している場合、PMLはその仕事に適したメカニズムになります。