何を使用するか-機械学習[終了]

最近、UPC / BarcelonaのOriol Pujol教授の機械学習クラスで、広範な機械学習関連タスクに使用する最も一般的なアルゴリズム、原理、および概念について説明しました。ここでそれらをあなたと共有し、あなたに尋ねます：

• タスクをさまざまなタイプの機械学習関連の問題に関連するアプローチまたは方法と一致させる包括的なフレームワークはありますか？

単純なガウスをどのように学習しますか？ 確率、確率変数、分布; 推定、収束および漸近、信頼区間。

混合ガウス分布（MoG）を学習するにはどうすればよいですか？尤度、期待値最大化（EM）; 汎化、モデル選択、相互検証。k平均、隠れマルコフモデル（HMM）

密度を知るにはどうすればよいですか？パラメトリック対非パラメトリック推定、ソボレフおよびその他の機能空間。ĺ2エラー; カーネル密度推定（KDE）、最適カーネル、KDE理論

連続変数（回帰）を予測するにはどうすればよいですか？線形回帰、正則化、リッジ回帰、およびLASSO。局所線形回帰; 条件付き密度推定。

離散変数（分類）を予測するにはどうすればよいですか？ベイズ分類器、単純ベイズ、生成的vs識別的; パーセプトロン、重量減衰、線形サポートベクターマシン。最近傍分類器と理論

どの損失関数を使用する必要がありますか？最尤推定理論; l -2推定; ベイジアン推定; ミニマックスと決定理論、ベイジアン主義対頻度主義

どのモデルを使用する必要がありますか？AICおよびBIC; Vapnik-Chervonenskis理論; 交差検証理論; ブートストラップ; おそらく近似修正（PAC）理論。Hoeffdingから派生した境界

より複雑な（組み合わせた）モデルを学習するにはどうすればよいですか？アンサンブル学習理論; ブースティング; バギング; スタッキング

奇抜な（非線形）モデルを学習するにはどうすればよいですか？一般化線形モデル、ロジスティック回帰。コルモゴロフの定理、一般化された加法モデル。カーネル化、カーネルヒルベルト空間の再現、非線形SVM、ガウス過程回帰

より複雑な（構成的）モデルを学習するにはどうすればよいですか？再帰モデル、決定木、階層的クラスタリング; ニューラルネットワーク、逆伝播、深い信念ネットワーク。グラフィカルモデル、HMMの混合、条件付きランダムフィールド、最大マージンマルコフネットワーク。対数線形モデル; 文法

機能を削減または関連付けるにはどうすればよいですか？特徴選択対次元削減、特徴選択のためのラッパーメソッド; 因果性対相関、偏相関、ベイズネット構造学習

新しい機能を作成するにはどうすればよいですか？主成分分析（PCA）、独立成分分析（ICA）、多次元スケーリング、多様体学習、教師あり次元削減、計量学習

データを削減または関連付けるにはどうすればよいですか？クラスタリング、バイクラスタリング、制約付きクラスタリング。アソシエーションルールとマーケットバスケット分析; ランキング/序数回帰; リンク分析; リレーショナルデータ

時系列をどのように扱うのですか？ARMA; カルマンフィルターと統計空間モデル、粒子フィルター。機能データ分析; 変化点検出; 時系列の相互検証

理想的でないデータをどのように扱うのですか？共変量シフト; クラスの不均衡。欠損データ、不規則にサンプリングされたデータ、測定エラー。異常検出、堅牢性

パラメータを最適化するにはどうすればよいですか？制約なし対制約付き/凸最適化、導関数のない方法、1次および2次の方法、バックフィット; 自然な勾配; バウンド最適化とEM

線形関数を最適化するにはどうすればよいですか？計算線形代数、回帰のための行列反転、次元削減のための特異値分解（SVD）

制約を使用して最適化するにはどうすればよいですか？凸、ラグランジュ乗数、Karush-Kuhn-Tucker条件、内点法、SVMのSMOアルゴリズム

深くネストされた合計を評価するにはどうすればよいですか？正確なグラフィカルモデルの推論、合計の変分境界、近似グラフィカルモデルの推論、期待値の伝播

多額の金額と検索を評価するにはどうすればよいですか？一般化されたN体問題（GNP）、階層データ構造、最近傍検索、高速多重メソッド; モンテカルロ積分、マルコフ連鎖モンテカルロ、モンテカルロSVD

さらに大きな問題をどのように処理しますか？並列/分散EM、並列/分散GNP; 確率的亜勾配法、オンライン学習

これらすべてを現実の世界にどのように適用しますか？MLの各部分の概要、各タスクに使用する方法、事前知識、前提条件の選択。探索的データ分析と情報の視覚化; 信頼区間と仮説検定、ROC曲線を使用した評価と解釈。MLの研究問題は

@geogafferに同意します。これは確かに非常に良いリストです。しかし、このリストには現在策定中の問題がいくつかあります。例えば、1つの問題は、提案ソリューションが異なるのであるということである粒度レベル -そのうちのいくつかは、表現するアプローチ - 、いくつかの方法で、いくつかの- アルゴリズム、および他のいくつかの-ちょうど概念（つまり、用語話題のドメイン用語の中に）。さらに、これは上記よりもはるかに重要であると考えています-リスト内のすべてのソリューションが統一されたテーマ統計フレームワーク内に配置されていれば、非常に価値があると思います。このアイデアは、リサ・ハーロウの著書「多変量思考の本質」を読んで触発されました。したがって、最近、StackExchangeのCross Validatedサイトで、現在は多少制限されていますが、対応する議論を開始しました。タイトルがあなたを混乱させないでください-私の暗黙の意図と希望は、前述のように、統一されたフレームワークを構築することです。

それは多くを網羅した良いリストです。機械学習と呼ばれる前からこれらのメソッドの一部を使用してきましたが、リストされているメソッドの一部は、時間の経過とともに使用されたり、使用されなくなったりすることになるでしょう。メソッドがあまりにも長い間支持されていなかった場合は、再訪の時間になるかもしれません。いくつかの方法は、さまざまな研究分野から生じるさまざまな名前の背後にある難読化することができます。

これらの方法を使用した主な分野の1つは、鉱物ポテンシャルモデリングです。これは地理空間であり、空間データメソッドおよび指向データメソッドに関連するいくつかのカテゴリを追加できることをサポートします。

特定のフィールドに広範な質問をすることは、包括的なリストにないメソッドの例がもっと見つかる場所です。たとえば、鉱物のポテンシャルで私が見た2つの方法は、後方段階的回帰と証拠の重みモデリングです。私は統計学者ではありません。おそらく、これらは線形回帰とベイジアン法のリストに含まれていると考えられます。

あなたのアプローチは少し後方にあると思います。

「このデータに適合したガウス分布の平均とは何ですか？」問題文ではないので、「ガウス分布をどのように適合させるのですか？」実際に解決したい問題ではありません。

違いは意味だけではありません。「新しい機能をどのように構築するのか」という質問を考えてください。インデックスを作成することが目標の場合、何らかのタイプの因子分析を使用できます。線形モデルを近似する前に単純に機能空間を縮小することが目標である場合は、ステップを完全にスキップして、代わりにElastic Net回帰を使用することがあります。

より良いアプローチは、取り組むことができるようにしたい実際のデータ分析タスクのリストをコンパイルすることです。次のような質問：

顧客がショッピングWebサイトに戻るかどうかを予測するにはどうすればよいですか？

「主要な」消費者のショッピングパターンがいくつあるか、どのように知ることができますか？

オンラインストアのさまざまなアイテムの「ボラティリティ」のインデックスを作成するにはどうすればよいですか？

また、現在のリストには膨大な量の資料が含まれています。「レビュー」して表面レベル以上の理解を得るにはあまりにも多すぎます。実際の目的を念頭に置くと、優先順位を整理するのに役立ちます。