機械学習を使用して関数を探索および補間しますか?


7

滑らかな多変量関数「学習」または補間しようとする一般的な機械学習方法には、学習プロセス(探索)中に関数が評価されるポイントを実際に選択する方法がありますか。

各関数の評価は多かれ少なかれコストがかかり、アルゴリズムは知識の利得が最大である空間の領域を探索することを学習するという考え方になります(関数の評価のコストに対して)。最も興味深いケースでは、関数は分析的でない場合があります(例:ねじれ)。

私の経歴は物理学であり、そのような方法が存在することは確かですが、検索しても正しい用語がわからないためか、直接関連するものを見つけることができませんでした。より広く言えば、「強化学習」が探索と報酬を処理するAIの領域であることを知っているだけなので、私が求めている方法は、そのいくつかの特別なケースを表しているのかもしれません。

明確にするために、ここに例を示します。物質の相図、つまり密度を圧力pと温度Tの関数として取得したい場合があります。したがって、ここでは2つの変数(p、 T)。任意のポイント(p、T)での評価には、高価なモンテカルロシミュレーションが必要です(CPU時間の数。どれだけが、p、T空間のどこにいるかによっても異なります)。理想的なアルゴリズムは、密度を評価するポイント(p、T)を慎重に選択し、関数が最も顕著な特徴(たとえば、相転移線、つまり非分析性)をもつ領域に移動しようとします。その後、アルゴリズムに他の任意のポイント(p、T)で密度を要求すると、探索フェーズ中に取得したすべての情報を考慮して、アルゴリズムが考えられる最良の内挿/外挿が提供されます。


確かに、この質問があまり扱われていないことが判明した場合、それも私にとって非常に有用な情報になるでしょう。私は間違いなく多くの可能なアプリケーションを考えることができます(物理学および計算科学全般)。しかし、いくつかの未知の環境を探索する「インテリジェントエージェント」のすべての努力を考えると、この環境が未知の滑らかな関数(いわば丘陵の風景)である状況を人々が分析したことを期待するかもしれません。
Florian Marquardt、2015年

明確にするために、典型的なアプリケーション例を追加しました。
Florian Marquardt

あなたが説明するfyi相転移は、それらの(おそらく「狭い」)「中心」で非常に不連続/無秩序/フラクタルであるため、この全体が「滑らかな関数」であるという考えは、おそらく非常に不正確/誤解を招く可能性があります。
vzn 2015年

@vzn:通常の多粒子系の微視的なダイナミクスは確かにカオス的ですが(熱化にとって重要です)、結果として得られる平均熱力学特性は、フェーズでジャンプする(または他の非解析性を持つ)場合を除いて、パラメーターの滑らかな関数です。遷移線。たとえば、(p、T)平面の気液相転移線では、密度が急上昇しています。
Florian Marquardt

回答:


3

ベイジアン逆問題の「最適な実験計画」の分野、特に最近のアレン・アレクサンドリアンの研究について調べます。

http://arxiv.org/abs/1410.5899

http://www4.ncsu.edu/~aalexan3/research.html

本質的に、誤差と分散の組み合わせの最小化に基づいてポイントを選択するための外部最適化問題内でホストされる、導出された量のポイント測定に基づいて関数を近似するための内部逆問題があります。

さらに、完全な内部-外部解決手順を実行する必要はありません。むしろ、内側の問題のKKT条件を外側の問題の制約として使用し、結合された問題の「メタ」KKTシステムを定式化できます。

これは、PDE制約付き逆問題の言語で定式化されますが、問題のようなより単純な状況にも適用されます(「PDE」は単位行列になります。)


ありがとうございました!私が読んだビットから、最適な実験計画のほとんどは確率論的データに関係していると思うので、これが決定論的な滑らかな関数にどのように特化するかを理解する必要があります。
Florian Marquardt

本当の答えが決定論的である場合でも、答えに関する自分自身の不確実性を確率論的要素と見なすことにより、このようなベイズ技法を使用するのが一般的です。このような確率を使用するのが好きかどうかは、ベイジアンか頻度主義かによって決まります。それは統計学者の間で非常に論争の的です...とにかく、これが気にならない場合は、逆ラプラシアンを共分散として事前分布としてガウスランダムフィールドを提案し、滑らかな関数に高い確率を与えるようにします。、です。π前のfexpfΔ1f
Nick Alger、2015年

2

能動学習は、学習アルゴリズムが特定のポイントで関数の値をインタラクティブに照会できる状況で、機械学習の文献で使用される用語です。文献に滑らかな多変量関数の能動学習のための既存のアルゴリズムがあるかどうかはわかりませんが、それがあなたが望んでいるように思えます。Google Scholarでこの分野の仕事を探すのに少し時間をかけることができます。

また、最適な実験計画を見ることができます。


1
ありがとうございました!ウィキペディアのページをたどると、バーセトルズのアクティブラーニングウェブサイトと、関連する文献レビューが見つかりました。最初の読書から、典型的な例が離散関数(分類用のラベル)を持っていることを収集します。だから私はまだスムーズな関数について何かを見つける必要がありますが、それはおそらく彼らが言うことの単なる変形です(エキスパートにとって翻訳するのは簡単ですが、今のところ私にとってそれほど簡単ではありません)。
Florian Marquardt、2015年

-2

遺伝的アルゴリズムをこの目的に使用できます。場合によっては、フィットネス関数の評価はやや「高価」です。難しさの一部は、「関心領域」のある種の測定値をエンコードすることであり、このメトリックは、複数の関数評価に対する測定値を何らかの形で定量化する必要があります。つまり、単一の関数評価では「傾向に気づく」には不十分です。つまり:

アルゴリズムは、知識の獲得が最大である空間の領域を探索することを学習します

その後、それを「最も顕著な機能を見つける」と呼びます「知識の獲得が最大である」または「顕著な特徴」を数学的に定量化することは一般に難しいため、このステートメントは問題があります。公式化/定量化する1つの可能性は、理論の大きな本体がある「高エントロピー対低エントロピー」を検討することです。

あなたの問題は、多少のラインに沿って分割された教師教師なし学習、さらに問題WRT分析へのthatsのでエリア。

物理学におけるMLの成功したアプリケーションの最近の主要なケースは、ヒッグス機械学習の課題であり、あなたが言及するアイデアの多くを組み込んでいます。この場合、パーティクルトラックの動作はMLアルゴリズムによって予測され、データ内の信号対ノイズについて自動的に学習します。論文で説明されているように、勝利アルゴリズムは一般に決定木を使用しました。


1
ありがとうございます。しかし、私が求めていることを、遺伝的アルゴリズムの観点から(原則としても)どれほど表現できるかは不明ですが、詳しく説明できますか?
Florian Marquardt、2015年

どの部分が不明確かわからない。answer /リンクで概説されているように、基本的な遺伝的アルゴリズム理論にはすべて暗黙的です(いくつかに従う)。Computer Science Chatでさらに詳しく/詳細に説明できます。(ちなみに、フラクタルを「マップする」ためのいくつかのアルゴリズムは、
マンデルブロ
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.