計算流体力学における機械学習の使用

背景：
コースでは、2d Navier-Stokesの実用的な数値解を1つだけ作成しました。これは、蓋​​駆動のキャビティフローのソリューションでした。ただし、このコースでは、空間的離散化と時間的離散化のスキーマについて説明しました。また、NSに適用されるシンボル操作のコースワークも取り入れました。

PDEから有限差分への分析/記号方程式の変換を処理する数値アプローチには、次のようなものがあります。

• オイラーFTFS、FTCS、BTCS
• 緩い
• ミッドポイントリープフロッグ
• Lax-Wendroff
• マコーマック
• オフセットグリッド（空間拡散により情報が広がる）
• TVD

当時、私には、これらは「挿入名がスキームを見つけて、たまたま機能する」ように見えました。これらの多くは「豊富なシリコン」の時代以前のものでした。これらはすべて近似値です。限界で彼ら。理論的には、PDEにつながります。

直接数値シミュレーション（DNS）は楽しいものであり、レイノルズ平均ナビエストークス（RANS）も楽しいものですが、これらは計算上扱いやすく、現象を完全に表現する連続体の2つの「エンドポイント」です。これらの内部に住むアプローチには、複数のファミリーがあります。

講義で、CFDの教授に、ほとんどのCFDソルバーはきれいな絵を描くと言われましたが、ほとんどの場合、これらの絵は現実を表していないため、現実を表しています。

（私が理解しているように、網羅的ではない）開発のシーケンスは次のとおりです。

1. 支配方程式から始める-> PDE
2. 空間的および時間的離散化を決定->グリッドおよびFDルール
3. 初期条件と境界条件を含むドメインに適用する
4. 解く（行列の反転に関する多くのバリエーション）

5. 全体的なリアリティチェックを実行し、既知のソリューションに適合させるなど。

6. 分析結果から派生したいくつかのより単純な物理モデルを構築する

7. それらをテストし、分析し、評価する
8. 繰り返す（ステップ6、3、または2にジャンプして戻る）

考え：
私は最近、CARTモデル、斜めツリー、ランダムフォレスト、および勾配ブーストツリーで作業しています。それらはより数学的に導き出されたルールに従い、数学は木の形を動かします。彼らは、離散化された形をうまく作るように働きます。

これらの人間が作成した数値アプローチはいくらか機能しますが、その結果をモデル化することを意図している物理現象に関連付けるために必要な広範な「ブードゥー教」があります。多くの場合、シミュレーションは実際のテストと検証に実質的に取って代わりません。間違ったパラメーターを使用したり、実際の世界で経験したジオメトリやアプリケーションパラメーターの変動を考慮に入れたりするのは簡単です。

質問：

• 問題の性質に
  適切な離散化、空間的および時間的差分スキーム、初期条件、またはソリューションを定義させるためのアプローチはありましたか？
• 機械学習の手法と組み合わせた高精細ソリューションを使用して、ステップサイズがはるかに大きいが収束、精度などを維持する差分スキームを作成できますか？
• これらのスキームはすべて、アクセスしやすい「人為的に導き出すのが容易」です-それらにはいくつかの要素があります。より良い仕事をする何千もの要素を持つ差分スキームはありますか？それはどのように導出されますか？

注：別の質問で、（分析的にではなく）経験的に初期化され、経験的に導出されたものをフォローアップします。

更新：

1. 深層学習を使用して、格子ボルツマンフローを加速します。特定のケースで最大9倍のスピードアップ

   Hennigh、O.（プレスリリース中）Lat-Net：ディープニューラルネットワークを使用した圧縮格子ボルツマンフローシミュレーション。取得元：https : //arxiv.org/pdf/1705.09036.pdf

   コード付きのレポ（私は思う）：https :
   //github.com/loliverhennigh/Phy-Net

2. 同じハードウェアで、GPUよりも約2桁高速、CPUよりも4桁高速、つまり〜O（10,000x）高速です。

   Guo、X.、Li、W.＆Ioiro、F. Convolutional Neural Networks for Steady Flow Approximation。取得元：https : //autodeskresearch.com/publications/convolutional-neural-networks-steady-flow-approximation

3. 約20年前にこのトピックを調べた他の人：

   Muller、S.、Milano、M.＆Koumoutsakos P.機械学習アルゴリズムのフローモデリングと最適化への応用。Center for Turbulence Research Annual Research Briefs 1999取得元：https : //web.stanford.edu/group/ctr/ResBriefs99/petros.pdf

更新（2017）：
これは、勾配のみに基づいているアリーナであるディープラーニングでの非勾配法の使用を特徴付けます。活動の直接的な影響はディープラーニングにありますが、GAは勾配降下法に基づく方法と一致またはそれ以上のレベルで非常に難しい、非常に深く、非常に複雑な問題を同等の方法で解決できることも示唆しています。

この質問の範囲内では、大規模な機械学習ベースの攻撃が、勾配領域法の収束を大幅に加速する「テンプレート」を時間と空間で許可する可能性があることを示唆している可能性があります。この記事は、勾配降下の方向に向かうことが、解から離れることがあると言っています。ローカルオプティマまたは病理学的軌跡の問題（ほとんどの高価値の現実世界の問題にはこれらの一部が含まれます）では、勾配は全体的に有益ではないことが予想されますが、それを以前のように経験的に定量化および検証するとよいでしょう。このホワイトペーパーでは、勢いやリラックス不足に陥ったときに「学習を減らす」ことなく、「限界に飛びつく」ことができます。

更新（2019）：
GoogleはAIパズルの「より良いソルバーを見つける方法」の一部に貢献しているようです。 linkこれはAIにソルバーを作成させることの一部です。

**更新（2020）：**そして現在、彼らはそれをやっていて、うまくやっています...
https://arxiv.org/pdf/1911.08655.pdf

その後、NNを分解して実際の離散化を決定できると主張できます。私は特に図4が好きです。

CFDが「カラフルな流体力学」の略であるのは、長期にわたるジョークです。それにもかかわらず、それは幅広いアプリケーションで使用され、そして有用です。あなたの不満は、相互に関連しているが異なる2つのステップを十分に区別していないことに起因していると思います。物理プロセスの数学モデルを作成し、それを数値的に解決します。これらについて少しコメントさせてください：

1. 物理的現実の数学的（または実際には）モデルがこれまでに正しいことはありません。せいぜい、非常に正確に区切られた（できれば大きな）一連の状況での測定結果を予測するのに役立ちます。これには、特定の構成でこのような予測を取得できる必要があるという事実が含まれます。これが、場の量子論からニュートン力学までのモデル全体の階層がある理由です。特に、ナビエ・ストークスの方程式は流体の流れを記述しておらず、特定の条件下での特定の流体の挙動の特定の側面を予測します。

2. より複雑な数学的モデル（Navier-Stokes方程式など）の場合、正確な解（したがって予測）を得ることができず、数値近似しか得られません。比較したい測定自体が正確ではないので、これは聞こえるほど悪いことではありません。モデルの選択と同様に、精度と扱いやすさの間にはトレードオフがあります。必要以上に正確なソリューションを取得するために時間やお金を費やすことは意味がありません。この時点で、それは純粋に（この場合）偏微分方程式の解を数値的に近似する方法に関する問題になります。偏微分方程式は、数学分野全体の主題である数値解析です。この分野は証明に関係しています特定の数値手法のエラー推定値（ここでも、特定の明示的に指定された条件の下で）。あなたのステートメント「挿入名はスキームを見つけ、それはたまたま機能する」は、かなり不公平です-それは「挿入名がスキームを見つけて、それが機能することを証明する」であるべきです。また、これらのスキームは薄い空気から引き出されたものではなく、よく理解された数学的原理に基づいています。

   （たとえば、有限差分スキームは、特定の次数のテイラー近似を使用して導出できます。非常に高次の差分スキームを取得して実装することは確かに可能であり、そうする人もいますが、リターンを減少させる法則があります。 ：これは部分的にしか自動化できないため、多大な労力を要し、特定のますます厳しくなる条件を満たして、対応するより高い精度を実際に得る必要があります。また、ある時点では、スペクトル法。）

ここでの共通のテーマは、モデルと数値スキームの両方に適用範囲があることであり、特定の目的に適した組み合わせを選択することが重要です。これがまさに、計算科学者がドメインサイエンス（どのモデルがどの状況で有効であるかを知る）と数学（どのメソッドがどのモデルにどの精度に適用できるかを知る）の両方を知る必要がある理由です！これらの「指示どおりにのみ使用する」ラベルを無視すると、CFD教授が言及したような「計算上のでたらめ」（ハリーフランクフルトの技術的な意味で）が生成されます。

物理モデル（風洞など）があるときに計算モデルを使用する理由について：1つの理由は、ソフトウェアを実行すると、モデルを作成して風洞に配置するよりも桁違いに安価になる可能性があるためです。また、通常はどちらでもありません。たとえば、車や飛行機を設計する場合、数百または数千のシミュレーションを実行して物事を絞り込み、最終的な候補者のみがモデルを風に乗せます。トンネル。

更新：

数値シミュレーションの代わりに機械学習を使用することは、「モデルがないことは近似モデルよりも優れている」と言っているようなものです。とはいえ、機械学習を使用して、測定データとの一致に基づいて未知の「ジオメトリまたはアプリケーションパラメータ」を選択することは確かに可能です（実際に行われます）。ただし、ここでも、不確実性の定量化や（ベイズの）逆問題などのモデルベースの方法は通常、はるかに優れたパフォーマンスを発揮します（厳密な数学的原理に基づいています）。数値の選択 機械学習を使用する方法のステップサイズや順序などのパラメーターも原理的には可能ですが、（数学）モデルに基づいてこれらのパラメーターを正確に選択する方法を説明する数学的理論があるため、利点はわかりません。

アップデート2：

リンクしている論文はコンピュータサイエンスに関するものであり、計算科学に関するものではありません。それらの目標は、物理プロセスの正確なシミュレーション（つまり、数学モデルの数値解）を持つことではなく、肉眼で見えるものです。 （「カラフルな流体力学」の極端なケース...）-それは非常に異なる問題です。特に、数値法の不可欠な部分であるナビエ・ストークス方程式の対応する解と比較して、訓練されたネットワークの出力にエラー限界はありません。

（そして、最初の質問は誤った前提から始まります。どのアプローチでも、問題はモデルを決定し、モデルは離散化を決定し、離散化はソルバーを決定します。）

混乱を引き起こしているいくつかの異なるアイデアを混ぜていると思います。はい、特定の問題を離散化するにはさまざまな方法があります。クラスでこれらを学ぶ場合、適切な方法を選択することは「ブードゥー教」のように見えるかもしれませんが、研究者がそれらを選択するときは、文献で発表されているように、フィールドの結合された経験を利用して行います。したがって、彼らは学生よりもはるかに多くの情報に基づいた選択を行います。

質問1： 問題を解決していて、あるスキームから別のスキームに切り替えると、実行時間が変化するか、収束基準が変化するか、または漸近的な動作になるかもしれませんが、非常に重要な点は、最終的な収束ソリューションが変化しないことです。 。その場合は、メッシュをリファインする必要があるか、数値スキームに問題があります。おそらく、いくつかの最適化アルゴリズムを使用して数値スキームを作成し、特定のクラスの問題のパフォーマンスを向上させることができますが、多くの場合、関連する項の数または使用するメッシュタイプに対して数学的に証明可能な最適な収束/漸近的振る舞いを使って、手動で導出したスキームが作成されます。

さて、上記の段落は、物理学の異なる数式/近似である異なる乱流モデルのようなものを考慮していないため、異なる解決策があると予想されます。これらは再び文献で高度に研究されており、プログラムが物理現象を調べて、類似の物理システムの応答を適切に予測する数学モデルを生成できるようになったとは思いません。

質問2： はい、いくつかのコンピューターコードを使用して、メッシュ全体を一度に使用するスキームを導出できます。一部のメッシュにはそのようなコードが存在し、数時間以内にスキームが得られると言っても安心です（コードが見つかってから）。問題は、ナイキストに勝てないことです。システムの応答の最大周波数に応じて、実行するタイムステップの大きさに制限があり、ソリューションの空間周波数に応じて、メッシュセル/要素の最大数に制限があります。

これは、より複雑なスキームの使用に伴う計算作業が非線形で複雑になることが多いという事実を説明していません。ほとんどの学生が時間積分のためのRK4メソッドを学ぶ理由は、それよりも高次のメソッドに取り掛かると、メソッドの次数を取得するよりも早く派生物のより多くの評価を取得するためです。空間領域では、高次のメソッドは行列の塗りつぶしを大幅に増やすため、必要なメッシュポイントは少なくなりますが、疎行列を反転する作業は大幅に増加し、少なくとも部分的にゲインが相殺されます。

質問3で何を指しているのかわかりません。問題の近い解決策をより良い解決策に変えることについて話しているのですか？もしそうなら、私はマルチグリッドについて少し読むことをお勧めします。まともな数値スキームを驚くべきものに変換することについて質問している場合、私の答えの残りの部分では少なくともそれに触れていると思います。