計算実験を行うためのガイドラインは何ですか?


13

物理学、生物学、化学などには、実験を行うためのさまざまなルールセットがあります。どのイベントが関連すると見なされるか、サンプルの汚染を回避する方法、再生プロセスを作成および修正する方法などです。

数値実験の精度と再現性を確保するための標準、プロトコル、およびベストプラクティスとは何ですか?


1
一連のベストプラクティスルールに出くわしたことは一度もありませんが、公開されているものとの連携に基づいて、再現性だけでも現在のプラクティスには大きな問題があります:結果は、ハードウェアプラットフォーム、オペレーティングシステム(およびバージョン)、コンパイラー(およびバージョン)、コンパイルスイッチ、およびアプリケーション構成設定。これが十分な詳細で文書化されていることはめったにありません。
-njuffa

回答:


19

計算実験の結果を設計、実行、報告する方法について多くのことが書かれています。これは、オープンソースソフトウェアとより広範な「オープンサイエンス」運動との明白なつながりを持っています。もう1つの重要な問題は、「私のコードはあなたのものよりも速い」調査と、アルゴリズムの特性をよりよく理解するのに役立つ調査との違いです。

あなたが見たいと思うかもしれない計算実験とテストに関するいくつかの参考文献は次のとおりです。

ffin、マリー、マシューJ.サルツマン。2000.「アルゴリズムとヒューリスティックの計算テストの統計分析。」INFORMS Journal on Computing 12(1):24–44。

クラウダー、ハーラン、ロンS.デンボ、ジョンM.マルベイ。1979.「数学ソフトウェアを使用した計算実験の報告について」数学ソフトウェアに関するACMトランザクション(TOMS)5(2):193–203。

Feitelson、Dror G.2006。「実験的コンピューターサイエンス:文化的変化の必要性

フッカー、ジョンN.1995。「ヒューリスティックのテスト:すべてが間違っています。」Journal of Heuristics 1(1):33–42。

McGeoch、Catherine C.2012 。実験的アルゴリズムへのガイド。ケンブリッジ大学出版局。


また、再現可能な研究をサポートするために計算実験を追跡するためのツールを提供することを目的とするSumatra(pypi.org/project/Sumatra)のようなツールも参照します。こちらもご覧くださいdatascience.stackexchange.com/questions/758
GertVdE
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.