統計分析プロジェクトを効率的に管理する方法は？

コンピューターサイエンスではプロジェクト管理やデザインパターンについてよく耳にしますが、統計分析ではそうではありません。しかし、効果的で耐久性のある統計プロジェクトを設計するための決定的なステップは、物事を整理することです。

私はしばしば、Rの使用と、別々のフォルダー内のファイルの一貫した編成（生データファイル、変換されたデータファイル、Rスクリプト、図、メモなど）を提唱します。このアプローチの主な理由は、後で分析を実行する方が簡単な場合があることです（たとえば、特定のプロットの作成方法を忘れた場合）。

統計プロジェクト管理のベストプラクティスは何ですか？または、あなた自身の経験から与えたい推奨事項は何ですか？もちろん、これはすべての統計ソフトウェアに適用されます。（投稿ごとに1つの回答をお願いします）

私は、SO（@Shaneが提案）、Biostar（以下、BS）、およびこのSEで見つけた簡単な一連のガイドラインをまとめています。私は、各アイテムの所有権を認め、最初の回答または非常に賛成の回答を選択するために最善を尽くしました。また、自分のものを追加し、[R]環境に固有のアイテムにフラグを付けました。

データ管理

• すべてのものを正しい場所に保持するためのプロジェクト構造を作成します（データ、コード、図など、giovanni / BS）
• 変換、クリーニングなどを行うときは、生データファイルを変更しないでください（理想的には読み取り専用である必要があります）。
• データの一貫性を確認する（whuber / SE）
• GNU make（Karl Broman / Zachary Jones）などのビルド自動化ツールを使用して、スクリプトの依存関係とデータフローを管理します

コーディング

• ソースコードを論理ユニットまたはビルディングブロックに整理する（Josh Reich / hadley / ars / SO; giovanni / Khader Shameer / BS）
• 特に大規模なプロジェクトの場合、ソースコードを編集用のものから分離します。以前のアイテムやレポートと一部重複しています
• ソースファイルに[R] oxygen（シェーン / SO）または一貫した自己注釈を付けてすべてを文書化します。Medstats、文書化分析、データ編集に関する適切な議論オプション
• [R]カスタム関数は、専用ファイル（必要に応じて供給可能）、新しい環境（トップレベルの名前空間、Brendan OConnor / SO への入力を避けるため）、またはパッケージ（Dirk Eddelbuettel / シェーン / SO）

分析

• RNGまたは確率的アルゴリズム（k-meansなど）を呼び出すときに使用したシードを設定/記録することを忘れないでください
• モンテカルロ研究では、仕様/パラメータを別のファイルに保存するのが面白いかもしれません（スマトラは良い候補かもしれません、ジョバンニ / BS）
• 変数ごとに1つのプロットに制限するのではなく、多変量（トレリス）ディスプレイとインタラクティブな視覚化ツール（例：GGobi）を使用します

バージョニング

• いくつかの種類を使用し、リビジョン管理を簡単に追跡/エクスポートのために、例えばGitリポジトリ（シャーピー / VonC / JDロング / SO） -これは@Jeromyと@Talで尋ねた素敵な質問から、次の
• すべてを定期的にバックアップします（Sharpie / JD Long / SO）
• アイデアのログを保存するか、ditz（giovanni / BS）などの課題トラッカーに依存します-Gitで利用できるため、以前のアイテムと部分的に冗長です

編集/報告

• [R] Sweave（Matt Parker / SO）または最新のknitr
• [R]ブリュー（シェーン / SO）
• [R] R2HTMLまたはascii

サイドノートとして、Hadley Wickhamは、再現可能な例示とデータの統一哲学を含む、Rプロジェクト管理の包括的な概要を提供します。

最後に、R指向の統計データ分析のワークフローで、 Oliver Kirchkampは、特定のワークフローを採​​用および従うことで統計学者が相互に協力し、データの整合性と結果の再現性を確保する理由の非常に詳細な概要を提供します。さらに、製織およびバージョン管理システムの使用に関するいくつかの議論が含まれています。Stataユーザーは、J。Scott LongのStataを使用したデータ分析のワークフローも便利だと感じるかもしれません。

これは特に答えを提供するものではありませんが、次の関連するスタックオーバーフローの質問をご覧ください。

• 「統計分析とレポート作成のワークフロー」
• 「Rソースコードの整理」
• 「大規模なRプログラムの編成方法」
• 「ソロデータアナリストのRおよびバージョン管理」
• 「ソフトウェア開発は統計的プログラミング/分析と比較してどうですか？」
• 「Rの「改訂管理」と「ワークフロー」をどのように組み合わせるのですか？」

また、統計プロジェクトテンプレートを作成するためのJohn Myles Whiteの最近のプロジェクトにも興味があるかもしれません。

これはシェーンの答えと重複していますが、私の見解では、2つの主要な桟橋があります。

• 再現性 ; 「何らかの形で」行われた結果で終わらないだけでなく、（他のデータまたはパラメータをわずかに変更して）分析をより速く再実行できるため、結果について考える時間ができます。巨大なデータの場合、まず小さな「プレイセット」でアイデアをテストしてから、データ全体に簡単に拡張できます。
• 優れたドキュメント。バージョン管理下のスクリプト、一部の研究ジャーナル、さらに複雑なプロジェクトのチケットシステムまでコメントしました。再現性が向上し、エラー追跡が容易になり、最終レポートの作成が簡単になります。

van Belleは、成功する統計プロジェクトのルールのソースです。

ちょうど2セントです。これにはNotepad ++が便利だと思いました。プロジェクトごとに個別のスクリプト（プログラム制御、データ形式など）と.padファイルを維持できます。.padファイル呼び出しは、そのプロジェクトに関連付けられているすべてのスクリプトです。

他の答えは素晴らしいですが、別の感情を付け加えます。SPSSの使用は避けてください。私は修士論文にSPSSを使用し、現在は市場調査の通常の仕事に従事しています。

SPSSを使用している間、データセットを保存できないため、SPSSは複数のファイルの処理に苦労している（確かに、複数のファイルを処理できますが、Rほど簡単ではありません）ため、組織化された統計コードを開発するのは非常に困難でした変数に-「dataset activate x」コードを使用する必要がありますが、これは非常に面倒です。また、構文は不格好であり、コードをさらに読みにくくする省略表現を推奨します。

R / Python / Matlab /などで動作するJupyterノートブックは、どのスクリプトが特定の図を生成するかを覚える手間を取り除きます。この投稿では、コードと図を並べる整然とした方法について説明します。論文または論文の章のすべての図を1つのノートブックに保管しておくと、関連付けられたコードを簡単に見つけることができます。

実際、さらに良いのは、たとえば12個の図をスクロールして、必要な図を見つけることができるからです。コードは、必要になるまで非表示のままです。