タグ付けされた質問 「reproducible-research」

フレーズp -hacking（「データ dr 」、「スヌーピング」、「フィッシング」）は、結果が人為的に統計的に有意になるさまざまな種類の統計的不正行為を指します。「より重要な」結果を取得する方法は多数ありますが、決してこれらに限定されません： パターンが見つかったデータの「興味深い」サブセットのみを分析します。 複数のテスト、特に事後テスト、および重要ではない実行されたテストの報告に失敗した場合の適切な調整の失敗。 同じ仮説の異なるテスト、たとえば、パラメトリックテストとノンパラメトリックテストの両方を試します（このスレッドでは、いくつかの議論があります）が、最も重要なもののみを報告します。 望ましい結果が得られるまで、データポイントの包含/除外を試行します。「データクリーニングの外れ値」だけでなく、曖昧な定義（「先進国」の計量経済学の研究、異なる定義が異なる国のセットをもたらす）、または定性的包含基準（例えば、メタ分析） 、特定の研究の方法論が十分に堅牢であるかどうかは、バランスのとれた議論かもしれません） 前の例は、オプションの停止に関連しています。つまり、データセットを分析し、これまでに収集したデータに応じてデータを収集するかどうかを決定します（「これはほとんど重要です。さらに3人の学生を測定しましょう！」）分析で; モデルフィッティング中の実験、特に含める共変量だけでなく、データ変換/関数形式に関する実験。 したがって、p-ハッキングが実行できることを知っています。多くの場合、「p値の危険性」の 1つとしてリストされており、統計的有意性に関するASAレポートで言及されており、ここでCross Validatedで説明されているため、悪いことでもあります。いくつかの疑わしい動機と（特に学術出版の競争において）逆効果的なインセンティブは明らかですが、意図的な不正行為であろうと単純な無知であろうと、それがなぜなのかを理解するのは難しいと思います。ステップワイズ回帰からp値を報告する人（ステップワイズ手順は「良いモデルを生成する」が、意図されたpを認識していないため）-値が無効化される）、後者のキャンプではあるが、その効果はまだありP上記の私の箇条書きの最後の下-hacking。 確かにpハッキングが「外にある」という証拠があります。例えば、Head et al（2015）は科学文献に感染している証拠的な兆候を探しますが、それに関する我々の証拠の現状は何ですか？Headらがとったアプローチには論争がなかったわけではないことを知っているので、文学の現状、または学術界の一般的な考え方は興味深いでしょう。たとえば、次のことについて考えていますか？ それはどの程度一般的であり、その発生を出版バイアスとどの程度まで区別できますか？（この区別は意味がありますか？） 効果は境界で特に深刻ですか？たとえば、で同様の効果が見られますか、それともp値の範囲全体が影響を受けますか？P ≈ 0.05p≈0.05p \approx 0.05P ≈ 0.01p≈0.01p \approx 0.01 pハッキングのパターンは学問分野によって異なりますか？ p-ハッキングのメカニズム（上記の箇条書きにリストされているもの）のどれが最も一般的であるか、私たちは考えていますか？一部のフォームは、「よりよく偽装されている」ため、他のフォームよりも検出が難しいことが証明されていますか？ 参照資料 ヘッド、ML、ホルマン、L。、ランフィア、R。、カーン、AT、およびジェニオン、MD（2015）。科学におけるpハッキングの範囲と結果。PLoS Biol、13（3）、e1002106。

94 hypothesis-testing  statistical-significance  p-value  model-selection  reproducible-research 

質問： Rを使用して再現性のある研究の良い例があり、オンラインで無料で入手できますか？ 理想的な例： 具体的には、理想的な例は以下を提供します： 生データ（および理想的にはデータを説明するメタデータ）、 データのインポート、処理、分析、出力生成を含むすべてのRコード、 最終出力を最終ドキュメントにリンクするためのSweaveまたはその他のアプローチ、 すべては、読者のコンピューターで簡単にダウンロードおよびコンパイルできる形式です。 理想的には、この例は、統計的な教育の例とは対照的に、実際の応用トピックに重点を置いたジャーナル記事または論文です。 興味の理由： 雑誌記事や論文の応用トピックに特に興味があります。これらの状況では、いくつかの追加の問題が発生するためです。 データのクリーニングと処理に関連する問題が発生し、 メタデータの管理に関連する問題が発生し、 ジャーナルと論文には、表や図の外観とフォーマットに関するスタイルガイドの期待がありますが、 多くのジャーナルと論文には、ワークフロー（分析の順序付け方法など）と処理時間（分析のキャッシュの問題など）に関する問題を引き起こす幅広い分析が含まれていることがよくあります。 完全な実例を見ると、再現性のある研究から始める研究者にとって良い教材となります。

71 r  references  reproducible-research 

シミュレーション研究のために、既存の変数に対する事前定義された（母集団）相関を示すランダム変数を生成する必要があります。YYY 私は、に見えたRパッケージcopulaとCDVine特定の依存構造を持つランダムな多変量分布を生成することができました。ただし、結果の変数の1つを既存の変数に修正することはできません。 アイデアや既存の機能へのリンクを歓迎します！ 結論： さまざまなソリューションで、2つの有効な答えが出ました。 カラカルによるR スクリプト。事前定義された変数との正確な（サンプル）相関を持つランダム変数を計算します 事前定義された変数に対する定義された母集団相関を持つランダム変数を計算するR 関数 [@ttnphnsの追加：質問のタイトルを単一の固定変数の場合から任意の数の固定変数に拡大するために自由を取りました。すなわち、いくつかの固定された既存の変数と事前定義された相関を持つ変数を生成する方法]

71 r  correlation  random-variable  random-generation  independence  assumptions  random-variable  unbiased-estimator  regression  hypothesis-testing  heteroscedasticity  generalized-least-squares  distributions  networks  data-visualization  sas  reproducible-research  philosophical  time-series  variance  outliers  quality-control  mean  multilevel-analysis  average  weighted-mean  regression  confidence-interval  prediction-interval  correlation  matlab  matrix  data-mining  maximum-likelihood  r  time-series  survival  predictive-models 

これは今いくつかの質問で出てきており、私は何かについて疑問に思っていました。フィールド全体は、元のデータと問題のコードの可用性に焦点を当てた「再現性」に移行しましたか？ 私はいつも、再現性の核心は必ずしも言及しているように、「実行」をクリックして同じ結果を得る能力ではないと教えられていました。データとコードのアプローチは、データが正しいこと、つまりデータ自体の収集に欠陥がないことを前提としているようです（科学的詐欺の場合は明らかに間違っています）。また、複数の独立したサンプルでの結果の再現性よりも、ターゲット母集団の単一のサンプルに焦点を当てています。 なぜ研究をゼロから複製するのではなく、分析を再実行できることに重点が置かれているのですか？ 以下のコメントに記載されている記事はこちらから入手できます。

50 reproducible-research  philosophical 

私の職場には非常に幅広い分野の従業員がいるため、さまざまな形でデータを生成しています。その結果、各チームはデータを保存する独自のシステムを開発しました。AccessデータベースまたはSQLデータベースを使用するものもあります。一部のチーム（私の恐怖）は、ほぼ完全にExcelスプレッドシートに依存しています。多くの場合、データ形式はプロジェクトごとに変わります。場合によっては、それを「システム」と呼ぶのはあまりにも親切です。 これに伴う問題は、すべてのプロジェクトのデータを消去するために新しいコードを作成する必要があることです。これは高価です。スプレッドシートを手動で編集する人は、データの再現性と監査をほぼ不可能にします。さらに悪いことに、データが失われたり、不正確になったりする可能性があります。 私は会社の役員とこれらの問題について話し合う機会を与えられました。私は彼に何を伝えるべきかを考え出す必要があります。私たちには問題があり、これを正しくすることでより良い科学とお金の節約が可能になると彼を説得したと思います。問題は、何を目指すべきか、そしてどのようにそこに到達するかです。 すなわち： 論文の作成から公開まで追跡できるように、データをどのように保存する必要がありますか？（データベースは中央サーバーに保存されていますか？） データベース形式を標準化するにはどうしますか？ データの世話をする方法について人々を教育するための良いリソースはありますか？（原則として、職業衛生士と爆発物のエンジニアはデータオタクではないため、非技術的なコンテンツが優先されます。）

42 dataset  reproducible-research  quality-control 

NY Timesのこの記事「The Odds、Continually Updated」たまたま私の注目を集めました。簡潔に言うと、 [ベイジアン統計]は、2013年に沿岸警備隊が行方不明の漁師ジョン・アルドリッジを見つけるために使用した検索など、複雑な問題へのアプローチに特に有用であることが証明されています（これまでのところ、マレーシア航空370便の捜索ではありません）。 ......、ベイジアン統計は、物理学からがん研究、生態学から心理学まで、あらゆるものを波打っています... この記事では、次のような頻度主義者のp値に関する批判もあります。 p値が5パーセント未満の場合、結果は通常「統計的に有意」とみなされます。しかし、この伝統には危険があります、とコロンビアの統計学教授アンドリュー・ゲルマンは言いました。科学者が常に正しく計算を行っていたとしても、そうではないと彼は主張します。p値が5％のすべてを受け入れるということは、20の「統計的に有意な」結果の1つがランダムノイズに他ならないことを意味します。 上記のほかに、おそらくp値を批判する最も有名な論文はこれです-NatureのRegina Nuzzoによる「科学的方法：統計誤差」では、再現性の懸念など、 p値ハッキングなど 統計的妥当性の「ゴールドスタンダード」であるP値は、多くの科学者が想定しているほど信頼性が高くありません。......おそらく、最悪の誤theは、ペンシルベニア大学の心理学者Uri Simonsohnと彼の同僚がPハッキングという用語を広めた一種の自己欺ceptionです。データのred、スヌーピング、釣り、重要度追跡、ダブルディップとしても知られています。「P-hacking」はサイモンソン氏は言います。「意図した結果が得られるまで、複数のことを試みています」。......「その発見はPハッキングによって得られたようです。著者は、全体のp値が.05未満になるように条件の1つを下げました」と「彼女はpハッカーであり、彼女は収集中のデータを常に監視しています。」 別のことは、プロットについてのコメント付きの、ここから続く興味深いプロットです： 効果がどれほど小さくても、p <.05のしきい値を渡すために、常にデータを収集するという大変な作業を行うことができます。調査している効果が存在しない限り、p値はデータ収集にどれだけの労力を費やしたかを測定するだけです。 上記のすべてについて、私の質問は次のとおりです。 2番目のブロック引用でのAndrew Gelmanの議論は正確に何を意味するのでしょうか？なぜ彼は5％のp値を「統計的に有意な結果の20分の1が注目に値するがランダムなノイズ」と解釈したのですか？私にとって、p値は1つの研究の推論に使用されるため、私は確信していません。彼のポイントは複数のテストに関連しているようです。 更新： Andrew Gelmanのこれについてのブログを確認してください：いいえ、私はそれを言わなかった！（@ Scortchi、@ whuberへのクレジット）。 p値についての批判と、モデルの重要性を評価するためのAIC、BIC、Mallowの（したがって変数）のような多くの情報基準があるため、変数選択にp値を使用しないでくださいそれらのモデル選択基準を使用する以外はすべて？CpCpC_p より信頼性の高い研究結果につながる可能性のある統計分析にp値を使用する実用的なガイダンスはありますか？ 統計学者が主張するように、ベイジアンモデリングフレームワークは追求するより良い方法でしょうか？具体的には、ベイジアンアプローチは、データの問題の誤検出や操作を解決する可能性が高いでしょうか？事前のアプローチはベイジアンのアプローチでは非常に主観的であるため、ここでも納得できません。ベイジアンのアプローチが頻度主義者のp値よりも優れていることを示す実用的で有名な研究はありますか、少なくとも特定のケースではありますか？ 更新：ベイジアンアプローチが頻度主義者のp値アプローチよりも信頼できる場合があるかどうかに特に興味があります。「信頼できる」とは、ベイジアンアプローチが望ましい結果を得るためにデータを操作する可能性が低いことを意味します。助言がありますか？ アップデート6/9/2015 ニュースに気付いたばかりで、議論のためにここに置いておくといいと思いました。 心理学ジャーナルはP値を禁止 少なくとも1つのジャーナルで、物議を醸す統計テストが最終的に終わりました。今月初め、Basic and Applied Social Psychology（BASP）の編集者は、統計が低品質の研究をサポートするためにあまりにも頻繁に使用されたため、P値を含む論文を出版しないと発表しました。 Natureの P値についての最近の論文「気まぐれなP値は再現性のない結果を生成します」に加えて 2016年5月8日更新 3月に、米国統計協会（ASA）は統計的有意性とp値に関する声明を発表しました。「.... ASAの声明は、研究を「ポストp <0.05時代」に導くことを目的としています」 このステートメントには、p値の誤用に対処する6つの原則が含まれています。 P値は、データが指定された統計モデルとどの程度互換性がないかを示すことができます。 P値は、調査した仮説が真である確率、またはデータがランダムチャンスのみによって生成された確率を測定しません。 科学的結論とビジネスまたは政策決定は、p値が特定のしきい値を超えるかどうかだけに基づいてはなりません。 適切な推論には、完全なレポートと透明性が必要です。 p値または統計的有意性は、効果の大きさや結果の重要性を測定しません。 p値自体は、モデルまたは仮説に関する証拠の適切な尺度を提供しません。 詳細： …

36 hypothesis-testing  statistical-significance  bayesian  p-value  reproducible-research 

コンテキスト：ジェイクが書いた 再現可能な研究に関する以前の質問への回答 JASAアーカイブの作成時に発見した問題の1つは、CRANパッケージのバージョンとデフォルトが変更されたことです。そのため、そのアーカイブには、使用したパッケージのバージョンも含まれています。ユーザーがパッケージを変更すると、ビネットベースのシステムはおそらく破損します（大要であるパッケージ内に追加のパッケージを含める方法がわからない）。 最後に、R自体が変更された場合の対処方法について考えます。たとえば、仮想マシンが巨大にならないように、論文に使用される計算環境全体を再現する仮想マシンを作成する方法はありますか？ 質問： 再現可能なデータ分析が将来（たとえば、発行後5年、10年、または20年）再現可能であることを保証するための優れた戦略は何ですか？ 具体的には、SweaveとRを使用するときに継続的な再現性を最大化するための優れた戦略は何ですか？ これは、再現性のあるデータ分析プロジェクトを、わずかに異なるデフォルト、パッケージなどを使用して他の誰かのマシンで実行することを保証する問題に関連しているようです。

31 r  reproducible-research  project-management 

専門家のデータ分析コードを調べると役立ちます。私は最近githubを熟読しており、そこにデータ分析コードを共有する多くの人々がいます。これには、いくつかのRパッケージ（もちろんCRANから直接入手可能）が含まれますが、特にRを使用した再現性のある研究の例もあります（githubのこのRリストを参照）。 データ分析のベストプラクティスについて学ぶためにgithubでフォローする良い人は誰ですか？ 必要に応じて、どのような種類のコードを共有し、なぜこれが役立つのですか？

28 r  reproducible-research 

コンテキストとして：非常に大きなデータセットを使用する場合、予測変数と応答変数の関係、または予測変数間の関係を「知っている」合成データセットを作成できるかどうかを尋ねられることがあります。 何年もの間、私は一時的な合成データセット（それらはアドホックな方法で作成されたように見える）、または研究者の提案したモデリング手法に特に有利と思われるより構造化されたデータセットのいずれかに遭遇するようです。 私は合成データセットを作成するための標準的な方法を見ていると思います。ブートストラップのリサンプリングは、合成データセットを作成するための1つの一般的な方法ですが、アプリオリの構造を知って いるという条件を満たしていません。さらに、ブートストラップサンプルを他のサンプルと交換するには、データを生成する方法ではなく、データを交換する必要があります。 パラメトリック分布をデータに適合させるか、十分に近いパラメーター化モデルを見つけることができる場合、これは合成データセットを生成できる1つの例です。 他にどのような方法がありますか？特に高次元データ、スパースデータ、および時系列データに興味があります。高次元データの場合、関心のある構造（共分散構造、線形モデル、木など）を生成できるメソッドを探します。時系列データの場合、FFT、ARモデル、またはその他のさまざまなフィルタリングモデルまたは予測モデルを介した分布から開始するようです。スパースデータの場合、スパースパターンを再現すると便利なようです。 これらは表面をひっかくだけだと思います-これらはヒューリスティックであり、正式な慣行ではありません。実践者に知られるべき合成データを生成するための参照またはリソースはありますか？ 注1：この質問は、特定の時系列モデルのようなデータを生成する方法に関する文献を扱っていることを理解しています。ここでの違いは、特に既知の構造（私の質問）を示すためのプラクティスと、既存のデータセットとの類似性/忠実度です。私の場合、既知の構造と同じくらい類似性を持つ必要はありませんが、類似性は非類似性よりもはるかに優先されます。モデルが有望であるエキゾチックな合成データセットは、現実的なシミュレーションよりも好ましくありません。 注2：合成データに関するWikipediaのエントリは、RubinやFienbergなどの著名人がこの問題に対処していることを指摘していますが、ベストプラクティスに関する参照は見つかりませんでした。たとえば、応用統計学（AOS）やこれらの雑誌や他の雑誌のレビュー作品で何が通用するかを知ることは興味深いでしょう。簡単で気まぐれな言葉で言えば、「（容認可能）調理済み」と「調理しすぎ」の間のしきい値はどこにあるのかと尋ねることができますか？ 注3：質問には影響しませんが、使用シナリオは、さまざまな大規模で高次元のデータセットのモデリングであり、そこでは、研究の課題はデータの構造を（人間と機械の両方で;-)学ぶことです。単変量、二変量、およびその他の低次元のシナリオとは異なり、構造は容易に推測されません。構造の理解を深めるために、モデリングメソッドとデータの相互作用を確認するために（たとえば、パラメーターの安定性を調べるために）、同様のプロパティを持つデータセットを生成できることが重要です。それにもかかわらず、低次元の合成データに関する古いガイドは、より高次元のデータセットに拡張または適合させることができる出発点になる可能性があります。

26 modeling  reproducible-research  synthetic-data 

科学は再現可能でなければならないため、定義により、データとコードの共有に関するエール円卓会議で議論されているように、データとコードは再現性の重要な要素であるという認識が高まっています。 データとコードの共有を必要としないジャーナルの原稿を確認する際に、データとコードを利用できるようにリクエストできますか レビュー時に私に 出版時点で公的に（ジャーナルはサプリメントをサポートしています） また、そのようなリクエストをどのように表現できますか？ 更新：一般的なケースに興味がありますが、この特定のケースは以前に公開されたすべてのデータを使用したメタ分析で構成され、コードはSASの単純な線形モデルです サイドノートは、より多くの研究が生データを提供すれば、クロススタディ推論（メタ分析の目標である）を行う能力が大幅に強化されます アップデート2： レビューのためにエディターにデータとコードを要求し、エディターはその要求を合理的であると見なし、1日以内に要求された資料を受け取りました（十分であるが、不可解な変数名、メタデータなし、インラインコメントはほとんどありません）。

23 dataset  validation  reproducible-research  journals 

LeとMikolovによるICML 2014の論文「Sentences and Documentsの分散表現」の結果に感銘を受けました。「パラグラフベクトル」と呼ばれる彼らが説明する技術は、word2vecモデルの拡張に基づいて、任意の長さのパラグラフ/ドキュメントの教師なし表現を学習します。この技術は、この手法を使用したセンチメント分析に関する最新のパフォーマンスを報告しています。 従来のバッグオブワード表現に代わるものとして、他のテキスト分類問題でこの手法を評価したいと考えていました。しかし、私はword2vec Googleグループのスレッドで2番目の著者の投稿を見つけて、一時停止しました。 夏の間にQuocの結果を再現しようとしました。IMDBデータセットのエラー率は、約9.4％〜10％に達する可能性があります（テキストの正規化の程度によって異なります）。しかし、Quocの論文での報告に近いものは得られませんでした（7.4％のエラー、これは大きな違いです）...もちろん、Quocにコードについて尋ねました。彼はそれを公開すると約束したが、今のところ何も起こっていない。... Quocの結果は実際には再現性がないと考え始めています。 これらの結果を再現することに成功した人はいますか？

20 text-mining  natural-language  word-embeddings  sentiment-analysis  reproducible-research 

閉まっている。この質問はトピック外です。現在、回答を受け付けていません。 この質問を改善したいですか？ 質問を更新して、相互検証のトピックになるようにします。 2年前に閉店。 Sweaveとxtableを使用してレポートを生成しています。 テーブルに色を付けたいと思います。しかし、xtableで色付きのテーブルを生成する方法を見つけることができませんでした。 他のオプションはありますか？

17 r  reproducible-research 

機械学習の研究における検証について具体的な質問があります。 私たちが知っているように、機械学習体制は、トレーニングデータでモデルをトレーニングし、検証セットで候補モデルから選択し、テストセットで精度を報告するように研究者に求めます。非常に厳密な研究では、テストセットは1回しか使用できません。しかし、論文を発表する（または提出する）前に、テストの精度が最新の結果よりも良くなるまでパフォーマンスを改善する必要があるため、研究シナリオになることはありません。 ここで問題が発生します。50％が最も最先端の結果であり、私のモデルは一般に50--51の精度を達成できるとしましょう。これは平均して優れています。 ただし、私の最高の検証精度（52％）では、テスト精度が非常に低くなります（例：49％）。次に、検証accをさらに改善できない場合、全体的なパフォーマンスとして49％を報告する必要がありますが、これは望みではありません。これは本当に私が問題を研究することを妨げますが、私の仲間にとっては問題ではありません。52％のaccが見られないからです。 では、人々は通常どのように研究を行っていますか？ 同じ状況が発生する可能性があるため、ps k-fold検証は役に立ちません。

15 machine-learning  cross-validation  reproducible-research 

そのため、あなたは再現性のある研究のアイデアを支持し、人々がオンラインでデータを閲覧して利用できるようにしたいと考えています。問題は、それをどこでホストしていますか？ 私の最初の傾向は、もちろん大学のサーバー上にあるプライベートWebスペースですが、これらのことは実際にはそれほど永続的ではありません-離れると、ディレクトリは消えるまで非常に短い時間開いたままになります。将来、人々がデータを使用および使用できるようにするための適切な設定はほとんどありません。 GitHubやSourceForgeなどを使用していますか？または別のサービス？ 問題のデータは、非常に狭い関心のあるシミュレーションの出力です。そのため、InfoChimpsや他の公開データリポジトリのような場所が必ずしも適切だとは思いません。これは「このコードで物事を学ぶことができます！」さらに、「このペーパーの図3を複製できます」。

12 reproducible-research 

過去数年間、さまざまな学者が科学的仮説検定の有害な問題を提起しており、これは「研究者の自由度」と呼ばれています。つまり、科学者は分析中に、p値<5％の発見に偏る多くの選択肢を持っています。これらのあいまいな選択は、たとえば、どのケースが含まれるか、どのケースが外れ値として分類されるか、何かが現れるまで多数のモデル仕様を実行するか、nullの結果を公開しないかなどです（心理学におけるこの議論を引き起こした論文はここにあります、人気のスレートの記事を参照し、フォローアップの議論をアンドリュー・ゲルマンことで、ここで、そしてタイム誌にもこの話題に触れここに。） 最初に、1つの明確化の質問： タイム誌は書いて、 「0.8のべき乗とは、テストされた10の真の仮説のうち、その影響がデータに反映されないため、除外されるのは2つだけであることを意味します。」 これが、教科書で見つけたべき関数の定義にどのように当てはまるかはわかりません。これは、パラメーター関数としてnullを拒否する確率ですθθ\theta。異なるとθθ\theta我々は異なる力を持っているので、私はかなり上記の引用を理解していません。 第二に、いくつかの研究の影響： 私の政治学/経済学の分野では、学者は利用可能な国年データをすべて使い果たします。したがって、ここでサンプルをいじる必要はありませんか？ 複数のテストを実行して1つのモデルのみを報告するという問題は、その分野の他の誰かがあなたの論文を再テストし、堅牢な結果が得られなかったとしてすぐにあなたを打ちのめすという事実によって修正できますか？これを予測して、私の分野の学者は、robustness check複数のモデル仕様が結果を変更しないことを示すセクションを含める可能性が高くなります。これで十分ですか？ Andrew Gelmanらは、データに関係なく、実際には存在しない「パターン」を見つけて公開することが常に可能であると主張している。しかし、経験に基づく「パターン」は理論によってサポートされなければならないという事実を考えると、これは問題になりません。ある分野内のライバル理論は、どのキャンプがより多くの「パターン」を見つけることができるかを見つけるために議論/競争に参加するだけです。様々な場所で。パターンが本当に疑わしい場合、他のサンプル/設定に同様のパターンがない場合、背後にある理論はすぐに打ち消されます。これが科学の進歩ではないでしょうか？ 無効な結果に対するジャーナルの現在の傾向が実際に繁栄すると仮定すると、すべての無効な結果と肯定的な結果を一緒に集計し、それらすべてがテストしようとしている理論を​​推測する方法はありますか？

10 hypothesis-testing  inference  philosophical  reproducible-research  social-science