探索的データ分析におけるテキサスの狙撃兵の誤acy

私はNatureでこの記事を読んでおり、データ分析の文脈でいくつかの誤ciesが説明されています。テキサスの狙撃兵の誤acyを避けるのが特に難しいことに気付きました。

データ分析中に待機するコグニティブトラップは、テキサスのシャープシューターのf話で説明されています。納屋の横でランダムなパターンの弾丸を発射し、最大の銃弾の穴の周りにターゲットを描き、誇らしげに指さす彼の成功。

彼のブルズアイは明らかに笑えますが、勝ちの連続があるときに「ホットハンド」を信じるギャンブラーや、宝くじがすべて奇数になると超自然的な意味を見る人々にとって、誤acyはそれほど明白ではありません。

また、研究者にとって常に明らかではありません。「データからある程度の励ましを得てから、これが下降する道だと考えてください」とパシュラーは言います。「27種類の選択肢があることに気付いていないので、最も納得のいく、または面白い結果が得られるものを選んだので、今ではデータの偏りのない表現に取り組んでいます。」

ある種の探査作業は一般的であり、多くの場合、仮説は分析のその部分に基づいて構築されると思います。このプロセス専用のアプローチ（EDA）があります。

統計学者がデータを調査し、新しいデータの収集と実験につながる可能性のある仮説を立てることを奨励するために、John Tukeyが探索的データ分析を推進しました。

仮説を事前に持たずに実行された探索プロセスは、偽の仮説を生成する傾向があるようです。

上記のEDAの説明が実際に話していることに注意してくださいnew data collection and experiments。新しいデータが収集された後、確認データ分析（CDA）が適切であることを理解しています。ただし、この区別は非常に明確ではないと思います。EDAとCDAの分離は理想的ですが、確かにこれが実行不可能な状況もあります。この分離に従うことは厳密には一般的ではなく、ほとんどの開業医はEDAパラダイムにまったく加入していないと言えます。

だから私の質問は次のとおりです。EDA（またはデータを調査する非公式なプロセス）は、テキサスの狙撃兵の誤fallに陥る可能性を高めますか？

EDAの役割を厳密に仮説の生成と見なす場合、シャープシューターの誤acyは当てはまりません。ただし、その後の確認試験が実際に独立していることが非常に重要です。多くの研究者は、プール分析、メタ分析、ベイジアン手法などと「違いを調整」しようとします。これは、このような分析で提示された証拠の少なくとも一部に「ランダムな弾痕の周りの円」が含まれることを意味します。

これは、探索的データ分析の非常に否定的な見方を示しています。議論は間違ってはいませんが、「非常に重要なツールを間違った方法で使用すると何がうまくいかないのでしょうか」と言っています。

EDAメソッドから未調整のp値を受け入れると、タイプIのエラー率が大幅に増大します。しかし、私はテューキーはこれをしている誰にも満足していないと思います。EDAのポイントは、データ内の関係について明確な結論を出すことではなく、フォローアップするデータ内の潜在的な新規関係を探すことです。

より大きな科学的プロセスでこのステップを省くことは、純粋に論理的な演ofの範囲を超えて、データの新しい興味深い側面を見つけることができないように科学を本質的に束縛することです。遺伝子セットの過剰発現が細胞の生存にどのように影響するかを論理的に推測しようとしたことがありますか？ヒント：それほど簡単ではありません（私の仕事のバイオインフォマティクススタッフの間で私たちのお気に入りのジョークの1つは、物理学者が「異なる遺伝子相互作用の物理的特性をシミュレートしないのはなぜですか？それは有限パラメーター空間です」）

個人的には、これについての混乱が科学の進歩を大きく遅らせることにつながると思います。「EDAが悪い可能性があることを知っている」ため、予備データに対してEDA手続きを行いたくないと述べる非統計的研究者が多すぎることを知っています。

結論として、EDAメソッドを使用し、それらを確認データ分析メソッドとして扱うことは、無効な結果につながることは絶対に真実です。ただし、EDAを適切に使用しないと、ほとんど結果が得られません。

仮説を事前に持たずに実行された探索プロセスは、偽の仮説を生成する傾向があるようです。

私はこの声明を抑えて、少し違った言い方をします。正​​しい帰無仮説を使用しないと、データに基づいてテストする仮説を選択すると、テストが損なわれます。Natureの記事の本質は、本質的に、アナリストが探検中に暗黙的に行っている複数の比較のすべてを無視するようになりやすいということです。

ネイチャーはアンドリュー・ゲルマンを引用していますが、このトピックについてエリック・ローケンと彼の論文について言及していません。抜粋：

ここで議論するいくつかの論文に関して多重比較の批判が出てきたとき、研究者たちは事前にデータ処理とデータ分析のすべての詳細を選んだとは決して答えなかった。むしろ、彼らは見た特定のデータに対して1つの分析のみを選んだと主張しています。この防御策は直観的であるように見えるかもしれませんが、多重比較の基本的な頻繁な懸念に対処するものではありません。

別の：

研究者が何百もの異なる比較を行い、統計的に有意な比較を選んだわけではありません。むしろ、どの比較を実行するかを念頭に置いたある程度形成されたアイデアから始め、データに照らしてそのアイデアを改良します。彼らは赤とピンクの模様を見て、色を組み合わせました。

簡潔に：

科学的仮説から統計的仮説への1対多のマッピングがあります。

そしてもう一つ、私を強調する：

私たちが議論したすべてのケースで、公開された分析は研究の動機付けとなった科学的仮説と一致するストーリーを持っていますが、他のデータパターン（サンプルサイズを考えると、偶然簡単に発生する可能性があります）さまざまなデータ分析（たとえば、相互作用ではなく主効果に焦点を当てる、または比較するデータサブセットの異なる選択）は、研究仮説をサポートするために同様に使用できます。結果は、他の場所で書いたように、ランダムパターンを生成および公開するための一種のマシンです。

要するに、EDAが「偽の仮説」につながるわけではありません。仮説を促したのと同じデータセットを使用して仮説をテストすると、偽の結論につながる可能性があります。

この障害を克服することに興味がある場合、ゲルマンはこれらの問題の多くがベイジアンフレームワークで消えると主張する別の論文を持ち、ローケンの論文はこの論文の最初のセクションで逸話的に説明されているように「出版前の複製」に言及しています。

ほぼ定義上、はい、もちろん、CDAのないEDAはテキサスの狙撃兵を引き付けます。

$p$$p$

すでに素晴らしい答えに追加するために：完全なCDAと額面どおりにEDAの結果を受け入れることの間には妥協点があります。関心のある機能（または仮説）を見つけたら、クロス検証（CV）またはブートストラップシミュレーションを実行することで、その堅牢性の感覚を得ることができます。所見がいくつかの重要な観察結果のみに依存している場合、CVまたはBootstrapは、多くのフォールド（CV）またはブーストラップサンプルが観察された機能を再現できないことを示します。

これは絶対確実な方法ではありませんが、完全なCDAに進む前（または初期データプールから「検証セット」を意図的に保持する）ための適切な中間チェックです。

データモデル選択の最も厳格な基準は、データのコルモゴロフ計算量に近似する度合いです。つまり、データを可逆的に圧縮する度合いです。これは、理論的には、探索的データ分析のみから生じる可能性があります。

「を参照してください。アルゴリズムの生成モデルによって因果デコンボリューション」