テストモデルの仮定は、pハッキング/フィッシングと見なされますか？

こことここで説明されている「Pハッキング」、「フィッシング」、および「分岐パスの庭」は、偏った推定値を生成する調査を行う探索的データ分析のようなスタイルを示しています。

モデルの適合に使用されるのと同じデータセットで統計的検定を使用してモデルの仮定（たとえば、正規性、回帰のホモスケダスティシティ）をテストすることは、「p-ハッキング」または「分岐パスのガーデン」の問題と見なされますか？

これらのテストの結果は、研究者が最終的にどのモデルに適合するかを決定するのに確かに影響します。

前提条件に違反しているかどうかをテストすることは、本来は適切な分析が行われたことを確認することを意図したものであるという意味ではまったく同じではありませんが、結局のところ、同じ結果をもたらします（たとえば、この質問を参照） 。しかし、これは、0.05未満の関心のある効果のp値を何らかの方法で取得することを特に目的としている、pハッキングのより極端な亜種よりも穏やかな形式です。これは、複数の問題のあるプラクティスの組み合わせを開始しない限り（例：正規性のチェック、等分散性のチェック、モデルにあるはずの共変量のチェック、共変量の線形性のチェック、相互作用のチェックなど）。それが最終分析を無効にする程度を誰かが調べたかどうかはわかりません。

もちろん、他の問題は、正常性のテストが通常意味をなさないことです（たとえば、この説明を参照してください）。サンプルサイズが小さい場合、想定に真に違反する大量の偏差を確実に取得することはできません。一方、サンプルサイズが大きい場合、たとえばt検定は偏差に対して非常にロバストになりますが、正規性テストは重要ではない小さな偏差を検出し始めます。以前のデータまたは主題の知識に基づいて、（可能な場合は常に）適切なモデルを指定することをお勧めします。それが不可能な場合は、分布の仮定の違反に対してより堅牢な方法を使用するか、なし/少ない方法を使用するのが最善の場合があります。

モデルの仮定をチェックすることは、p-ハッキング/フィッシングとみなされるとは思いません。最初の記事では、著者は、データセットに対して繰り返し分析を実行し、最良の結果のみを報告しているアナリストについて話しています。言い換えれば、彼らは意図的にデータで何が起こっているかの偏った絵を描写しています。

回帰または任意のモデルの仮定のテストは必須です。必須ではないのは、可能な限り最良の結果を確認するために、データから繰り返し再サンプリングすることです。研究者が抽出するのに十分な大きさのサンプルを持っていると仮定すると、彼らは時々何度も再サンプリングします...彼らが望む結果を達成するまで何度も何度も仮説テストを実行します... したがって、p-ハッキング。彼らは望ましい結果を探すことでp値をハッキングしており、それが見つかるまで（フィッシング）終了しません。したがって、100個の仮説検定のうち1つしか達成せずに有意な結果が得られたとしても、その特定の検定に属するp値を報告し、その他すべてを除外します。

これは理にかなっていますか？モデルの仮定を確認するときは、モデルがデータに適していることを確認しています。p-hacking / fishingを使用すると、目的の結果を達成するために、データを無限に検索したり、調査を操作したりできます。

多重比較の目的として、モデルを泥の中で実行し続け、それを無効にする（または検証する）方法を無限に探し続けた場合、最終的には方法が見つかります。これは釣りです。モデルを検証したい場合は、方法を見つけます。それを無効にしたい場合は、方法を見つけます。重要なのは、心を開いて真実を見極めることです。見たいものを見るだけではありません。