多重比較でいつp値を修正するのですか？

関連する質問が私の答えにならなかったと思います。2つ以上の分類子（機械学習）のパフォーマンスを評価します。Null仮説は、パフォーマンスは変わらないというものです。この仮説を評価するために、パラメトリック（ANOVA）テストとノンパラメトリック（Friedman）テストを実行します。それらが重要である場合、ポストホッククエストでどの分類子が異なるかを調べたいと思います。

私の質問は2つあります。

1）多重比較テスト後のp値の修正は必要ですか？「Alphafehler Kumulierung」のドイツ語版ウィキペディアサイトでは、同じデータに対して複数の仮説がテストされた場合にのみ問題が発生すると述べています。分類子（1,2）、（1,3）、（2,3）を比較すると、データは部分的にのみオーバーラップします。それでもp値を修正する必要がありますか？

2）P値補正は、t検定によるペアワイズ検定の後に使用されることがよくあります。Nemenyi（ノンパラメトリック）やTukeyのHSDテストなどの特殊な事後テストを行う場合にも必要ですか？この回答は、TukeyのHSDに「いいえ」と答えています。TukeyHSDテストは、複数の比較に対して正しいですか？。ルールはありますか、またはすべての潜在的な事後テストについてこれを調べる必要がありますか？

ありがとう！

質問1の回答
タイプIのエラーが発生する確率を気にする場合は、複数の比較を調整する必要があります。比喩/思考実験の単純な組み合わせが役立つ場合があります。

宝くじに当選したいと想像してください。奇妙なことに、この宝くじは、あなたに当たる0.05のチャンスを与えます（すなわち、20人に1人）。Mは、この宝くじのチケットのコストです。つまり、1回の宝くじ呼び出しの予想収益はM / 20です。不思議なことに、未知の理由で、このコストMにより、必要なだけ（または少なくとも2つ以上）の宝くじを購入できると想像してみてください。自分で「プレイすればするほど勝つ」と考えて、たくさんのチケットを手に入れます。宝くじのコールで期待されるリターンはM / 20ではなく、かなり大きいものです。「宝くじに当たる」を「タイプIのエラーを起こす」に置き換えます。

エラーを気にせず、ジェリービーンズに関する特定の漫画に繰り返し、あざけって注意を向ける人々を気にしない場合は、先に進んで、複数の比較を調整しないでください。

「家族」の概念はやや曖昧であるため、「同じデータ」の問題は家族ごとのエラー修正方法（Bonferroni、Holm-Sidákなど）で発生します。ただし、誤った発見率の手法（たとえば、ベンジャミニとホッホバーグ、ベンジャミニとユーケテリなど）には、推論のさまざまなグループにわたって結果が堅牢であるという特性があります。

質問2への回答
ほとんどのペアワイズテストでは修正が必要ですが、テストと呼ばれるものには文法的および懲戒的な違いがあります。たとえば、一部の人々は "Bonferroni t検定"（Bonferroniがt検定も多重比較のためのBonferroni調整も開発していないため、これは巧妙なトリックです）を参照しています。（1）統計テストのグループを実行することと、自分が行っている推論を効果的に理解するために複数の比較を調整することを区別したい、（2）誰かが確固たる定義に基づいて作成された新しいペアワイズテストでは、複数の比較の調整を実行できることがわかっています。$\alpha$