このカイ二乗検定結果を再現できますか？

時が経つにつれてSkeptics.StackExchange、答えは電磁過敏症への研究を引用しています：

• McCarty、Carrubba、Chesson、Frilot、Gonzalez-Toledo＆Marino、Electromagnetic Hypersensitivity：Evidence for a New Neurological Syndrome International Journal of Neuroscience、00、1–7、2011、DOI：10.3109 / 00207454.2011.608139。

使用されている統計の一部について疑わしいので、それらが適切に使用されていることを再確認する専門知識に感謝します。

図5aは、電磁場発生器がオンになったときに被験者が検出を試みた結果を示しています。

簡略版は次のとおりです。

 Actual:   Yes  No
Detected:
  Yes       32  19
  No       261 274

彼らはカイ二乗検定を使用したと主張し、有意性を見出した（pが何であるかを述べずにp <0.05）。

フィールドの存在下と不在下での体性反応と行動反応の頻度は、カイ2乗検定（2×2テーブル）またはフィッシャーの正確確率検定のフリーマンハルトン拡張（2×3テーブル;フリーマン＆ハルトン、1951年）。

いくつか問題があります。

• 彼らは一部のデータを除外しました-表5bを参照-長期間デバイスをオフにした。そのデータを分離することの正当性がわかりません。

• 彼らは、実際のデバイスがオンの場合は結果が統計的に有意であると主張しているようですが、そうでない場合はそうではありません。（私はこれを誤解しているかもしれませんが、はっきりしていません。）カイ2乗検定で得られる結果ではありませんか。

• このテストをオンラインの計算機で再現しようとしたところ、統計的に重要ではないことがわかりました。

これが私の本当の質問です。私はこれを正しいと思いますか？：フィッシャーの正確確率検定を使用した両側カイ2乗検定は、このデータを分析する正しい方法であり、統計的に有意ではありません。

結論には三つの誤りがあるように私には思えます。

まず、@ caracalが言ったように：彼らはそうしていることは言うまでもなく、片側検定を使用して「有意性」を報告しています。ほとんどの人は、両側検定を使用することをお勧めします。もちろん、言わずに片側検定を使用することはできません。

第二に、効果はごくわずかです。信号があったとき、被験者（1つしかありませんでした）がそれを11％の時間（32/293）で検出しました。信号がない場合、彼女は6.5％の時間に信号を検出しました。その差はかなり小さいようです。そして、被験者は89％の時間、信号を検出できませんでした！

3番目に、@ oddthinkingが指摘したように、適切に説明または正当化されていない選択的なデータレポートがありました（この論文を注意深く読んでいないため、元の投稿の内容を繰り返します）。

与えられたテーブルのフィッシャー正確検定は、このコードに従って、

actual <- c(rep("Y", 32), rep("N", 19), rep("Y", 261), rep("N", 274))
det <- c(rep("Y", 51), rep("N", 535))
table(det,actual) 
fisher.test(det,actual)

ap = 0.08