「無料昼食定理」は一般的な統計検定に適用されますか?


12

私が働いていた女性が、いくつかのデータに対して一元配置分散分析を行うように頼みました。私は、データは反復測定(時系列)データであり、独立性の仮定に違反していると思いました。彼女は、私が仮定を心配するべきではなく、ただテストを行うべきであると答え、彼女は仮定が満たされなかったかもしれないことを考慮に入れるでしょう。

それは私には正しくないようでした。いくつかの調査を行ったところ、K-meansクラスタリングは無料の昼食はないというデビッド・ロビンソンによるこの素晴らしいブログ投稿が見つかりました。私は元の論文を見て、いくつかのものをフォローしていますが、率直に言って、数学は頭の上に少しあります。

デビッド・ロビンソンによると、その要点は、統計的検定の力はその仮定に由来するようです。そして、彼は2つの素晴らしい例を挙げています。他の記事やブログの記事を読み進めていくと、教師付き学習または検索の観点から常に参照されているようです。

私の質問は、この定理は一般に統計的検定に適用されるのでしょうか?言い換えれば、t検定またはANOVAの威力はその仮定の順守から来ていると言うことができ、自由な昼食の定理を引用できますか?

私は前上司に、私がやった仕事に関する最終文書を借りています。そして、統計的検定の仮定を無視することはできないと述べて、無料昼食定理を参照できるかどうか知りたいです。結果を評価するときに説明します。


4
繰り返し測定ANOVAを「ひそかに」しないのはなぜですか。
ホルストグリュンブッシュ

1
@HorstGrünbusch実際、データとテストは繰り返し測定ANOVAに関する具体的な質問とともに以前にフォーラムで議論されており、線形混合効果モデルがおそらく最良の選択であることがわかりました。
rwjones

2
これはすでに十分に回答されているので、より軽快な応答を追加できます。上司に、前提に違反した場合の結果をどのように考慮するかを正確に尋ねることができます(「慎重に」することは、何もしないよりはましです!)。要するに、仮定について不注意になれる場合を知るために十分な理解と経験を得るのは長く困難な道です。Rupert G. Miller's Beyond ANOVA(ニューヨーク:ワイリー、1986年以降の再版)は結果の優れた情報源であり、その中の主要なテーマは、独立性の仮定を無視することができる最も危険なことの1つであるということです。
ニックコックス

1
@NickCoxまあ、彼女はもはや私のボスではなく、この特定の状況がその主な理由です。それは基本的に多くのずさんな思考とまともな研究環境での彼女側のずさんなプロジェクト管理の集大成でした。それはさておき、本の推薦に感謝します。それの音から、それは私の最終報告で引用したいものの一つです。
rwjones

回答:


11

私は証拠を知りませんが、これはかなり一般的に当てはまると思います。例は、2つの治療グループのそれぞれに2人の被験者がいる実験です。Wilcoxon検定は0.05レベルでは有意ではない可能性がありますが、t検定では可能です。その力は、データだけでなく、仮定からも半分以上得られていると言えます。元の問題に対して、被験者ごとの観察が独立しているように進めることは適切ではありません。事実を考慮に入れることは、非常に特殊な状況(クラスターサンドイッチ推定量など)を除いて、確かに良い統計的実践ではありません。


2

あなたは、引用することができませんフリーランチ定理をしたい場合は、しかし、あなたはまた、単に引用することができモデュスPonens(としても知られている支隊の法則のルートである、演繹的推論の基礎)、無料無料のランチ定理を

無料無料の昼食は、定理は、すべての目的に合うことができる何のアルゴリズムがないという事実:より具体的なアイデアを包含する。言い換えれば、無料昼食の定理は基本的にアルゴリズムの魔法の弾丸がないと言っています。これはModus Ponensに基づいています。アルゴリズムまたは統計的テストで正しい結果を得るには、前提を満たす必要があるためです。

すべての数学の定理と同様に、前提条件に違反すると、統計的検定は意味のないものになり、そこから真実を導き出すことはできません。したがって、テストを使用してデータを説明したい場合、必要な前提条件が満たされていると仮定する必要があり、満たされていない場合(そしてそれを知っている場合)、テストは完全に間違っています。

基本的には、テスト/法律/定理は次のようになります。それは、科学的推論が控除に基づいているためだ含意ルールあなたはpremisseを持っている場合と言う、Aあなたは結論付けることができますBA=>Bしかし、あなたが持っていない場合A、あなたはどちらか持つことができますBかそうではなくB両方のケースが当てはまります。これは、論理的推論/推論の基本的な考え方の1つです(Modus Ponensルール)。つまり、前提条件に違反した場合、結果は重要ではなく、推測することはできません

含意のバイナリテーブルを思い出してください。

A   B   A=>B
F   F    T
F   T    T
T   F    F
T   T    T

あなたの場合、単純化するために、あなたは持っていDependent_Variables => ANOVA_correctます。ここで、独立変数を使用する場合、つまりDependent_VariablesFalseある場合、Dependent_Variables仮定に違反するため、含意は真になります。

もちろんこれは単純化されており、実際には依存変数間にある程度の独立性があるため、実際にはANOVAテストは有用な結果を返す可能性がありますが、これは仮定を満たさずにテストに頼ることができない理由を示しています。

ただし、問題を減らすことにより、元の条件が満たされないテストを使用することもできます:独立性制約を明示的に緩和することにより、結果が保証されることなく、意味のあるものになる可能性があります(その結果は、完全な問題なので、すべての結果を翻訳することはできません。ただし、新しい問題の追加の制約がテスト、したがって結果に影響を与えないことを証明できる場合を除きます。

実際には、これは、多くの場合、モデル化することにより、例えばナイーブベイズを使用することにより、実用的なデータをモデル化するために使用される従属独立変数を想定したモデルを使用して、変数(代わりの独立の)より良いモデルが占めるよりも、時には驚くほど、それは非常によく、多くの場合、動作し、依存関係の場合。この質問では、データがすべての期待を正確に満たしていない場合にANOVAを使用する方法についても興味があります。

要約すると、実用的なデータに取り組むつもりで、科学的結果を証明するのではなく、単に機能するシステム(つまり、Webサービスまたは実用的なアプリケーション)を作ることが目標である場合、独立性の前提(およびその他の前提)リラックスできますが、一般的な真実推測/証明しようとする場合は、すべての前提満たしていることを数学的に保証する(または少なくとも安全で証明できると仮定する)ことができるテストを常に使用する必要があります


2
私があなたの議論を正しく理解しているなら、あなたは、仮定が正確に満たされていない統計の適用が有効でないと言うことから始めます。本当なら、これは実に非常に悪いニュースです。ほとんどの計量経済学の本は(ほんの一例を挙げるため)、それが間違っていること(1語の要約)とその詳細を正確に説明することに時間を費やしています。ただし、途中でタックを変更するようで、代わりに提唱していることはあいまいです。論理的に無効であっても、何らかの形でデータを処理することは健全な場合があります。したがって、ここでは明確なアドバイスを見ることができません。
ニックコックス

要点は、前提条件に違反した場合、推論に偏りがあるため、額面どおりのテスト結果を取得できないことです。しかし、あなたはまだそれを試すことができ、自信があり十分な経験があれば、それから何かを得ることができますが、実際には科学的な推論を気にしない実用的な実装で世界に関する何らかの根拠のある一般的な真実を推測しようとするのではなく、実用的な目標のデータ。したがって、私の答えは「1語の要約」ではなく、一般的なケース(間違っている)と特定のケース(大丈夫かもしれません)だけです。
貪欲な

PS:私の声明は、統計アプリケーションだけでなく、論理的または数学的な定理/ルール/テストのアプリケーションにも関係します。これは、推論と帰納法を使用した推論にも当てはまります。しかし、私はあなたの計量経済学の本の参考文献に興味があります。あなたがOPの質問のコメントで提供した他の参考文献は非常に適切でした。
15年

コメントを追加していただきありがとうございますが、私はあなたの声明が特に明確であるか根拠のあるものだとは思いません。私が働いている科学者(私は1人)が科学的推論と実際の目標のためのデータ分析の違いを把握することはできません。Jeff Wooldridgeのような教科書を、事実上、仮定が重要である重要な拡張エッセイであり、その間に大きな灰色の領域があることを賞賛する場合を除き、私はそこに置いておきます。Amazon.com/Jeffrey-M.-Wooldridge/e/B001IGLWNY
ニックコックス

参考にしていただきありがとうございます。私はちょうど、彼らが素朴な独立性の仮定が従属変数を持つデータでまだ機能する理由を説明する論文について言及している別の質問を見つけました:「論文は、機能が独立しているときだけでなく、互いに機能の特徴間の/逆の」類似しているstats.stackexchange.com/a/23491/25538
gaborous
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.