素人が分析を行うことが多い時代に、モデルの仮定と評価の重要性を誇張しているか

結論として、統計について学べば学ぶほど、自分の分野で発表された論文を信用しなくなります。私は単に、研究者が統計を十分に行っていないと信じています。

私はいわば素人です。私は生物学の訓練を受けていますが、統計や数学の正式な教育を受けていません。私はRを楽しんでおり、研究を行う際に適用する方法の理論的基礎のいくつかを読む（そして理解する）努力をすることがよくあります。今日分析を行っている大多数の人々が実際に正式に訓練されていなくても、私は驚かないでしょう。私は約20のオリジナルの論文を発表しましたが、その一部は有名なジャーナルに受け入れられ、統計学者は頻繁にレビュープロセスに関与しています。私の分析には、通常、生存分析、線形回帰、ロジスティック回帰、混合モデルが含まれます。レビューアーがモデルの仮定、適合、評価について尋ねたことはありません。

したがって、モデルの仮定、適合、評価についてあまり気にしませんでした。仮説から始め、回帰を実行し、結果を提示します。場合によってはこれらのことを評価しようと努力しましたが、常に「すべての仮定を満たしていませんでしたが、結果（「主題の知識」）を信頼しているので、もっともらしいので大丈夫です」統計学者に相談するとき、彼らはいつも同意するように思われました。

今、私は自分で分析を行う他の統計学者と非統計学者（化学者、医師、生物学者）と話をしました。人々はこれらすべての仮定と正式な評価についてあまり気にしません。しかし、CVには、残差、モデルの適合、評価方法、固有値、ベクトルなどについて尋ねる人がたくさんいます。このように言えば、lme4が大きな固有値について警告するとき、そのユーザーの多くがそれに対処することを気にかけていることを本当に疑います...

それは余分な努力の価値がありますか？公開されているすべての結果の大部分がこれらの仮定を尊重しておらず、おそらくそれらを評価していない可能性はありませんか？データベースは毎日大きくなり、データが大きくなると仮定と評価はそれほど重要ではなくなるという考えがあるため、これはおそらく大きな問題です。

私は絶対に間違っている可能性がありますが、これは私がこれを認識した方法です。

更新： StasKからの引用（下）：http : //www.nature.com/news/science-joins-push-to-screen-statistics-in-papers-1.15509

私は生物学者や医師としてではなく、統計学者として訓練されています。しかし、私はかなりの医学研究（生物学者や医師との共同作業）を行っています。私の研究の一環として、私はいくつかの異なる病気の治療についてかなり学びました。これは、私が研究した病気について友人から私に尋ねられた場合、その特定の病気によく使用されることがわかっている薬の処方箋を書くことができるということですか？私がこれを行うと（そうではありません）、多くの場合、おそらくうまくいくでしょう（医師が同じ薬を処方しただけだから）が、彼らはアレルギー/薬を持っている可能性が常にあります医師が尋ねることを知っているであろう相互作用/その他、私はしませんし、最終的には善よりもはるかに害をもたらします。

あなたが仮定していることと何が間違っている可能性があるかを理解せずに統計を行っている場合（またはこれらのことを探す方法に沿って統計学者に相談する場合）、統計的不正を実践しています。ほとんどの場合、おそらく大丈夫ですが、重要な仮定が成り立たないが、それを無視する場合はどうでしょうか？

私は適度に統計的に有能であり、独自の分析の多くを行うことができる一部の医師と協力していますが、彼らはまだ私を追い越します。多くの場合、彼らは正しいことを行い、分析を自分で行うことができることを確認します（そして、一般的に確認に感謝します）が、時にはより複雑なことをすることもあります。私または私のチームに、または少なくとも私をより積極的な役割に連れて行ってください。

あなたのタイトルの質問に対する私の答えは「いいえ」です。誇張ではありません。むしろ、素人が統計学者と少なくとも手順や結果を再確認する可能性が高くなるように、いくつかのことを強調すべきです。

編集

これは、以下のAdamのコメントに基づく追加です（別のコメントについては少し長くなります）。

アダム、コメントありがとうございます。短い答えは「わからない」です。記事の統計的品質の改善は進んでいると思いますが、物事は多くの異なる方法で急速に変化しているため、品質を取り戻して保証するには時間がかかります。ソリューションの一部は、イントロ統計コースでの違反の仮定と結果に焦点を合わせています。これは、クラスが統計学者によって教えられている場合に発生する可能性が高くなりますが、すべてのクラスで発生する必要があります。

一部のジャーナルは順調に進んでいますが、特定の統計学評論家が標準になることを望んでいます。数年前の記事がありました（ご参考に便利な資料はありませんが、JAMAまたはニューイングランドジャーナルオブメディシンのいずれかに掲載されていました）。 be）JAMAまたはNEJMでは、生物統計学者または疫学者が共著者の1人であった場合。

最近出てきた興味深い記事は次のとおりです。http：//www.nature.com/news/statistics-p-values-are-just-the-tip-of-the-iceberg-1.17412は同じ問題のいくつかを議論しています。

ええ、はい、仮定は重要です。仮にそれらがまったく問題にならなければ、それらを作る必要はないでしょうか？

問題は、それらがどれだけ重要なのか、これは手順や仮定によって異なり、結果について何を主張したいのか（そして、そのような主張において、聴衆がどの程度近似しているのか、不正確であっても）。

そのため、仮定が重要な状況の例については、分散のF検定で正規性の仮定を考慮してください。分布のかなりわずかな変更でさえ、手順の特性（実際の有意水準と検出力）にかなり劇的な影響を与える可能性があります。実際に28％レベルのときに5％レベルでテストを実行していると主張する場合、ある意味で、実験の実施方法について嘘をついているのと同じようなことをしていることになります。そのような統計上の問題が重要だと思わない場合は、それらに依存しない議論をしてください。一方、統計情報をサポートとして使用する場合は、そのサポートを偽って伝えることはできません。

その他の場合、特定の仮定はそれほど重要ではないかもしれません。線形回帰で係数を推定していて、それが統計的に有意であるかどうかを気にせず、効率を気にしない場合は、ホモスケダスティクスの仮定が当てはまるかどうかは必ずしも重要ではありません。しかし、統計的に有意であると言いたい場合、または信頼区間を示したい場合、はい、それは確かに重要です。

Glen_bがすばらしい答えを出しましたが、それに数セントを加えたいと思います。

一つの考慮事項は、あなたが本当に科学的真実を得たいかどうかであり、それはあなたの結果を磨き、あなたのアプローチが防御可能であるかどうかのすべての詳細を理解することを必要とするでしょうか？モード。言い換えれば、あなたはあなたが可能な限り最高の仕事をしているのかどうか、あなたの内なる専門家の良心に尋ねなければなりません。あなたの専門分野で統計的リテラシーが低く、統計的手法が緩いことを参照しても、説得力のある議論はありません。一部のトップアウトレットは、統計プロセスの専門知識をレビュープロセスに取り入れる明確なイニシアチブを持っていますが、レビュアーは、これらの緩い標準と同じ規律から来た場合、せいぜい半分しか役に立たないことがよくあります。

しかし、あなたが冷笑的な「出版または滅亡」サラミスライサーであっても、他の考慮事項は基本的にあなたの研究評判の安全性です。あなたのモデルが失敗し、あなたがそれを知らない場合、あなたは来て、より洗練された楽器でモデルチェックの亀裂にdriveを打ち込むことができる人々による反論のリスクにさらされています。確かに、その可能性は低いように思われます。科学界は、名声と再現性の名目上の哲学的要件にもかかわらず、他人の研究を再現する試みにめったに従事しません。（私は基本的に「ああ、なんてこった、本当にやったんだそして、査読済みの公開された準統計的アプローチの批評と改良を提供しました。）しかし、統計分析の失敗は、暴露されると、しばしば大きく不快なスプラッシュを作ります。

仮定の違反の性質は、将来の研究の重要な手がかりになる可能性があります。たとえば、Cox生存分析の比例ハザード仮定の違反は、短期生存に大きな影響を与えるが、長期的にはほとんど影響を与えない変数が原因である可能性があります。これは、統計的テストで仮定の妥当性を調べることで取得できる、予期しないが潜在的に重要な情報のタイプです。

したがって、基礎となる前提条件をテストしないと、文学だけでなく、潜在的な損害を被ることになります。高品質のジャーナルがより洗練された統計レビューを必要とするようになると、頻繁にそうするように求められるようになります。統計レビューアが要求するテストが、論文の重要なポイントだと思っていたものを損なうような立場になりたくないのです。

中間的な観点から答えます。私は統計学者ではなく、化学者です。ただし、過去10年間、ケモメトリックス=化学関連データの統計データ分析に特化してきました。

私は単に、研究者が統計を十分に行っていないと信じています。

おそらくそうです。

短縮版：

次に、仮定について。私見では、この状況はあまりにも異質であるため、1つのステートメントで対処することはできません。違反が無害であるか重大であるかを判断するには、正確に仮定が必要なものと、アプリケーションによって違反される可能性のある方法の両方を理解することが必要です。そして、これには統計とアプリケーション知識の両方が必要です。
しかし、実現不可能な仮定に直面している開業医として、他にも何かが必要です。たとえば、違反が実際に問題を引き起こしているかどうか、または無害かどうかを判断できる「第2の防衛線」が必要です。

ロングバージョン：

• 実用的な観点から、いくつかの典型的な仮定はほとんど満たされません。時々、データに関する賢明な仮定を定式化できますが、多くの場合、問題は統計的な観点から非常に複雑になり、解決策はまだわかっていません。今では、科学をするということは、あなたの特定の分野だけでなく、他の分野でもおそらく知られていることの境界に到達することを意味すると信じています（ここで：応用統計）。

• 特定の違反が通常無害であることが知られている他の状況があります-たとえば、LDAが最適であることを示すためにLDAに等しい共分散をもつ多変量正規性が必要ですが、予測がよく実行されるヒューリスティックに従うことはよく知られています仮定が満たされていません。また、どの違反が問題を引き起こす可能性が高いか：ディストリビューションの重いテールが実際にはLDAの問題につながることも知られています。
  残念ながら、そのような知識は論文の凝縮された執筆に結びつくことはめったにないので、読者はアプリケーションの特性だけでなくモデルの特性を十分に考慮した後、著者がモデルを決定したかどうか、または単にモデルを選んだかどうかはわかりません彼らは出くわしました。

• 統計的性質が理解されるまでに数十年かかっても、実用的なアプローチ（ヒューリスティック）が発展して、実用的な観点から非常に役立つことがあります（PLSのことを考えています）。

• 発生する（さらに発生する必要がある）もう1つのことは、違反の考えられる結果を監視（測定）できることです。これにより、問題があるかどうかを判断できます。アプリケーションについては、十分に良い限り、モデルが最適であるかどうかは気にしないかもしれません。
  ケモメトリックスでは、予測にかなり重点を置いています。そして、これは、モデリングの仮定が満たされない場合に非常に良いエスケープを提供します。これらの仮定に関係なく、モデルがうまく機能するかどうかを測定できます。実践者の観点から、正直で最先端の検証を行い、報告すれば、モデリング中に好きなことを行うことができます。
  分光データのケモメトリック分析では、モデルが簡単にオーバーフィットすることがわかっているため、残差を調べません。代わりに、テストデータのパフォーマンス（および場合によってはトレーニングデータの予測パフォーマンスとの違い）に注目します。

• 他の状況では、どの仮定にどれだけ違反するとモデルが故障するかを正確に予測することはできませんが、仮定の重大な違反の結果をむしろ直接測定することができます。
  次の例：私が通常扱う研究データは、（安定した推定値を保証するために）統計的経験則が変量ごとのケースに推奨するサンプルサイズよりも数桁小さいです。しかし、統計の本は通常、この仮定が満たされない場合、実際に何をすべきかについてあまり気にしません。この点で実際に問題があるかどうかを測定する方法もありません。しかし：そのような質問は、より応用された分野で扱われます。結局のところ、モデルの安定性または少なくとも予測が不安定であるかどうかを直接測定することは非常に簡単です（リサンプリングの検証とモデルの安定性に関するCVについてはこちらをご覧ください）。また、不安定なモデルを安定化する方法があります（例：バギング）。

• 「第2の防衛線」の例として、リサンプリング検証を検討してください。通常最も強力な仮定は、すべての代理モデルがデータセット全体でトレーニングされたモデルと同等であるということです。この仮定に違反すると、よく知られている悲観的なバイアスが生じます。2行目は、少なくともサロゲートモデルが互いに同等であるため、テスト結果をプールできることです。

最後になりましたが、私は「顧客科学者」と統計学者が互いにもっと話すよう奨励したいと思います。IMHOの統計データ分析は、一方向で実行できるものではありません。ある時点で、各側は相手側の知識を獲得する必要があります。私は時々、統計学者と化学者および生物学者の間の「翻訳」を手伝います。統計学者は、モデルに正則化が必要であることを知ることができます。しかし、たとえばLASSOと尾根の間で選択するには、化学者、物理学者、または生物学者だけが知ることができるデータの特性を知る必要があります。

CVには統計学者や統計について有能ではないにしても好奇心people盛な人々が住んでいることを考えると、仮定を理解する必要性を強調するすべての答えに驚くことはありません。私もこれらの答えに原則的に同意します。

しかし、現在、出版への圧力と統計的完全性の低い基準を考慮すると、これらの答えは非常に素朴であると言わざるを得ません。私たちは一日中何をすべきかを人々に伝えることができます（つまり、あなたの仮定を確認します）が、彼らがすることは単に制度上のインセンティブに依存します。OP自身は、モデルの仮定を理解せずに20の記事を公開できたと述べています。私自身の経験を考えると、これを信じるのは難しいとは思いません。

したがって、私はOPの質問に直接答えて、悪魔の支持者を演じたいです。これは決して「良い習慣」を促進する答えではありませんが、風刺のヒントで物事がどのように行われるかを反映するものです。

それは余分な努力の価値がありますか？

いいえ、目標が公開である場合、モデルを理解するためにすべての時間を費やすことは価値がありません。文献で一般的なモデルに従ってください。そうすれば、1）あなたの論文はレビューをより簡単に通過し、2）「統計的無能」にさらされるリスクは小さくなります。

公開されているすべての結果の大部分がこれらの仮定を尊重しておらず、おそらくそれらを評価していない可能性はありませんか？データベースは毎日大きくなり、データが大きくなると仮定と評価はそれほど重要ではなくなるという考えがあるため、これはおそらく大きな問題です。

はい、ほとんどの公開された結果は真実ではない可能性があります。実際の研究に携わるほど、その可能性は高くなります。

短い答えは「いいえ」です。統計的手法は、結果が有効であるために満たされるべき一連の仮定の下で開発されました。したがって、仮定が満たされなかった場合、結果が有効でない可能性があることは理にかなっています。もちろん、モデルの仮定に違反しているにも関わらず、一部の推定値は依然として堅牢な場合があります。たとえば、多項ロジットは、IIAの仮定に違反していてもうまく機能するようです（以下のリファレンスのKropkoの[2011]論文を参照）。

科学者として、現場の人々が仮定が満たされているかどうかを気にしなくても、私たちはそこに出した結果が有効であることを保証する義務があります。これは、科学が事実を追求する際に科学者が正しい方法で行動するという前提に基づいて科学が構築されているためです。同僚に仕事をチェックしてから、ジャーナルに送信することを信頼しています。査読者が原稿を公開する前に有能にレビューすることを信頼しています。我々は仮定します研究者とレフェリーの両方が彼らが何をしているのかを知っているので、査読済みのジャーナルに掲載されている論文の結果を信頼することができます。私たちは、（」これはあなたがあなたの頭を振って終わる文学の記事の膨大な量に基づいて、現実の世界では常に真実ではないことを知っていると立派な雑誌で明らかに桜の厳選された結果であなたの目を転がりジャマが発表され、この論文を！ "）。

だから、特に人々はあなた、つまり専門家があなたのデューデリジェンスを行ったことを信頼しているので、その重要性を誇張することはできません。少なくともあなたができることは、あなたの結果の妥当性を人々が解釈するのを助けるために、あなたの論文の「制限」セクションでこれらの違反について話すことです。

参照

Kropko、J。2011。政治的研究のための離散選択と時系列断面法への新しいアプローチ（論文）。ノースカロライナ州チャペルヒルのUNCチャペルヒル

非常に高度な統計が必要な場合は、データが混乱していることが原因である可能性が最も高く、これは心理学は言うまでもなく、ほとんどの社会科学の場合です。良いデータがあるフィールドでは、統計はほとんど必要ありません。物理学は非常に良い例です。

彼の有名な重力加速実験に関するガリレオからのこの引用を考慮してください：

長さ約12キュビット、幅1キュビット、幅3指の木製の成形品またはスキャンニング材を取りました。その端には、1本の指よりも幅の広いチャネルがカットされました。この溝を非常に真っ直ぐで滑らかで洗練されたものにし、羊皮紙で並べて、できるだけ滑らかで洗練された状態で、硬くて滑らかで非常に丸いブロンズボールに沿って転がしました。このボードを傾斜した位置に置いて、一方の端を1つか2キュビト上に上げて、ボールを転がしました。私がちょうど言ったように、チャネルに沿って、現在説明されている方法で、降下するために。2つの観測間の偏差が脈拍の10分の1を超えないような精度で時間を測定するために、この実験を複数回繰り返しました。この操作を実行し、その信頼性を確保したので、ボールの長さをチャネルの4分の1だけにした。そして、降下の時間を測定したところ、前者のちょうど半分であることがわかりました。次に、他の距離を試し、全長の長さを半分の長さ、2 / 3、3 / 4、または実際に任意の端数の時間と比較しました。そのような実験では、完全に100回繰り返されましたが、横断する空間は時間の2乗として相互に関係していることが常にわかりました。これは、平面、つまりチャネルのすべての傾斜に当てはまりました。玉。また、飛行機のさまざまな傾斜での降下時間は、正確にその比率を維持していることがわかりました。

時間を測定するために、高い位置に置かれた大きな水の容器を使用しました。この容器の底部に小さな直径のパイプをはんだ付けし、水の全噴流またはその長さの一部にかかわらず、各降下の間に小さなガラスに集めた水の細い噴流を与えました。このようにして集められた水は、降下のたびに非常に正確なバランスで計量されました。これらの重みの差と比率は時間の差と比率を与え、これは非常に正確で、操作は何度も繰り返されましたが、結果に大きな違いはありませんでした。

強調表示されたテキストに注意してください。これが良いデータです。それは、良い理論に基づいて計画された実験から来ています。興味のあるものを抽出するために統計は必要ありません。その時点で統計はなく、コンピューターもありませんでした。結果？かなり基本的な関係であり、現在も維持されており、6年生が自宅でテストすることができます。

この素晴らしいページから引用を盗みました。

更新：@Silverfishのコメントに、実験的な素粒子物理学の統計の例を示します。かなり基本的でしょう？わずかにMBAレベルを超えています。彼らがを愛していることに注意してください:)$\chi^2$

この質問は専門家としての誠実さの例のようです。

問題は、（a）素人による統計分析の十分な批判的評価がないか、または（b）統計的エラー（タイプ2エラーのような）を特定するには不十分な常識の場合ですか？

自分の専門分野について十分に知っているので、その専門分野の境界に近づいたときに専門家の意見を求めます。十分な知識がなくても人々がF検定（およびExcelのR 2乗）のようなものを使用するのを見てきました。

私の経験では、教育システムは、統計を促進したいという熱意の中で、ツールを過度に単純化し、リスク/制限を過小評価しています。これは他の人が経験し、状況を説明する共通のテーマですか？