自動化できない統計学者は何をしますか？

ソフトウェアは最終的に統計学者を時代遅れにしますか？コンピューターにプログラムできないものは何ですか？

@Adam、他の分野の研究者（既存の方法論と知識に基づいた人々）と同様に統計研究者を考える場合、最初の質問に対する答えが「いいえ」であることをより明確にするかもしれません。

缶詰のソフトウェアパッケージを単に適用することで生計を立てる統計学者は、結果を解釈する必要のある論文のディスカッションセクションを書くことを除いて、あらゆるステップでコンピューターに置き換えることができます。その意味で、はい-それは自動化できます（ただし、自然言語プロセッサの1つの地獄を持つ複雑なソフトウェアである必要があります）。

しかし、ほとんどの研究者が最終的に理解するように、人々がよく使用する「缶詰」ルーチンはかなり限られているため、特別な研究質問に答えるために修正する必要があります（または新しい方法を完全に開発する必要があります）。 。または、研究者は、古典的方法を使用して答えることができる、多少異なるが関連する研究質問に単純に解決する必要があります。

私が知っているほとんどの統計学者は、彼らの主な役割が新しい方法論を開発することである研究職（例えば、教授、研究科学者）で働いています。このプロセスを自動化できれば、つまりコンピューターが有用な新しい方法論を策定し、作成できるようになると、あらゆる分野の研究者が時代遅れになるのではないかと思います。

強力なAIが人間を全体として陳腐化させた場合にのみ、コンピューターは統計学者を陳腐化します。

この質問は、「これらの堅牢な統計的手法がすべてあるのに、なぜ人々はまだ他の手法を使用しているのか」という疑問を思い起こさせます。答えのいくつかは習慣と訓練ですが、その大部分は質問が素朴であるということです。「頑健」とは、質問が示すように、「自分がしていることを考えて理解する必要がない」という意味ではありません。

つまり、R統計パッケージを今すぐダウンロードして、基本的な統計手法を日暮れまでに実行できるということです。その後、いくつかのパッケージをダウンロードして、ほとんどの人が聞いたことのない難解なメソッドを使い始めることができます。問題は、合理的な答えが得られるかどうかです。答えは、おそらくそうではありません。

アルゴリズムは自動化されていますが、攻撃の計画から結果が実際に意味をなすかどうかの最終判断まで、調査パス全体に沿って多くの判断呼び出しを行う必要があります。そのポイントに到達するためには、「コンピューター、教えてください...」と言うことができるStar-Trekのようなコンピューターについて本当に話しています。その時点までに、ほとんどすべての人間の職業は時代遅れです。

統計学者はコンピューターではできないことを何ができるのでしょうか？置き換えられる元のプログラムを作成します。

そのやや馬鹿げた答えを超えて、問題の根本は統計学の実際の科学を無視してそのメカニズムを支持し、統計分析における創造的プロセスの役割を完全に無視することです。これは、ピーター・フロムの車の例を使用すると、車はリベットと溶接を使用して構築されると言うので、新しいマスタングをリベットと溶接ロボットで設計できない理由はありません。

膨大な量の統計の実行には、主題の専門知識、判断の呼び出し、および創造性が含まれます。多くの場合、アルゴリズムから実行される「定型」分析では最良の答えが得られません。また、自動化された方法を使用すると実際に間違った答えが得られるドキュメント化された例が多数あります。段階的にp値ベースの変数選択手順と純粋に数値的に定義された分位数に基づく分析の使用は、私が最もよく知っている2つですが、他にも豊富なものが見つかるはずです。

すべてがまだ何らかの形で自動化されていたとしても、結果を解釈する問題があります。回帰係数またはp値を取得しても、統計学者（または統計的に傾いた科学者）の仕事は行われません。その発見はどういう意味ですか。警告は何ですか？これは前に来たものの文脈で何を表していますか？

最後に、新しいメソッドの開発があります。統計は、フィッシャー、コックスなど、私たちが認識している名前を持つ人々によって単純にレイアウトされたものではありません。それは進化している分野です。

この質問を解釈する別の方法は、「近年の自動化された統計手法の急速な増加は、専用の統計学者とデータ分析者の仕事の需要の減少に対応していたか」です。

データを見ると、この質問に対処できます

Indeed.comおよび革命ブログのデータ提供

私は質問の前提に完全に同意していません。つまり、コンピューターが統計学者に取って代わることを望む方法はないと思いますが、私がそう思う理由に具体的な例を挙げます。

統計学者が科学者と、特に実験の設計と解釈において行う仕事には、人間の心だけでなく、コンピューターがこれまでに見せることのできなかった哲学的な曲がりも必要です。

ある種のSkynetタイプの状況に終わらない限り、もちろん、その場合、すべての人類の未来に関しては、おそらくすべての賭けはオフであると考えています。

この質問は、統計学者の素朴な見方を示唆しています。つまり、ap <0.05かどうかを確認し、いくつかの数値と標準グラフを報告することです。それがあなたが統計学者によって意味するものであるならば、あなたはそれの大部分が完全に自動化されることができるというあなたの含意で正しいです。しかし、それは統計学者が意味するものではありません。

ただし、用語統計学者を定義すると、より良い答えが得られる可能性があります。

統計パッケージをコンピューターにロードしても、車を買うことで運転できるようになるだけでなく、統計学者になることはありません。

統計学者が「缶詰」ルーチンを適用するだけでも、多くの質問があります。

1. どのルーチン？クライアントの質問に答えるルーチンは何ですか？
2. どの変数で？そして、それらは変換されるべきですか？いくつかのレベルを組み合わせる必要がありますか？どちらをモデルに強制する必要がありますか？
3. どのデータで？外れ値を削除する必要がありますか？トリミング？たぶん堅牢な方法ですか？

等々。

しかし、ジョブはコンピューターの電源が入る前に開始され、統計パッケージがオフにされてからかなり後に終了します。

前：クライアントは何をしたいですか？ 多くの場合、これは多くの作業です！クライアントにはどのようなデータがありますか？おいおい！変数にはV1からV828171のラベルが付いています 文献の現状は？クライアントは何を期待しますか？それはどれほど技術的でしょうか？

後：結果はどういう意味ですか？（「これは回帰が重要であることを意味する」だけではありません）結果をクライアントにどのように説明する必要がありますか？結果は他にどのような質問をしますか？

コンピューターがこれを行うことができるようになるまでには長い時間がかかると思います。

さまざまな職業やタスクの自動化の可能性を調べる学術研究では、統計学者がすぐにコンピューターに置き換えられるとは考えていません。たとえば、論争の的になっているFrey＆Osborne（2013）の研究を参照してください。統計学者は、情報化の確率に従って職業をランク付けし、統計学者は702から213の低い確率で22％の確率でランク付けされます（付録の表を参照）。さらに興味がある場合は、こちらのスレートの記事も参照してください。

Arntz等。（2016）（ここではThe Economistの記事）は、欧州連合の職業ではなくタスクを見て、同様の結論に達します。「複雑な数学または統計」を行うことは、仕事の自動化に統計的に有意に負の関連があります（表3を参照）。

しかし、いくつかの注意が学者および/またはエコノミストは常に将来を予測するのに非常に良いされていませんが、お勧めです（ノーベル賞受賞者のロバート・ルーカス2003年に締結例えば、数年の金融危機の前に、そのうつ病予防の」中心的な問題として、すべての実用的な目的のために、解決されて、実際には何十年も解決されています。」）。両方の研究はワーキングペーパーのようであり、広く議論されていますが、標準の査読付きジャーナルには発表されていません。

学術的議論については、ここで自動化に関する研究の状態に関する概要記事を見つけることができます。

AIは統計学者をより賢く、競争力を高めるだけだと思います。どうして？これは何十年も前の発想以来の人工知能の意図だからです...