タレブと黒い白鳥

Talebの本「The Black Swan」は、数年前に発売されたNew York Timesのベストセラーでした。この本は現在第2版になっています。JSM（年次統計会議）で統計学者と会った後、タレブは統計に対する彼の批判をいくらか抑えました。しかし、本の趣旨は、統計が非常に有用ではないということです。統計は正規分布と非常にまれなイベントに依存しているためです。「Black Swans」には正規分布がありません。

これは正当な批判だと思いますか？タレブは統計的モデリングの重要な側面を逃していますか？少なくとも、発生の確率を推定できるという意味で、まれなイベントを予測できますか？

私は数年前にブラックスワンを読みました。ブラックスワンのアイデアは優れており、遊戯的な誤acyに対する攻撃（それらはサイコロゲームであるかのように見える、知識のある確率で）は良いが、統計はとてつもなく誤って伝えられている通常は配布されません。Talebに以下の手紙を書くために、私はこの側面に十分に悩まされていました。

親愛なるタレブ博士

私は最近「ブラックスワン」を読みました。あなたのように、私はカール・ポッパーのファンです、そして、私はその中にある多くに同意しました。あなたの滑dicな誤acyの説明は基本的に健全であり、現実の一般的な問題に注意を引くと思います。ただし、パートIIIの多くは、本の残りの部分の信用を傷つける可能性があるまで、全体的な議論をひどく落胆させると思います。これは恥ずべきことです。なぜなら、黒鳥と「未知の未知数」に関する議論は、パートIIIのいくつかの誤りに頼ることなく、そのメリットに基づいていると思うからです。

私が指摘したい主な問題-そして、特に私が問題を誤解している場合、あなたの応答を求めます-は適用統計の分野のあなたの不実表示です。私の判断では、第14章、15章、16章は主にストローマンの議論に依存しており、統計と計量経済学を誤って伝えています。あなたが説明する計量経済学の分野は、応用統計学、計量経済学、および保険数理上のリスク理論を研究したときに教えられたものではありません（オーストラリア国立大学で、かなり標準的と思われるテキストを使用）。提起する問題（ガウス分布の制限など）は、学部レベルでも十分に理解され、教えられています。

たとえば、収入分布が正規分布に従っていないことを示すためにいくつかの長さを調べ、一般的な統計的実践に対する議論としてこれを提示します。有能な統計学者がそれを主張することはなく、この問題に対処する方法は十分に確立されています。たとえば、非常に基本的な「初年度計量経済学」レベルの手法を使用するだけで、その対数をとることで変数を変換すると、数値の例の説得力が低下します。そのような変換は、実際には、元の変数の分散がその平均が増加するにつれて増加するため、あなたが言うことの多くを無効にします。

あなたが言うように変換されていない応答変数でOLS回帰などを行う無能な計量経済学者がいると確信していますが、それは彼らを無能にし、不適切であると十分に確立された技術を使用するだけです。彼らは確かに学部課程でも失敗していたでしょう。学部課程では、実際の観測（非ガウス）分布を反映して、収入などの変数をモデル化するより適切な方法を探すことに多くの時間を費やします。

一般化線形モデルのファミリは、発生する問題を回避するために部分的に開発された一連の手法の1つです。分布の指数関数族（ガンマ分布、指数分布、ポアソン分布など）の多くは非対称であり、分布の中心が増加するにつれて増加する分散を持ち、ガウス分布を使用して指摘する問題を回避します。それでも制限が大きすぎる場合は、既存の「形状」を完全に削除し、分布の平均とその分散の関係を指定することができます（たとえば、分散を平均の2乗に比例して増加させる）。 「準尤度」推定法を使用します。

もちろん、この形式のモデリングはまだ単純すぎであり、未来が過去のようになると考えるように私たちを誘惑する知的トラップであると主張することができます。あなたは正しいかもしれません。あなたの本の強みは、私のような人々にこれを考慮させることだと思います。ただし、14〜16章で使用するものとは異なる引数が必要です。たとえば、ガウス分布の分散がその平均に関係なく一定であるという事実（スケーラビリティの問題の原因）を重視することは無効です。現実の分布は、ベル曲線ではなく非対称になる傾向があるという事実に重点を置いています。

基本的に、統計への最も基本的なアプローチ（ガウス分布を持つ生変数のナイーブモデリング）を1つだけ単純化しすぎて、そのような単純化しすぎたアプローチの欠点を（正確に）示しました。次に、これを使用して、フィールド全体の信用を失うギャップを作ります。これは、ロジックの重大な失敗、またはプロパガンダ手法のいずれかです。それはあなたの全体的な議論を損なうので残念です。その多くは（私が言ったように）私は有効で説得力がありました。

応答であなたが言うことを聞きたいです。この問題を提起したのは私が初めてではないだろう。

敬具

PE

私は本を​​読んでいませんが、述べたように、批判は私にはかなり不合理なようです。極端なイベントが重要な場合、統計にはツールボックスに極値理論などの適切なツールがあり、優れた統計学者はそれらを使用する方法を知っています（または少なくともそれらの使用方法を見つけ、目的に十分に関与します）見る分析）。批判は、「正規分布についてしか知らない悪い統計学者がいるため、統計学は悪い」と思われます。

「この本の目的は統計があまり役に立たないということだ」と言うのは不正確だと思う。本を読んで、彼が言っているように見えることは、量的金融や正規分布を仮定するあらゆる種類の証券取引のようなものは根本的に欠陥があるということです（実際、本では、彼はこれらのモデルを使用して予測を行うと主張する人々を呼び出します、「charlatans」）。Talebによると、正規分布は有形/物理的なもの（身長、体重、寿命など）の値をモデル化するのに非常に役立ちますが、市場のようなシステムは人間の感情によって駆動されることが多く、したがって、正規分布では正確に予測できない大きな変動。

私は統計をよく理解しておらず、ここで答えを読むまで、極値理論のようなことを聞​​いたことはありませんでした。とにかく、The Black SwanとFooled By Randomnessは同様の前提を持っているようです。これは「正規分布は常にOKとは限りません」です。私は彼が統計の全分野を中傷したことを思い出しません。

私は「The Black Swan」を読んで、楽しんだし、統計学者だ。私はその「統計の批判」が耐え難いものであるとは全く思わなかった。ポイントごと：

1. タレブはブラックスワンの概念を発明しませんでした。それはかなり長い間哲学的思考の好例でした！
2. Talebは、特定の（悪い）アプリケーションほど「統計」を批判していません。
3. この本はベストセラーでした。それは統計学者向けではなく、一般大衆向けでした。統計学者が知っていることについて一般の人々に教えることは非常にうまくいきましたが、他の読者の多く（大多数！）はしませんでした。ですから、その本から統計を「売る」方法について多くを学ぶことができました。
4. （私にとって）最も重要なことは、タレブは古代ギリシャの懐疑的な哲学への多くの言及を含んでいたことです。ここでその点について言及した人は誰もいませんでしたが、包含は本の本当のセールスポイントだったと思います！
5. この本は文学作品であり、技術作品ではありません。Talebの技術的な仕事を批判したい場合は、彼のホームページにアクセスして、彼の技術論文をダウンロードしてください。

この答えが嫌いな人や本が嫌いな人は、新しいhttps://fernandonogueiracosta.files.wordpress.com/2014/07/taleb-nassim-silent-riskでTalebの技術的議論をご覧ください。 pdf 「サイレントリスク」、これは技術的です。

私はブラック・スワンを読んでいませんが、統計に対する彼の批判が本当にあなたが言うほど単純なものであるなら、それはばかげています。明らかにいくつかの統計は正規分布に依存していますが、多くはそうではありません。

まれなイベントをモデル化できますか？もちろんできます。本当の問題は、どれだけうまくモデル化できるかです。そして、その質問には、まれな出来事とその前例についてどれだけ知っているかに基づいて、さまざまな分野でさまざまな答えがあります。

今日のニューヨークタイムズマガジンには、過去10年ほどで天気予報がどのように改善されたかに関するネイトシルバーの興味深い記事があります。これには、ハリケーンなどのまれなイベントのより良いモデリングが含まれます。

この本は読む価値がありますか？

私も本を読んでいませんが、彼の主張が、正規分布よりも太い裾を持つ分布があると言っているほど単純化できる方法はありません。これは他の回答へのコメントになりますが、このウェブサイトには十分な称賛を集めていません。

ウィキペディアから：

「彼は、統計はまれなイベントのリスクを予測できないため、フィールドとして基本的に不完全であると述べています...」

この質問は、コミュニティが第4象限についてどのように考えているのかとよく似ています。

Dennis Lindleyによるこの本のレビューを強くお勧めします。それは、本のアイデアの貧弱でideas慢な説明に対する多くの壊滅的な議論を含んでいます：

http://onlinelibrary.wiley.com/doi/10.1111/j.1740-9713.2008.00281.x/abstract

ブラックスワンは、「ベストセラー」であることは高品質のコンテンツを保証しない別の例です。

ガウス分布に依存する統計的手法は役に立たないとタレブが実際に言うとは思わない。この本での彼のポイントは、物理的または生物学的プロセスおよびモデリングの多く（すべてではない）に非常に役立つということでした。彼はいくつかの良い点と悪い点を作ります（ブラックスワンとリンクドは「すべてがべき法則です！」ペストの始まりでしたが、今日でも私たちを悩ませています）。しかし、この本は文学と哲学のコレクションである素人向けのエッセイ。

それは私がタレブが人々を悪化させるのが好きだと思うと言った。これは、マイロンショールズとの戦いで見ることができます。この場合、それは学部レベルで、時には大学院レベルで、ガウス分布の仮定に対する一種のフリットの統計教育として有用だったかもしれません。彼が金融の時代に、ブラック・ショールズや他のテクニックについての深い知識を持つ多数のクオンツに出会ったが、分布のような根本的な仮定を考慮しなかったと思う。タレブは、教育機関で適切な教育の失敗を突いていたのではないかと思います。

本を読んでいないあなたのそれらはベースから道を進んでいる。彼は、スケーラブルとスケーラブルを大きく区別しています。スケーラブルでない問題については、従来の統計が十分に役立ちます。彼はそれを批判していません。ブラックスワンはスケーラブルであり、過去の経験的データを予測するのは困難です。この本は、これらの出来事がどのように大きな影響を与えることができるかについてであり、一般的には事実の後にのみ説明されています。認識論は優れています。

この本を読んでいないと、ガウスの鐘は「確率密度」の明確な定義を与えたことがないので失敗すると感じます。それに加えて、彼らは、分布変数の合計と前者を知覚する母集団の合計を同時に含むローレンツ曲線の完全な点のセットを決して与えません。「密度」を使用する場合、どの変数に関して説明する必要があります。たとえば、1リットルあたりキログラムと言えば、体積に関連する重量密度を指します。そのステップは、教科書のガウス理論では与えられていません。若者が統計を適切に理解していないのも不思議ではありません。