相関と因果関係の区別は、Googleにどの程度関連していますか？

コンテキスト

このサイトでよくある質問は、「一般的な統計上の罪とは何ですか？」です。言及されている罪の1つは、「相関は因果関係を意味する...」リンクを想定していることです

次に、5つの賛成票を含むコメントで、「Googleは年に650億ドルを稼ぎ、違いを気にかけない」と提案されています。

ライトクイップを過度に分析するリスクがあるため、これは相関と因果関係の区別と区別の実際的な関連性を具体化するための有用な議論のポイントになると思いました。そしておそらく、それは機械学習と相関関係と因果関係の違いとの関係について何かを浮き彫りにすることができます。

このコメントは、検索エンジン結果の生成の基礎となるテクノロジーと広告関連のテクノロジーに対処していると思います。

質問

• 相関関係と因果関係の区別は、Googleの収入生成にどの程度関連しており、おそらく広告表示関連のテクノロジーと質の高い検索結果による収入の生成に特に焦点を当てていますか？

簡単な答えは、グーグル（または誰でも）が介入しようとする範囲で区別を気にするべきだということです。因果関係の知識は、特定のドメインでの介入（アクション）の効果について説明します。

たとえば、Googleが広告のクリック率を上げたい、GMailまたはGoogle+のユーザー数を増やしたい、またはBingではなくGoogleを使用するようにユーザーを誘導したい場合は、潜在的なアクションの影響を知る必要があります（たとえば、広告のフォントサイズ、印刷雑誌でのGoogle+の宣伝、GoogleとBingの検索結果の違いの公表など）。相関は、Googleの検索エンジンを適切に機能させるのに十分ですが、他のシステム（およびビジネス全体）では、区別が重要になることがよくあります。

Google（およびWebベースのビジネスを持つ多くの企業）が常にオンラインで実験を行っていることは注目に値します。これは、因果依存を特定および推定するための最も簡単で最良の方法です。

まず、それは単なるごまかしであり、間違っています。Googleには、非常に才能のある統計学者、情報検索の専門家、言語学者、経済学者、心理学者などがいます。これらの人々は多くの時間を費やして、相関関係と因果関係の違いについて多くの非統計学者を教育しています。大規模な組織であることを考えると、無知なポケットもあれば、大きなポケットもあるかもしれませんが、その主張は間違いです。さらに、その教育の多くは顧客、特に広告主に直面しています。

より深い答え：違いは非常に重要です。検索結果のランキングを見て、「相関」だけでなく、類似性の尺度、スコアリング関数などを含めることもできます。一部のページは、特定のクエリに対して良好な結果になるように測定されます。これらには、ランキングに重要なさまざまな予測機能があります。クエリに対して良い結果をもたらすこれらの優れたページとは対照的に、同じクエリに対して非常に悪い結果をもたらすページであるWebページのセットがあります。ただし、それらのページの作成者は、良いページのように見せるために多くの努力を費やします、数値の観点からます、テキスト一致、インターネットリンケージなど。ただし、これらのページが数値的に「良い」ページと「類似」しているからといって、これらが実際に良いページであることを意味するわけではありません。そのため、Googleは、妥当な機能が（別々の）良いページと悪いページを区別するものを決定するために多大な労力を費やしており、これからも努力を続けます。

これは完全な相関関係と因果関係ではありませんが、それよりも深いものです。特定のクエリに適したページは、多くの無関係なページまたは悪いページと類似しており、異なるように見える数値空間にマッピングされますが、結果が機能空間の同じ領域にあるからといって、同じ「高品質」サブセットに由来することを意味しませんウェブの。

より単純な答え：非常に単純な視点は、結果のランキングに対処することです。最良の結果が最初であるべきですが、何かが最初にランク付けされているからといって、それが最良の結果であるとは限りません。スコアリングのいくつかの測定基準により、Googleのランキングは品質評価の黄金の基準と相関していることがわかりますが、それはランキングが結果が品質と関連性の点で本当にこの順序であることを意味するわけではありません。

更新（3番目の回答）：時間が経つにつれて、私たち全員に影響を与える別の側面があります。それは、Googleの上位の結果であるため、上位のGoogleの結果が信頼できると見なされる可能性があるということです。リンク分析（たとえば、 "PageRank"-リンク分析の1つの方法）は、認知された信頼性を反映する試みですが、時間の経過とともに、トピックの新しいページは単にGoogleの上位結果にリンクすることで、そのリンク構造を強化する可能性があります。より信頼性の高い新しいページには、最初の結果と比較してヘッドスタートに問題があります。Googleは現在、最も関連性の高いページを配信したいと考えているため、いわゆる「リッチゲットリッチャー」現象を含むさまざまな要因が、認識された因果関係の暗黙的な影響により発生します。

更新（4番目の回答）：プラトンの洞窟のアレゴリーを読んで、現実と方法の「反射/投影」の結果として相関関係と因果関係を解釈する方法の感覚を得ることが役立つかもしれないことに気付きました（以下のコメントについて）私たち（または私たちのマシン）はそれを知覚します。ピアソンの相関に厳密に限定された相関は、誤解の関連付け（単なる相関よりも広い）と因果関係の問題の解釈としてはあまりにも限定的です。

ここのクイップの著者。

コメントは、David Mease（Google）の講演に部分的に触発され、彼が言った、そして私は言い換えれば、自動車保険会社は、男性であることがより多くの事故を引き起こすかどうかを気にしません。実際、実験で誰かの性別を変更することは不可能であるため、原因を示すことはできません。

同様に、Googleは、赤の色が広告をクリックするかどうかを実際に気にする必要はありません。それがより多くのクリックと相関している場合、広告に対してより多くの料金を請求できます。

Wired：The End of Theory：The Data Deluge Makes the Scientific Method Obsoleteのこの記事にも触発されました。見積もり：

「Googleの設立理念は、このページがそのページよりも優れている理由がわからないということです。着信リンクの統計がそうだと言えば、それで十分です。」

明らかに、Googleには因果関係と相関関係の違いを知っている非常に賢い人がたくさんいますが、彼らの場合、それを気にしないで十分なお金を稼ぐことができます。

Davidに同意します。介入する場合は違いが重要です。Googleは、制御された実験を実行して介入の結果をテストできます。（このような実験の最適なスケジュールは、以前の実験と観測データから学習した因果仮説のセットに依存するため、相関関係は依然として有用です！）

Googleが因果関係を学びたいと思う2番目の理由があります。因果関係は、他のプレイヤーの介入に対してより堅牢です。介入は局所的である傾向があるため、原因ネットワークの一部を変更しても、他のすべての原因メカニズムは変更されない可能性があります。対照的に、遠い因果リンクが壊れている場合、予測関係は失敗する可能性があります。インターネットは絶えず変化しており、Googleはオンライン環境のどの機能がそれらの変化に対してより堅牢であるかに関心を持つべきです。