同じ箱とひげのプロット(平均/標準/中央値/ MAD /最小/最大)を持つAnscombeのようなデータセット
編集:この質問が膨らんだので、要約:同じ混合統計(平均、中央値、ミッドレンジ、およびそれらに関連する分散、および回帰)を持つ異なる意味のある解釈可能なデータセットを見つけます。 Anscombeカルテット(高次元データを視覚化する目的を参照してください)は、同じ周辺平均/標準偏差(4つのと4つので別々に)と同じOLS線形フィットを持つ4つの -データセットの有名な例です、回帰および残差平方和、相関係数。したがって、タイプの統計(周辺および結合)は同じですが、データセットはまったく異なります。y x yxxxyyyxxxyyyℓ 2R2R2R^2ℓ2ℓ2\ell_2 編集(OPコメントから)小さいデータセットサイズを別にして、いくつかの解釈を提案させてください。セット1は、分布ノイズとの標準的な線形(アフィン、正確には)関係として見ることができます。セット2は、より高度な適合の絶頂である可能性のあるきれいな関係を示しています。セット3は、1つの外れ値を持つ明確な線形統計依存性を示しています。セット4はよりトリッキーですからを「予測」する試みは失敗に結びついているようです。の設計により、値の範囲が不十分なヒステリシス現象、量子化効果(が過度に量子化される可能性があります)、またはユーザーが従属変数と独立変数を切り替えました。x x xyyyxxxxxxxxx したがって、サマリー機能は非常に異なる動作を隠します。セット2は、多項式近似によりうまく対処できます。セット4と同様に、外れ値に耐性のあるセット(など)およびセット4。編集(OPコメントから):ブログ投稿Curious Regressionsは次のように述べています:ℓ 1ℓ2ℓ2\ell_2ℓ1ℓ1\ell_1 ちなみに、Frank Anscombeがこれらのデータセットをどのように思いついたかは明らかにしなかったと聞いています。要約統計量と回帰結果をすべて同じにすることが簡単な作業だと思う場合は、試してみてください! でアンスコムの例と同様の目的のために構築されたデータセット、いくつかの興味深いデータセットは、同じ位数ベースのヒストグラムと、たとえば、与えられています。意味のある関係と統計の混合が見られませんでした。 私の質問は次のとおりℓ2ℓ2\ell_2です。同じタイプの統計を持つことに加えて、2変量(または視覚化を維持するための3変量)Anscombeのようなデータセットがあります。 それらのプロットは、測定と測定の間の法則を探しているかのように、と 関係として解釈できます。yxxxyyy それらは同じ(より堅牢な)限界特性(同じ中央値と絶対偏差の中央値)を持ち、ℓ1ℓ1\ell_1 同じ境界ボックス:同じ最小値、最大値(したがってタイプのミッドレンジおよびミッドスパン統計)。ℓ∞ℓ∞\ell_\infty このようなデータセットは、各変数に同じ「箱ひげ」プロットの要約(最小、最大、中央値、絶対偏差/ MADの中央値、平均、標準)を持ち、解釈がまったく異なります。 少なくとも絶対回帰がデータセットで同じである場合はさらに興味深いでしょう(しかし、私はすでにあまりにも多くを求めています)。ロバストな回帰とロバストでない回帰について説明する際の注意点として、リチャードハミングの引用を覚えておいてください。 計算の目的は、数値ではなく洞察です 編集(OPコメントから)同様の問題は、同一の統計情報を使用したデータの生成、非類似グラフィックス、Sangit Chatterjee&Aykut Firata、The American Statistician、2007、またはクローンデータ:まったく同じ多重線形回帰近似Jでのデータセットの生成で扱われますオースト。N.-Z. 統計 J. 2009。 Chatterjee(2007)の目的は、同じ平均と初期データセットからの標準偏差を持つ新しいペアを生成し、異なる「相違/相違」目的関数を最大化することです。これらの関数は非凸関数または非微分関数になる可能性があるため、遺伝的アルゴリズム(GA)を使用します。重要な手順はオルソ正規化で構成されます。これは、平均と(単位)分散の保存と非常に一貫しています。論文の数字(論文の内容の半分)は、入力データとGA出力データを重ね合わせます。私の意見では、GA出力は元の直感的な解釈の多くを失います。(x,y)(x,y)(x,y) 技術的には、中央値も中間値も保持されず、論文では、、および統計を保持する繰り込み手順については言及されていません。ℓ 1ℓ2ℓ2\ell_2ℓ1ℓ1\ell_1ℓ∞ℓ∞\ell_\infty