600万行のデータをグラフ化するためのアイデアはありますか?


5

私はちょうどそれをExcelにインポートしようとしました、しかしそれはわずか100万行以上のデータを受け入れることができるだけです。それは3列のデータです、そして私がしたいことは2つのグラフのために2と3に対してグラフ列1です。

私は、2Dランドスケープをセルに分割し、各セルに要素の有無をマークするグリッドプリプロセッサを作成することを考えています。セルをグラフから情報を識別するのに十分に小さくしながら、セルを100万セル以下のセルに収めるのに十分な大きさにするための手間がかかります。

それ以外のことをしている間に、誰でも簡単にすべてのデータをグラフ化する方法を知っていますか?


1
SQLやSQLのようなデータベースを使わないのはなぜでしょうか。 震え マイクロソフトアクセス?
James Mertz

彼らの存在に関する知識の欠如。やってみます。
SwimBikeRun

@SwimBikeRun現在のデータ形式は?
nhinkle

1
Excelでは、ピボットテーブルとピボットグラフで1M行以上のデータを処理できます。データインポートダイアログを見てください。ただし、最後の手順でExcelシートに保存するのではなく、ピボットグラフとして保存します。ここから、あなたのチャートを作成することができます... 6Mの行を試してみたことはありませんが、これでうまくいくはずです。がんばろう!
Peter Albert

2
あなたはあなたのデータを集約するための方法を考慮する必要があります。私はあなたが視覚的に6Mの行を識別することができるとは思いません(あるいはそれよりはるかに少ない)。データを表示するときの解像度(画面または紙)とそのメディアの解像度を考慮し、解像度の単位(dpiまたはピクセルなど)に対して複数のデータポイントを識別することはできません。たとえば1200 dpiの場合、6Mのデータポイントを表示するには5000インチ/ 417フィートが必要です。
dav

回答:


2

データをサンプリングすることもできます。 10行に1行(または1行に1行)取り出して、結果をプロットしてください。あなたのサンプリングが本当に無作為であるならば、あなたは「人口」のかなり代表的なグラフを持つべきです


+1 600万データポイントのビジュアライゼーションは、(数)1000のビジュアライゼーションよりもほぼ確実に役に立ちます。膨大な数のポイントがデータ内の関係をあいまいにしたり、ビューア(またはそのことに関してはビジュアライゼーションアプリケーション)を圧倒することさえあります。サンプリングは進むべき道です。
Excellll

2

コンマ区切りファイルとして保存して、 R コマンドで

data <- read.csv('mybigfatfile.csv', header=T)

(ここで私は最初の行がヘッダーであると仮定します;ヘッダーがない場合は、ヘッダーをFに設定します)。列名がA、B、Cの場合は、つぎのようにプロットできます。

plot(data$A, data$B, col=rgb(100,80,0,10, max=255), pch=16)

ここで色はrgb(100,80,0)、白はrgb(255,255,255)、不透明度は10(255のうち)です。 momoboの回答によると、600万を超えると表示に時間がかかりすぎる場合は、代わりにランダムなサンプルを取ることができます。

idx <- sample.int(length(data$A), 10000)
plot(data$A[idx], data$B[idx], col=rgb(100,80,0,10, max=255), pch=16)

ここでは10000個のランダムな整数(1から長さ(data $ A)まで)を選択します。

Rコマンドのヘルプを見るには、?と入力してください。その後にコマンドが続きます、例えば

?plot

しかしながら、Rは急峻な学習曲線を有する。しかしこれは一つの方法だと思います。


1
私はこれをしました、そして、私は現在plotコマンドを待っています。データのインポートには約30秒かかりましたが、私は2分待っていてまだ何もプロットしていません。データの先頭を簡単にプロットしたところ、plotコマンドは正しいです。 600万行がプロットにかかる時間はどれくらいですか?さらに言えば、どうすればこれをスピードアップできますか? Rの間引き機能はありますか?
SwimBikeRun

@SwimBikeRun、はいmomoboは正しい考えを持っています:ランダムなサンプルを取ります。私は自分の答えを更新しました。
Peon

Rでサンプリングするのが簡単なのは驚くべきことです。
momobo

0

私は同じ問題に直面しました、最後に私はc#でMSChartを使い、コードでデータをロードしてそれをチャートに描画しました。

私はこのビデオが役に立つと思います https://www.youtube.com/watch?v=82jnryBxsnI

チャートをズームすることもできます。


今すぐコードスニペットを投稿することもできます。完全な答えは常に誰かに役立つ可能性が高いです。
Excellll
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.