選択した列のみを読み取る


134

たとえば、以下のデータを使用して、各年の最初の6か月(7列)のみを読み取る方法を誰かに教えてもらえますread.table()か?

Year   Jan  Feb  Mar  Apr  May  Jun  Jul  Aug  Sep  Oct  Nov  Dec   
2009   -41  -27  -25  -31  -31  -39  -25  -15  -30  -27  -21  -25
2010   -41  -27  -25  -31  -31  -39  -25  -15  -30  -27  -21  -25 
2011   -21  -27   -2   -6  -10  -32  -13  -12  -27  -30  -38  -29



2
@CiroSantilli包子露宪六四事件法轮功確かに...私は最初に尋ねましたか?
-StarCub

私はより良い/より悪い関係を意味していませんでした。さらに、クロスサイトの重複はありません。自分自身をクロスポストしない限り、一貫性のないスタック交換ネットワークによって重複が許可されます:-)
Ciro Santilli郝海东冠状病六四事件法轮機能

回答:


157

データがfile data.txtにあるとすると、colClasses引数を使用してread.table()列をスキップできます。ここでは、最初の7列のデータが"integer"あり、残りの6列を"NULL"スキップする必要があることを示すように設定します

> read.table("data.txt", colClasses = c(rep("integer", 7), rep("NULL", 6)), 
+            header = TRUE)
  Year Jan Feb Mar Apr May Jun
1 2009 -41 -27 -25 -31 -31 -39
2 2010 -41 -27 -25 -31 -31 -39
3 2011 -21 -27  -2  -6 -10 -32

実際のデータのタイプ"integer"?read.table応じて、の詳細に従って、許可されたタイプのいずれかに変更します。

data.txt このようになります:

$ cat data.txt 
"Year" "Jan" "Feb" "Mar" "Apr" "May" "Jun" "Jul" "Aug" "Sep" "Oct" "Nov" "Dec"
2009 -41 -27 -25 -31 -31 -39 -25 -15 -30 -27 -21 -25
2010 -41 -27 -25 -31 -31 -39 -25 -15 -30 -27 -21 -25
2011 -21 -27 -2 -6 -10 -32 -13 -12 -27 -30 -38 -29

を使用して作成されました

write.table(dat, file = "data.txt", row.names = FALSE)

どこdat

dat <- structure(list(Year = 2009:2011, Jan = c(-41L, -41L, -21L), Feb = c(-27L, 
-27L, -27L), Mar = c(-25L, -25L, -2L), Apr = c(-31L, -31L, -6L
), May = c(-31L, -31L, -10L), Jun = c(-39L, -39L, -32L), Jul = c(-25L, 
-25L, -13L), Aug = c(-15L, -15L, -12L), Sep = c(-30L, -30L, -27L
), Oct = c(-27L, -27L, -30L), Nov = c(-21L, -21L, -38L), Dec = c(-25L, 
-25L, -29L)), .Names = c("Year", "Jan", "Feb", "Mar", "Apr", 
"May", "Jun", "Jul", "Aug", "Sep", "Oct", "Nov", "Dec"), class = "data.frame",
row.names = c(NA, -3L))

列数が事前にわからない場合、ユーティリティ関数count.fieldsはファイルを読み取り、各行のフィールド数をカウントします。

## returns a vector equal to the number of lines in the file
count.fields("data.txt", sep = "\t")
## returns the maximum to set colClasses
max(count.fields("data.txt", sep = "\t"))

1
@Benjamin引数を使用して、ファイルから最初の数行を読み取りますnrows。次にncol()、を使用してそこにある列の数を調べます。それ以外の場合は、読み取り/無視する列の数を計算します。次に、この情報を使用してファイル全体を読み取ります。
Gavin Simpson

1
?? 列の数がわからない場合は、列の数を読み取ってその数を推定せずに、他にどのようにそれを決定しますか?
Gavin Simpson、

1
@BlueMagister編集とcount.fields()コメントで提案したプロセスを自動化するについて言及していただきありがとうございます。
Gavin Simpson

1
@LéoLéopoldHertz준영いいえ、そのようなことがデータクラスのように行クラスでどのように機能するかはわかりませんが、各列は異なるタイプである可能性があります。各行は、定義上、結果として制約を受けません。インポート時に空白行などを除外する必要があります。
Gavin Simpson

1
@rmf count.fields()テキスト接続を渡すことができるので、を使用して行のサブセットを読み取りtxt <- readLines(....)、次に行への読み取りへの接続を作成してからcon <- textConnection(txt)、を実行しますcount.fields(txt)。ヘッダー行がある場合は、必ずヘッダー行をスキップして使用skipcount.fields()てください。を使用してファイルの行をスキップすることはできませんreadLines()
Gavin Simpson

82

データセットから特定の列のセットを読み取るには、他にもいくつかのオプションがあります。

1)-package freadからdata.table

パッケージからのselectパラメーターを使用して、必要な列を指定できます。列は、列名または列番号のベクトルで指定できます。freaddata.table

サンプルデータセットの場合:

library(data.table)
dat <- fread("data.txt", select = c("Year","Jan","Feb","Mar","Apr","May","Jun"))
dat <- fread("data.txt", select = c(1:7))

または、dropパラメーターを使用して、読み取るべきでない列を指定することもできます。

dat <- fread("data.txt", drop = c("Jul","Aug","Sep","Oct","Nov","Dec"))
dat <- fread("data.txt", drop = c(8:13))

すべての結果:

> data
  Year Jan Feb Mar Apr May Jun
1 2009 -41 -27 -25 -31 -31 -39
2 2010 -41 -27 -25 -31 -31 -39
3 2011 -21 -27  -2  -6 -10 -32

更新:data.tablefreadを返したくない場合は、- パラメータを使用してくださいdata.table = FALSE。例:fread("data.txt", select = c(1:7), data.table = FALSE)

2)-package read.csv.sqlからsqldf

別の選択肢はパッケージのread.csv.sql関数sqldfです:

library(sqldf)
dat <- read.csv.sql("data.txt",
                    sql = "select Year,Jan,Feb,Mar,Apr,May,Jun from file",
                    sep = "\t")

3)とread_*から-functions readr-package:

library(readr)
dat <- read_table("data.txt",
                  col_types = cols_only(Year = 'i', Jan = 'i', Feb = 'i', Mar = 'i',
                                        Apr = 'i', May = 'i', Jun = 'i'))
dat <- read_table("data.txt",
                  col_types = list(Jul = col_skip(), Aug = col_skip(), Sep = col_skip(),
                                   Oct = col_skip(), Nov = col_skip(), Dec = col_skip()))
dat <- read_table("data.txt", col_types = 'iiiiiii______')

ドキュメントから使用されている文字の説明col_types

各文字は1つの列を表します:c =文字、i =整数、n =数値、d =ダブル、l =論理、D =日付、T =日付時刻、t =時間、?=推測、または_ /-列をスキップする


freadただし、圧縮ファイルはサポートされていません。通常、大きなファイルは圧縮されています。
CoderGuy123 2016

でこれを有効にする機能リクエストがありfreadます。注目に値するのはfread、圧縮ファイルread.tableを読み取るよりもかなり高速に非圧縮ファイルを読み取る可能性が高いことです。例については、こちらをご覧ください
Jaap

一部の非圧縮ファイルが大きすぎます。たとえば、私は1000個のGenomesファイルで作業しています。非圧縮で60 GBにすることができます。
CoderGuy123 2016

1
ご存知のとおり、Rはメモリ内のデータを読み取ります。圧縮されたファイルを読み取っても、解凍されたファイルを読み取っても、メモリ内の結果データのサイズに違いはありません。60GBのファイルがある場合read.tableは、保存されません。その場合は、ff-package を確認することをお勧めします。
Jaap

2
@Deleet次のfreadような大きな圧縮ファイルの読み取りに使用できますfread("gunzip -c data.txt.gz", drop = c(8:13))
arekolek

8

JDBCを使用してこれを実現することもできます。サンプルのcsvファイルを作成してみましょう。

write.table(x=mtcars, file="mtcars.csv", sep=",", row.names=F, col.names=T) # create example csv file

次のリンクからCSV JDBCドライバーをダウンロードして保存します。http//sourceforge.net/projects/csvjdbc/files/latest/download

> library(RJDBC)

> path.to.jdbc.driver <- "jdbc//csvjdbc-1.0-18.jar"
> drv <- JDBC("org.relique.jdbc.csv.CsvDriver", path.to.jdbc.driver)
> conn <- dbConnect(drv, sprintf("jdbc:relique:csv:%s", getwd()))

> head(dbGetQuery(conn, "select * from mtcars"), 3)
   mpg cyl disp  hp drat    wt  qsec vs am gear carb
1   21   6  160 110  3.9  2.62 16.46  0  1    4    4
2   21   6  160 110  3.9 2.875 17.02  0  1    4    4
3 22.8   4  108  93 3.85  2.32 18.61  1  1    4    1

> head(dbGetQuery(conn, "select mpg, gear from mtcars"), 3)
   MPG GEAR
1   21    4
2   21    4
3 22.8    4

0

あなたはこのようにします:

df = read.table("file.txt", nrows=1, header=TRUE, sep="\t", stringsAsFactors=FALSE)
colClasses = as.list(apply(df, 2, class))
needCols = c("Year", "Jan", "Feb", "Mar", "Apr", "May", "Jun")
colClasses[!names(colClasses) %in% needCols] = list(NULL)
df = read.table("file.txt", header=TRUE, colClasses=colClasses, sep="\t", stringsAsFactors=FALSE)
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.