グループごとに上位の値を取得する

92

これはサンプルデータフレームです。

d <- data.frame(
  x   = runif(90),
  grp = gl(3, 30)
)

の各値のd上位5つの値を持つ行を含むサブセットが必要です。xgrp

base-Rを使用すると、私のアプローチは次のようになります。

ordered <- d[order(d$x, decreasing = TRUE), ]    
splits <- split(ordered, ordered$grp)
heads <- lapply(splits, head)
do.call(rbind, heads)
##              x grp
## 1.19 0.8879631   1
## 1.4  0.8844818   1
## 1.12 0.8596197   1
## 1.26 0.8481809   1
## 1.18 0.8461516   1
## 1.29 0.8317092   1
## 2.31 0.9751049   2
## 2.34 0.9269764   2
## 2.57 0.8964114   2
## 2.58 0.8896466   2
## 2.45 0.8888834   2
## 2.35 0.8706823   2
## 3.74 0.9884852   3
## 3.73 0.9837653   3
## 3.83 0.9375398   3
## 3.64 0.9229036   3
## 3.69 0.8021373   3
## 3.86 0.7418946   3

を使用してdplyr、これが機能することを期待しました：

d %>%
  arrange_(~ desc(x)) %>%
  group_by_(~ grp) %>%
  head(n = 5)

ただし、上位5行のみが返されます。

をスワップheadするとtop_n、全体が返されますd。

d %>%
  arrange_(~ desc(x)) %>%
  group_by_(~ grp) %>%
  top_n(n = 5)

正しいサブセットを取得するにはどうすればよいですか？

r  data.table  dplyr 
— リッチーコットン
ソース

回答:

125

dplyr 1.0.0から、「slice_min()そしてslice_max()、変数の最小値または最大値を持つ行を選択し、混乱を招くtop_n().」

d %>% group_by(grp) %>% slice_max(order_by = x, n = 5)
# # A tibble: 15 x 2
# # Groups:   grp [3]
#     x grp  
# <dbl> <fct>
#  1 0.994 1    
#  2 0.957 1    
#  3 0.955 1    
#  4 0.940 1    
#  5 0.900 1    
#  6 0.963 2    
#  7 0.902 2    
#  8 0.895 2    
#  9 0.858 2    
# 10 0.799 2    
# 11 0.985 3    
# 12 0.893 3    
# 13 0.886 3    
# 14 0.815 3    
# 15 0.812 3

dplyr 1.0.0使用前top_n：

から?top_n、wt引数について：

順序付けに使用する変数[...]のデフォルトは、tblの最後の変数です。

データセットの最後の変数は「grp」です。これは、ランク付けしたい変数ではありません。これが、top_n「d全体を返す」理由です。したがって、データセットで「x」でランク付けする場合は、を指定する必要がありますwt = x。

d %>%
  group_by(grp) %>%
  top_n(n = 5, wt = x)

データ：

set.seed(123)
d <- data.frame(
  x = runif(90),
  grp = gl(3, 30))
— ヘンリック
ソース
7
とにかく関係を無視することはありますか？
— マティアス・グスマンナランホ
@MatíasGuzmánNaranjo、stackoverflow.com
— nanselm2
40

data.tableあまりにも簡単です...

library(data.table)
setorder(setDT(d), -x)[, head(.SD, 5), keyby = grp]

または

setorder(setDT(d), grp, -x)[, head(.SD, 5), by = grp]

または（.SD各グループの呼び出しを回避するため、ビッグデータセットの方が高速です）

setorder(setDT(d), grp, -x)[, indx := seq_len(.N), by = grp][indx <= 5]

編集：これは（だれかに興味がある場合）dplyrと比較する方法data.tableです

set.seed(123)
d <- data.frame(
  x   = runif(1e6),
  grp = sample(1e4, 1e6, TRUE))

library(dplyr)
library(microbenchmark)
library(data.table)
dd <- copy(d)

microbenchmark(
  top_n = {d %>%
             group_by(grp) %>%
             top_n(n = 5, wt = x)},
  dohead = {d %>%
              arrange_(~ desc(x)) %>%
              group_by_(~ grp) %>%
              do(head(., n = 5))},
  slice = {d %>%
             arrange_(~ desc(x)) %>%
             group_by_(~ grp) %>%
             slice(1:5)},
  filter = {d %>% 
              arrange(desc(x)) %>%
              group_by(grp) %>%
              filter(row_number() <= 5L)},
  data.table1 = setorder(setDT(dd), -x)[, head(.SD, 5L), keyby = grp],
  data.table2 = setorder(setDT(dd), grp, -x)[, head(.SD, 5L), grp],
  data.table3 = setorder(setDT(dd), grp, -x)[, indx := seq_len(.N), grp][indx <= 5L],
  times = 10,
  unit = "relative"
)


#        expr        min         lq      mean     median        uq       max neval
#       top_n  24.246401  24.492972 16.300391  24.441351 11.749050  7.644748    10
#      dohead 122.891381 120.329722 77.763843 115.621635 54.996588 34.114738    10
#       slice  27.365711  26.839443 17.714303  26.433924 12.628934  7.899619    10
#      filter  27.755171  27.225461 17.936295  26.363739 12.935709  7.969806    10
# data.table1  13.753046  16.631143 10.775278  16.330942  8.359951  5.077140    10
# data.table2  12.047111  11.944557  7.862302  11.653385  5.509432  3.642733    10
# data.table3   1.000000   1.000000  1.000000   1.000000  1.000000  1.000000    10

わずかに速いdata.tableソリューションを追加する：

set.seed(123L)
d <- data.frame(
    x   = runif(1e8),
    grp = sample(1e4, 1e8, TRUE))
setDT(d)
setorder(d, grp, -x)
dd <- copy(d)

library(microbenchmark)
microbenchmark(
    data.table3 = d[, indx := seq_len(.N), grp][indx <= 5L],
    data.table4 = dd[dd[, .I[seq_len(.N) <= 5L], grp]$V1],
    times = 10L
)

タイミング出力：

Unit: milliseconds
        expr      min       lq     mean   median        uq      max neval
 data.table3 826.2148 865.6334 950.1380 902.1689 1006.1237 1260.129    10
 data.table4 729.3229 783.7000 859.2084 823.1635  966.8239 1014.397    10
— デビッドアレンブルク
ソース
別の追加data.table：若干速くする必要があります方法dt <- setorder(setDT(dd), grp, -x); dt[dt[, .I[seq_len(.N) <= 5L], grp]$V1]
— chinsoon12
@ chinsoon12私のゲストになります。これらのソリューションを再度ベンチマークする時間はありません。
— デビッドアレンブルク2018
別のdata.table方法をより簡単に追加する：setDT(d)[order(-x),x[1:5],keyby = .(grp)]
— Tao Hu
@TaoHuそれは最初の2つのソリューションとほとんど同じです。私は:勝つとは思わないhead
— デビッドアレンブルク
@DavidArenburgええ、私はあなたに同意します、ほとんどの違いはsetorderより速いと思いますorder
— Tao Hu
33

へheadの呼び出しをラップする必要がありdoます。以下のコードでは、.（の説明を参照現在のグループを表す...にdoヘルプページ）。

d %>%
  arrange_(~ desc(x)) %>%
  group_by_(~ grp) %>%
  do(head(., n = 5))

akrunが述べたように、sliceは代替です。

d %>%
  arrange_(~ desc(x)) %>%
  group_by_(~ grp) %>%
  slice(1:5)

私はこれを尋ねませんdata.tableでしたが、完全を期すために、可能なバージョンは（修正のために@Arunに感謝します）：

setDT(d)[order(-x), head(.SD, 5), by = grp]
— リッチーコットン
ソース
1
@akrunありがとう。その機能については知りませんでした。
— リッチーコットン、
@DavidArenburgありがとう。それが急いで答えを投稿することから来ています。ナンセンスを削除しました。
— リッチーコットン
2
リッチー、FWIWあなたはちょっとした追加が必要です：setDT(d)[order(-x), head(.SD, 5L), by=grp]
— アルン
この答えは少し時代遅れですが、2番目の部分は、andの代わりにand ~を使用した場合の理想的な方法ですarrangegroup_byarrange_group_by_
— Moody_Mudskipper
15

ベースRでの私のアプローチは次のようになります。

ordered <- d[order(d$x, decreasing = TRUE), ]
ordered[ave(d$x, d$grp, FUN = seq_along) <= 5L,]

そしてdplyrを使用すると、によるアプローチsliceがおそらく最速ですが、使用するfilterよりも高速になる可能性がありますdo(head(., 5))。

d %>% 
  arrange(desc(x)) %>%
  group_by(grp) %>%
  filter(row_number() <= 5L)

dplyrベンチマーク

set.seed(123)
d <- data.frame(
  x   = runif(1e6),
  grp = sample(1e4, 1e6, TRUE))

library(microbenchmark)

microbenchmark(
  top_n = {d %>%
             group_by(grp) %>%
             top_n(n = 5, wt = x)},
  dohead = {d %>%
              arrange_(~ desc(x)) %>%
              group_by_(~ grp) %>%
              do(head(., n = 5))},
  slice = {d %>%
             arrange_(~ desc(x)) %>%
             group_by_(~ grp) %>%
             slice(1:5)},
  filter = {d %>% 
              arrange(desc(x)) %>%
              group_by(grp) %>%
              filter(row_number() <= 5L)},
  times = 10,
  unit = "relative"
)

Unit: relative
   expr       min        lq    median        uq       max neval
  top_n  1.042735  1.075366  1.082113  1.085072  1.000846    10
 dohead 18.663825 19.342854 19.511495 19.840377 17.433518    10
  slice  1.000000  1.000000  1.000000  1.000000  1.000000    10
 filter  1.048556  1.044113  1.042184  1.180474  1.053378    10
— タラート
ソース
@akrunにfilterは追加機能が必要ですが、sliceバージョンには必要ありません...
— David Arenburg
1
data.tableここに追加しなかった理由がわかります;）
— David Arenburg
5
私はそれを知っており、私はあなたに言うことができます：質問は特にdplyrソリューションを求めていたからです。
— talat
1
私は冗談でした...あなたが同じことをしたことがないようなものではありません（ちょうど反対の方向で）。
— David Arenburg、2015年
@DavidArenburg、私はそれがdata.table回答を提供することは「違法」などとは言っていませんでした。もちろん、あなたはそれを行うことができ、好きなベンチマークを提供できます:)ところで、あなたがリンクした質問は素晴らしい例ですここで、dplyr構文はdata.tableよりもはるかに便利です（わかっています、主観的です！）。
— talat
1

top_n（n = 1）は、順序付け変数が各グループ内で一意でない場合でも、各グループの複数の行を返します。グループごとに1つのオカレンスを正確に選択するには、各行に一意の変数を追加します。

set.seed(123)
d <- data.frame(
  x   = runif(90),
  grp = gl(3, 30))

d %>%
  mutate(rn = row_number()) %>% 
  group_by(grp) %>%
  top_n(n = 1, wt = rn)
— ヤン・ビドラ
ソース
0

data.table簡潔な構文を強調するもう1つの解決策：

setDT(d)
d[order(-x), .SD[1:5], grp]
— sindri_baldur
ソース
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.