はじめに
4月ということで、新卒が入ってきたりRを使ったことないメンバーがJOINしたりしたので、
超便利なdplyrの使い方を何回かに分けてまとめて行きます。
Rは知らないけど、SQLとか他のプログラミング言語はある程度やったことあるみたいな人向けです。
dplyrを使いこなす！シリーズ
基礎編以外も書きましたので、↓からどうぞ。
dplyrとは
データフレームの操作に特化したパッケージです。
Rは基本的に処理速度はあまり早くないですが、dplyrはC++で書かれているのでかなり高速に動作します。
ソースの可読性もよくなるので、宗教上の理由で禁止されている人以外は使うメリットは大きいです。
処理可能なデータサイズの目安
あくまでも個人の環境に強く依存した感覚値ですが、1000万行、100MBぐらいのデータサイズであれば、
dplyrでそれ程ストレスなく処理可能です。
それ以上のデータサイズになると、サンプリングするか、Mコマンド等の別の処理方法も検討の土台に乗ってくると思います。
バッチ処理で時間がかかっても問題がない場合であれば、もちろんそれ以上のデータサイズの処理も可能だが、使える物理メモリ次第かも。
例として使っているデータについて
相模原市オープンデータライブラリで公開されている駅別乗降人員の推移を使用しています。
（よく例として使われるirisのデータは、個人的にイメージしづらいので。。。）
列名は、適当に変更しています。
SQLとの対比
処理対象のデータフレームをRDBのテーブルとしてイメージして、SQLと比較するとわかりやすいです。
主要なdplyrの機能とSQLの対比は、下図となります。
| SQL | dplyr | R | 説明 |
|---|---|---|---|
| where | filter | subset | 行の絞り込み |
| count , max ,min等 | summarise | aggregate | 集計する |
| group by | group_by | - | グルーピングする |
| order by | arrange | sort , order | 行を並べ替える |
| select | select | data[,c("a","b")] | データフレームから指定した列のみ抽出する |
| (select句) | mutate | transform | 列の追加 |
dplyrを使った書き方
具体的なdplyrの使い方を見る前に、dplyrを使った処理のお作法的な話を先にしておきます。
dplyrを使う場合、%>%演算子を使って複数の処理を連結し、一連の処理として扱うのが一般的です。
%>%演算子は、演算子の左の値を、演算子の右の値の第1引数として渡します。
linux系のOSをよく使う人は、shellの|(パイプ)をイメージするとわかりやすいかと思います。
例
# col1が1のデータのみを抽出し、col2で昇順にソートしたdataを返却
data.result <- data %>%
dplyr::filter(col1 == "1") %>%
dplyr::arrange(col2)
# %>%演算子を使わない書き方
## 中間結果を格納する変数が必要だったり、可読性が落ちる。
data.tmp <- dplyr::filter(data , col1 == "1")
data.result <- dplyr::arrange(data.tmp , col2)
それでは、具体的な使い方を見ていきましょう。
行の絞り込み
filter
R
filter(.data, 条件式)
まずは、条件式にマッチした行のみに絞り込むfilter関数です。
SQLではWHERE句、Rではsubset関数が同様の機能を持っています。
イメージは↓な感じです。（チートシートから拝借）
例1
# 町田駅のデータを選択
> sagamihara.station.user %>%
+ dplyr::filter(station == "町田駅（参考）")
trainline station year_2003 year_2008 year_2009 year_2010 year_2011 year_2012 year_2013
1 横浜線 町田駅（参考） 211864 216428 215598 218154 218084 221086 221880
2 小田急線 町田駅（参考） 282772 291952 289622 290621 288884 291678 292779
条件式は複数の条件を指定でき、AND条件(&または,で連結)、OR条件(|で連結)も使用可能です。
例2：AND条件
# 横浜線の矢部駅のデータを選択( , で連結)
> sagamihara.station.user %>%
+ dplyr::filter(trainline == "横浜線" , station == "矢部駅")
trainline station year_2003 year_2008 year_2009 year_2010 year_2011 year_2012 year_2013
1 横浜線 矢部駅 21220 22648 22348 22356 22646 22960 23594
# 横浜線の矢部駅のデータを選択( & で連結)
> sagamihara.station.user %>%
+ dplyr::filter(trainline == "横浜線" & station == "矢部駅")
trainline station year_2003 year_2008 year_2009 year_2010 year_2011 year_2012 year_2013
1 横浜線 矢部駅 21220 22648 22348 22356 22646 22960 23594
例3：OR条件
# 横浜線と小田急線のデータを選択( | で連結)
> sagamihara.station.user %>%
+ dplyr::filter(trainline == "横浜線" | trainline == "小田急線")
trainline station year_2003 year_2008 year_2009 year_2010 year_2011 year_2012 year_2013
1 横浜線 橋本駅 104522 118162 118098 120244 120482 122254 125510
2 横浜線 相模原駅 53448 56370 55774 56158 55716 56566 57552
3 横浜線 矢部駅 21220 22648 22348 22356 22646 22960 23594
4 横浜線 淵野辺駅 72368 77154 78518 79600 78700 80870 74276
5 横浜線 古淵駅 39480 42410 42404 42796 42626 43370 44614
6 横浜線 相原駅（参考） 21334 20330 20194 20422 20198 20392 20842
7 横浜線 町田駅（参考） 211864 216428 215598 218154 218084 221086 221880
8 小田急線 相模大野駅 108602 121338 119240 119166 120113 122453 128006
9 小田急線 小田急相模原駅 55944 55754 55392 55034 54366 55530 56767
10 小田急線 東林間駅 22883 22176 21796 21422 21152 21420 21584
11 小田急線 町田駅（参考） 282772 291952 289622 290621 288884 291678 292779
12 小田急線 相武台前駅（参考） 41987 39977 39301 39160 37931 38110 38869
13 小田急線 唐木田（参考） 16037 19994 20539 21228 21096 21330 21719
集計
summarise
構文
summarise(.data, ...)
次は、summarise関数です。
主に集計関数と共に使用されて、min、max、mean等の集計を行う際に使用します。
例1
> sagamihara.station.user %>%
+ dplyr::summarise(max=max(year_2013) , min=min(year_2013) , mean=mean(year_2013))
max min mean
1 292779 2252 60886.12
複数の列に別々の集計関数を適用することも出来ます。
例2
> sagamihara.station.user %>%
+ dplyr::summarise(max_2013=max(year_2013) , min_2013=min(year_2013) , mean_2013=mean(year_2013),
+ max_2012=max(year_2012) , min_2012=min(year_2012) , mean_2012=mean(year_2012))
max_2013 min_2013 mean_2013 max_2012 min_2012 mean_2012
1 292779 2252 60886.12 291678 2128 60028.72
summarise_each
構文
summarise_each(tbl, funs, ...)
summarise_eachは、指定した列に複数の関数を適用できます。適用する関数はfuns内で指定します。
summariseの例2のように複数列指定に対し複数関数適用する場合、冗長になるため、summarise_eachを使えば簡潔に書くことが出来ます。
例1
# 2012年、2013年のmax , min , meanを集計
# 列名が元の列名+function名になるところが注意
> sagamihara.station.user %>%
+ dplyr::summarise_each(funs(max , min ,mean) , year_2013 , year_2012)
year_2013_max year_2012_max year_2013_min year_2012_min year_2013_mean year_2012_mean
1 292779 291678 2252 2128 60886.12 60028.72
例2
# 2012年のmax , min , meanを集計
> sagamihara.station.user %>%
+ dplyr::summarise_each(funs(max , min ,mean) , year_2012)
max min mean
1 291678 2128 60028.72
列の選択する関数
列を選択する必要があるselectやsummarise_each等には、簡単に列を選択できるような関数が用意されています。
列が少ない場合は問題ありませんが、クロス集計した場合等に列名をすべてを正確に把握できない場合や、
列名が非常に多い場合に効果を発揮します。
（使わないで済むうちが幸せかもしれませんね。。。）
| 関数 | 構文 | 説明 |
|---|---|---|
| starts_with | starts_with(x, ignore.case = TRUE) | 列名がxで始まる列を取得。 |
| ends_with | ends_with(x, ignore.case = TRUE) | 列名がxで終わる列を取得 |
| contains | contains(x, ignore.case = TRUE) | 列名にxが含まれる列を取得 |
| matches | matches(x, ignore.case = TRUE) | 正規表現xにマッチする列を取得 |
| num_range | num_range("x", 1:5, width = 2) | 文字列xに連番を組み合わせた列を取得 |
| one_of | one_of("x", "y", "z") | x , y , zに含まれる変数を選択 |
| everything | everything() | すべての列を取得 |
※ ignore.caseは大文字、小文字を区別するかどうか
starts_withの例
# 200X年のmaxとminを集計する
> sagamihara.station.user %>%
+ dplyr::summarise_each(funs(max , min) , starts_with("year_200"))
year_2003_max year_2008_max year_2009_max year_2003_min year_2008_min year_2009_min
1 282772 291952 289622 1694 2002 1994
ends_withの例
# 末尾が3のmaxとminを集計する
> sagamihara.station.user %>%
+ dplyr::summarise_each(funs(max , min) , ends_with("3"))
year_2003_max year_2013_max year_2003_min year_2013_min
1 282772 292779 1694 2252
containsの例
# year_200を含む列を集計する
> sagamihara.station.user %>%
+ dplyr::summarise_each(funs(max , min) , contains("year_200"))
year_2003_max year_2008_max year_2009_max year_2003_min year_2008_min year_2009_min
1 282772 291952 289622 1694 2002 1994
matchesの例
# 末尾が010～012で終わる列を集計
> sagamihara.station.user %>%
+ dplyr::summarise_each(funs(max , min) , matches("01[0-2]$"))
year_2010_max year_2011_max year_2012_max year_2010_min year_2011_min year_2012_min
1 290621 288884 291678 1968 2016 2128
num_rangeの例
# year_2010～2012までの列を集計
> sagamihara.station.user %>%
+ dplyr::summarise_each(funs(max) , num_range("year_" , 2010:2012))
year_2010 year_2011 year_2012
1 290621 288884 291678
# year_2009～year_2011までの列を集計。widthで指定した桁数に足りない場合は、0でpaddingされる。
> sagamihara.station.user %>%
+ dplyr::summarise_each(funs(max) , num_range("year_20" , 9:11 , width=2))
year_2009 year_2010 year_2011
1 289622 290621 288884
one_ofの例
# 2003年と2008年のmaxとminを集計する
> sagamihara.station.user %>%
+ dplyr::summarise_each(funs(max , min) , one_of("year_2003" , "year_2008"))
year_2003_max year_2008_max year_2003_min year_2008_min
1 282772 291952 1694 2002
グループ化
group_by
R
group_by(.data, ..., add = FALSE)
先ほどのsummariseでは、対象のデータフレーム全体に対しminやmax等の関数を適用していましたが、group_byを使用することで、SQLのgroup by句と同様に指定した列のユニークな組み合わせごとに集計することが可能です。
add=Tを指定すると、grouped_dfのグループ情報に新しく追加することができます。
add=Fもしくは、指定しない場合は、grouped_dfのグループ情報が上書きされます。
例1
# 沿線別に集計
> sagamihara.station.user %>%
+ dplyr::group_by(trainline) %>%
+ dplyr::summarise(max=max(year_2013) , min=min(year_2013) , mean=mean(year_2013))
Source: local data frame [5 x 4]
trainline max min mean
1 横浜線 221880 20842 81181.143
2 京王線 91060 18471 54765.500
3 小田急線 292779 21584 93287.333
4 相模線 11600 2252 7197.333
5 中央本線 170382 5144 60361.500
ungroup
データフレームのグループ情報を削除します。と言われても、殆どの人が良くわからないと思います。
グループ情報とか意識していない、もしくは動作が怪しいときにungroupしている人が多いのでは？
これを理解するには、groupとsummariseの関係を見れば、ちょっと見えてきます。
いままでのデータでは、ちょっと説明しづらいのでmtcarsのデータを使います。
gear,cylでgroup_byし、summariseすると残るグループ情報は、gearのみ
# mtcarsのデータをgearとcylでグルーピング後、summariseを実行
> mtcars %>%
+ group_by(gear,cyl) %>%
+ summarise(newvar = sum(wt))
Source: local data frame [8 x 3]
Groups: gear
gear cyl newvar
1 3 4 2.465
2 3 6 6.675
3 3 8 49.249
4 4 4 19.025
5 4 6 12.375
6 5 4 3.653
7 5 6 2.770
8 5 8 6.740
ここで、Groupsの情報を見てみると、gearだけ残っています。
ポイントは、summariseを行うと最後のグループ情報が削除されます。
gearとcylを逆に指定した場合を見てみましょう。
cyl,gearの順でgroup_byしsummariseすると、残るグループ情報はcylのみ
> mtcars %>%
+ group_by(cyl , gear) %>%
+ summarise(newvar = sum(wt))
Source: local data frame [8 x 3]
Groups: cyl
cyl gear newvar
1 4 3 2.465
2 4 4 19.025
3 4 5 3.653
4 6 3 6.675
5 6 4 12.375
6 6 5 2.770
7 8 3 49.249
8 8 5 6.740
同じように最後に指定したグループ情報が削除されています。
意図した操作にならないケースは、複数のグループ情報を指定した場合にグループ情報が残ることを忘れている場合に発生します。
グループ情報が残っている場合、グループごとにソートや関数が適用される。
> mtcars %>%
+ group_by(gear , cyl) %>%
+ summarise(newvar = sum(wt)) %>%
+ arrange(cyl)
Source: local data frame [8 x 3]
Groups: gear
gear cyl newvar
1 3 4 2.465
2 3 6 6.675
3 3 8 49.249
4 4 4 19.025
5 4 6 12.375
6 5 4 3.653
7 5 6 2.770
8 5 8 6.740
グループ情報を削除すると、全体に対してソートや関数が適用される。
> mtcars %>%
+ group_by(gear,cyl) %>%
+ summarise(newvar = sum(wt)) %>%
+ ungroup() %>%
+ arrange(cyl)
Source: local data frame [8 x 3]
gear cyl newvar
1 3 4 2.465
2 4 4 19.025
3 5 4 3.653
4 3 6 6.675
5 4 6 12.375
6 5 6 2.770
7 3 8 49.249
8 5 8 6.740
慣れてきたときにハマりやすいので、グループ情報についてはきちんと意識して使うようにしましょう。
（私も何度がよくわからずに、ungroup使ったりしてました。。。）
ソート
arrange
R
arrange(.data, ...)
データフレームを指定した列でソートする。 SQLでいうと、order by句。
デフォルトは昇順で、desc(column)の場合は、降順でソートします。
例1：昇順のソート
# 2013年の利用者数が少ない順
> sagamihara.station.user %>%
+ dplyr::arrange(year_2013) %>% head(5)
trainline station year_2003 year_2008 year_2009 year_2010 year_2011 year_2012 year_2013
1 相模線 下溝駅 1694 2002 1994 1968 2016 2128 2252
2 相模線 相武台下駅 1856 2510 2404 2184 2070 2282 2406
3 中央本線 相模湖駅 6744 6914 6904 6746 6586 5118 5144
4 中央本線 藤野駅 5898 5892 5742 5550 5382 5310 5352
5 相模線 番田駅 5484 5980 6076 6388 6384 6630 7076
例2：降順のソート
# 2013年の利用者数が多い順
> sagamihara.station.user %>%
+ dplyr::arrange(desc(year_2013)) %>% head(5)
trainline station year_2003 year_2008 year_2009 year_2010 year_2011 year_2012 year_2013
1 小田急線 町田駅（参考） 282772 291952 289622 290621 288884 291678 292779
2 横浜線 町田駅（参考） 211864 216428 215598 218154 218084 221086 221880
3 中央本線 八王子駅（参考） 162546 164788 160546 160438 162948 165042 170382
4 小田急線 相模大野駅 108602 121338 119240 119166 120113 122453 128006
5 横浜線 橋本駅 104522 118162 118098 120244 120482 122254 125510
例3：複数列指定
# 各沿線毎に利用者数が多い順
> sagamihara.station.user %>%
+ dplyr::arrange(trainline , desc(year_2013))
trainline station year_2003 year_2008 year_2009 year_2010 year_2011 year_2012 year_2013
1 横浜線 町田駅（参考） 211864 216428 215598 218154 218084 221086 221880
2 横浜線 橋本駅 104522 118162 118098 120244 120482 122254 125510
3 横浜線 淵野辺駅 72368 77154 78518 79600 78700 80870 74276
4 横浜線 相模原駅 53448 56370 55774 56158 55716 56566 57552
5 横浜線 古淵駅 39480 42410 42404 42796 42626 43370 44614
6 横浜線 矢部駅 21220 22648 22348 22356 22646 22960 23594
7 横浜線 相原駅（参考） 21334 20330 20194 20422 20198 20392 20842
8 京王線 橋本駅（京王） 78072 88320 88427 88065 87242 88377 91060
9 京王線 多摩境駅（参考） 10727 16526 16678 17183 17184 17582 18471
# 以下略
列操作
select
R
select(.data, ...)
列を選択します。
列の選択には、summarise_eachのところで解説した列選択の関数を使用できます。
例1
> sagamihara.station.user %>%
+ dplyr::select(trainline , station , year_2003) %>% head(3)
trainline station year_2003
1 横浜線 橋本駅 104522
2 横浜線 相模原駅 53448
3 横浜線 矢部駅 21220
例2
> sagamihara.station.user %>%
+ dplyr::select(starts_with("year_200")) %>% head(3)
year_2003 year_2008 year_2009
1 104522 118162 118098
2 53448 56370 55774
3 21220 22648 22348
rename
R
rename(.data, ...)
列名を変更します。
例1
> sagamihara.station.user %>%
+ dplyr::select(trainline , station , year_2003) %>%
+ dplyr::rename(new_column=year_2003) %>% head(3)
trainline station new_column
1 横浜線 橋本駅 104522
2 横浜線 相模原駅 53448
3 横浜線 矢部駅 21220
例2
# 複数列の名前変更や列名に日本語を使うことも可能
> sagamihara.station.user %>%
+ dplyr::select(trainline , station , year_2003 , year_2009) %>%
+ dplyr::rename(２００３年=year_2003 , ２００９年=year_2009) %>% head(3)
trainline station ２００３年 ２００９年
1 横浜線 橋本駅 104522 118098
2 横浜線 相模原駅 53448 55774
3 横浜線 矢部駅 21220 22348
mutate
R
mutate(.data, ...)
新しく列を追加します。
例1
> sagamihara.station.user %>%
+ dplyr::select(trainline , station , year_2008 , year_2009) %>%
+ dplyr::mutate(new_column=(year_2008 + year_2009) / 2 ) %>% head(3)
trainline station year_2008 year_2009 new_column
1 横浜線 橋本駅 118162 118098 118130
2 横浜線 相模原駅 56370 55774 56072
3 横浜線 矢部駅 22648 22348 22498
ifelseを使うことで、条件によって値を変更することも可能です。
例2
# 2008年の乗降数が1万人以上の場合は1、それ以下の場合は0の列を追加
> sagamihara.station.user %>%
+ dplyr::select(trainline , station , year_2008 ) %>%
+ dplyr::mutate(new_column=ifelse(year_2008 > 10000 , 1 , 0) ) %>% head(15)
trainline station year_2008 new_column
1 横浜線 橋本駅 118162 1
2 横浜線 相模原駅 56370 1
3 横浜線 矢部駅 22648 1
4 横浜線 淵野辺駅 77154 1
5 横浜線 古淵駅 42410 1
6 横浜線 相原駅（参考） 20330 1
7 横浜線 町田駅（参考） 216428 1
8 相模線 南橋本駅 10886 1
9 相模線 上溝駅 11456 1
10 相模線 番田駅 5980 0
11 相模線 原当麻駅 8282 0
12 相模線 下溝駅 2002 0
13 相模線 相武台下駅 2510 0
14 中央本線 相模湖駅 6914 0
15 中央本線 藤野駅 5892 0
まとめ
基礎編は以上となります。ここで紹介した分だけでもきちんと使いこなせればdplyrを使う前よりも前処理や集計処理が格段に楽になると思います。
SQLがわかる人にとっては、イメージしやすいので使いこなすまでには、それ程時間はかからないので、まずは使ってみましょう！
ここで紹介した機能だけでも、豊富な機能がたくさんあるのですが、dplyrには、まだまだ紹介しきれていない機能がたくさんあるので、あと何回かに分けて紹介していきたいと思います。