dplyr, and R in general, are particularly well suited to performing operations over columns, and performing operations over rows is much harder. In this vignette, you’ll learn dplyr’s approach centred around the row-wise data frame created by rowwise(). There are three common use cases that we discuss in this vignette: Row-wise aggregates (e.g. compute the mean of x, y, z). Calling a function mult

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

前回、都道府県の市区町村を人口で2分割するやつのコードを書いたので、関数化して全国版の地図を作ってみる。 あらかじめ人口データだけは用意しておく必要があるので、前回同様{estatapi}でデータをダウンロードして加工しておく。 gg_pref_split()という関数がそれ。pref_codeで対象の都道府県（コード）を指定する。プロットおよびラベルの描画は引数で変更可能。フォントも適当に変えられる。 gg_pref_split <- function(pref_code = 33, plot = TRUE, label = TRUE, label_font = "IPAexGothic") { p.code <- sprintf("%02d", pref_code) data.result <- d.pops %>% dplyr::filter(pref_code == p.code)

Tokyo.R#60の発表資料2つ目です。 --- 基本編：https://speakerdeck.com/yutannihilation/dplyrzai-ru-men-ji-ben-bian Colwise編：（このスライド） Tidyeval編：https://speakerdeck.…

Tokyo.R#60の発表資料3つ目です。tidyevalについては以下のvignetteがとても参考になります。 Programming with dplyr http://dplyr.tidyverse.org/articles/programming.html --- 基本編：ht…

お久しぶりです。 最近上司と「機械学習とかその辺の技術が発展したら、真っ先に自動化されて仕事なくなるのはハンパなエンジニアと中間管理職だよね〜」という話をして危機感を募らせている @takeshi0406 です。 WEBエンジニアにはご存じの方も多いと思いますが、転職ドラフトというWEBサービスがあります。 job-draft.jp このサービスは、次のような理念や問題感から始まった作られたものだそうです。素晴らしいです。 企業による公開競争入札。 これなら、自由競争でのリアルな相対価値がわかるようになる。 エンジニアだからこそ、より明確に。 誰が評価され、誰が評価されないのか。 自分の価値向上には、これから何をすべきなのか。 私も「友達を紹介してオライリー・ジャパンの本をGETしよう！」の文言につられて、友だちを3人紹介した上で登録したのですが、レジュメを丁寧に読んでダメ出ししてもらえ（

タイトルの通り、執筆に関わった書籍が出版されたので内容紹介と宣伝です。 Rによるスクレイピング入門 作者: 石田基広,市川太祐,瓜生真也,湯谷啓明出版社/メーカー: シーアンドアール研究所発売日: 2017/03/27メディア: 単行本（ソフトカバー）この商品を含むブログ (2件) を見る 「Rによるスクレイピング入門」、この本は書名やカバーから想像するに、 Rを使ってウェブ上のデータを取得し、実践テクニックを豊富に示す 、ことが伺えます。ただし本書で扱う内容はそれだけではありません。以下に述べるように、R言語の解説書、モダンなR言語の操作方法、データ処理・可視化について一通り学べるR言語の本、ウェブ技術書としての側面があります。 本書の多様性 本書の書名を見て、「え?Rでスクレイピング?」といった感想を持たれる方がいるかと思います。Rって、統計解析や可視化が得意な言語だったのでは?… も

1か月前にｷﾀｰとつぶやいたものがついにCRANにきたのでそれについて書きます。 Colwise update https://t.co/AotXyUjYmv ｷﾀｰ！— Hiroaki Yutani (@yutannihilation) 2016年5月31日 これは何なのか 複数のカラムに対して同じ処理をするとき、これまではmutate_each()、summarise_each()という関数がありました。 たとえば、Sepalから始まるカラムすべてにmin()とmax()を適用したいときはこんな感じです。 library(dplyr) iris %>% group_by(Species) %>% summarise_each(funs(min, max), starts_with("Sepal")) #> Source: local data frame [3 x 5] #> #> S

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

RStudioのチーフサイエンティスト、Hadley Wickham（ハドリー）が２月に行った講演のビデオがYouTubeに上がっていたので観た。 "Making Data Analysis Easier"というタイトルでの発表(スライドでは"Managing many models"になっているけど)で、ハドリー自身が考えている、データサイエンスに必要な可視化やモデリングを効率的に行うための手法について、彼の開発してきたパッケージを中心に説明している。 www.youtube.com 分かりやすく、具体例を交えた内容なので、是非YouTubeの動画を観てもらうのが良いと思うが、自分の頭を整理するためにもここでまとめておく。なお、発表スライドはクリエイティブ・コモンズライセンス3.0のもと、表示・非営利のラインセンスで再利用可能となっている。 Hadley Wickham (Chief S

import pandas from dplython import (DplyFrame, X, diamonds, select, sift, sample_n, sample_frac, head, arrange, mutate, group_by, summarize, DelayFunction) # The example `diamonds` DataFrame is included in this package, but you can # cast a DataFrame to a DplyFrame in this simple way: # diamonds = DplyFrame(pandas.read_csv('./diamonds.csv')) # Select specific columns of the DataFrame using select,

はじめに Rによるデータマイニング入門 作者: 山本義郎,藤野友和,久保田貴文出版社/メーカー: オーム社発売日: 2015/11/21メディア: 単行本（ソフトカバー）この商品を含むブログを見る最近読んでいるこの本、そんなに厚くはないんですが基本的な分析手法が一通り網羅されています。 また、dplyrやggplot2など比較的新しいけど最近のRには必須とも言うべきパッケージが使われており、サンプルコードを動かしながらRでどんなことができるのかを知るには良い本なんじゃないかな、と思っています。 ggplot2パッケージのバージョンを上げたらサンプルコードの一部が動かなくなった ggplot2パッケージは2015/12/15にver2.0.0がリリースされましたが、それを使ってサンプルコードを実行すると、棒グラフ描画の部分がエラーになるようになってしまいました。 具体的にはchapter15

熱狂的なHadley Wickhamファンな私ですが、最近、Hadleyのあゆみについていけていない感があります。 **{purrr}だの、{multidplyr}**だの次々と新しいパッケージが登場したり、やっとの事で1.0.0メジャーバージョンになった **{ggplot2}**の次期マイナーバージョンである1.1.0の開発がGitHubで始まったりと、ちょっと待ってくれよ、と戸惑いを感じる今日この頃です。というわけで新しい（わけでもないけど）関数の使い方を覚えようという心構えです。 今日はみんな大好き **{dplyr}から、便利なdo()関数の使い方を紹介します。do()関数は、はじめは意味がわからなすぎて辛いですが、{ggplot2}**のように使い方がわかれば大変便利な関数です。 まずは必要なパッケージを読み込みます。{dplyr}が今回の主ですが、後半に{broom}、**{

（rbind_allはdeprecatedとなっており、代わりに現在はbind_rowsが推奨されています） データフレームを縦に結合していく時、皆さんdo.call("rbind", list(data1, data2, data3))みたいなことやっていると思います。 しかしdplyrにC++で書き直されたrbind_allというのがあるのでそちらを使うとめちゃ速くなります。 enjoy! 追記 data.tableに適用する時はdata.table::rbindlistを使えとのことです。 https://github.com/hadley/dplyr/issues/240 追記2 コメント欄に情報いただきました。（musimasamiさんありがとうございます） factorが入っているとうまくいかないこともあるそうなのでcharacterに変換しておくと良いとのことです。 libr

はじめに dplyrの使い方にちょっと慣れてくると、「あー、これもうちょっと簡単にできないの？」みたいな事が出てきたりします。 今回は、そんな悩みをほんのちょっと解決できるかもしれない、Window関数について解説したいと思います。 SQLに詳しい人はすぐイメージできると思いますが、私の周りにもWindow関数の存在自体を知らない人が結構居たのでいい機会なので、ざっくりまとめます。 dplyrってなんぞやという方は、基礎編の記事を見ていただければと。 Window関数を使うと簡単にできることの例 とは言っても、具体的に何ができるのか、分からなかったら読むのもメンドクサイので、まずは簡単にできることを紹介します。 ランキング（タイ順位考慮あり、なし等含む） 前日比、前週比（前後のレコードとの比較等） 累積（累積和等） 移動平均（Windowサイズの指定、Windowの位置、重み等） どれも自

私、集計はplyrでやろうぜええええええええええとか言ってる割に、データマージはmerge()でやっておりました。 もうそろそろ冬休み終わるし沢山の集計作業が待っているが俺は早く帰りたい。 ということでdplyrの*_join()のうち、inner_join()を試してみました。 ３倍速い。 これからはinner_join使います。 なお、本当はplyrのjoinとも比較したかったんだけど、なぜかRが落ちるのでやめました。 追記 ヘルプを読むと、outputのrenameとか変数名が異なるものをbyに指定した結合とかはできないとのことなので注意。 Unlike merge, preserves the order of x no matter what join type is used. If needed, rows from y will be added to the bottom