はてなブックマーク

第４２回Tokyo.Rを開催しました！ https://atnd.org/events/54680 今回は、いつもと違って、Y!Jのでの開催で、 株式会社Qubital（キュービタル）データサイエンスさんの社員の方々がスタッフをやってくださいました。 ありがとうございます！！ 前半セッション R入門（dplyrでデータ加工)：@gepuro R入門（dplyrでデータ加工)-TokyoR42 from Atsushi Hayakawa ggplot2によるデータ可視化：@yokkuns Tokyor42 ggplot2 from Yohei Sato Rコードと実行結果：http://rpubs.com/yokkuns/27108 データ分析するときの4つの視点：@yokkuns Tokyor42_r_datamining_18 from Yohei Sato Rコードと実行結果：http

ビジネス活用事例で学ぶ データサイエンス入門 という本を執筆しました！ http://amzn.to/SzXjpe まだ発売前ですが、前回に引き続き、少しだけ中身を紹介してみたいと思います。 興味がありましたら、是非ご予約ください！ 2.ビジネスにおけるデータ分析フロー データ分析における5つのフロー ビジネスにおけるデータ分析の目的は、ビジネスで発生したさまざまな問題を統計解析や機械学習、データマイニングの各種方法論を駆使して解決することと言えます。 ここで気をつけたいのが、あくまでも問題解決が目的ということです。 たとえば、データ分析専任の会社に分析を依頼したら、やたら難しそうな大量の資料がでてきた。 結論はよく考えると当たり前のことだった、といったことはないでしょうか？ 学術の分野からデータ分析者となった分析者、あるいはビジネスを熟知していない外部組織の分析に頼るときに良く起きる現象

ビジネス活用事例で学ぶ データサイエンス入門 という本を執筆しました！ http://amzn.to/SzXjpe まだ発売前ですが、少しだけ中身を紹介してみたいと思います。 興味がありましたら、是非ご予約ください！ はじめに (※出版社を配慮し、原文そのままではないです) 日々、データ分析の実務をしていると、次のような言葉をよく聞きます。 A. 膨大な費用を使ってデータを収集し解析してもらったけど、期待したほどの爆発的な効果はでてこないなぁ。 B. 分析部署から詳細な報告を送ってくれるのですが、やたら難しい報告書で、とても読めません。 C. 一応データは残していますが、忙しくて分析しきれていないんです。 D. データは全て残しています。ですが、どう見たらいいのか困っています。 E. 重要な数値は毎日確認しているけど、それを見て実際どうのようにしたらいいのかわからなくて……。 F. うちは

k-means法は、非階層的クラスタリングの代表的な手法ですごく便利ですが、使って行く上で、以下の2つが問題になってきます。 初期値がランダムなので、結果がぶれる 最適なクラスタ数が分からない この2つの弱点に対して拡張版や手法が提案されていますが、すごくシンプルな方法で解決するパッケージを作ってみました。 その名もykmeansパッケージ・・・！ http://cran.r-project.org/web/packages/ykmeans/index.html ※改良とか拡張とかしてるわけではないので、kmeans2とか付けるのは自重した このパッケージは、上記の二つの問題に対して、以下のアプローチで対応しています。 N回(デフォルトは100)実行して、一番分類されたクラスタを採用する 任意の変数のクラスタ内分散の平均値が小さくなるクラスタ数を採用する N回実行して一番多く分類されたクラ

データサイエンティスト養成読本を執筆しました かなり遅い報告となってしまいましたが、データサイエンティスト養成読本という本を執筆しました！ データサイエンティスト養成読本 [ビッグデータ時代のビジネスを支えるデータ分析力が身につく! ] (Software Design plus) 作者: 佐藤洋行,原田博植,下田倫大,大成弘子,奥野晃裕,中川帝人,橋本武彦,里洋平,和田計也,早川敦士,倉橋一成出版社/メーカー: 技術評論社発売日: 2013/08/08メディア: 大型本この商品を含むブログ (13件) を見る 自分の担当パートは、以下の2つです。 特集1の第１章「Rで統計解析をはじめよう」 特集2の第１章「Rによるマーケティング分析」 Rで統計解析をはじめよう 目次 Rの導入 データ把握 多変量解析: 予測 多変量解析: 分類 機械学習 このパートでは、Rの導入からデータの把握、統計解析

2011年5月に入社して、2年間ほど勤めたDeNAを本日(6/30)付けで退職しました。 DeNAでの2年間は、2年間とは思えない程濃い時間で、本当に様々な経験をする事が出来ました。 入社して最初は、データマイニング部という部署に配属され、他部門で解決出来ないような難易度の高い課題に対して、各種方法論を使って解を出すといった事をやっていました。 まだデータが整備されていない状態の中で、求められているスピード感＆クオリティが高く、中々苦労したのを覚えています。 基本的な統計モデルの適用だったり、他の業界で使われているような応用的な手法の適用、あるいは新しいモデルを作ったりなど、かなりチャレンジングな事をさせてもらいました。 データマイニング部の時に作ったモデルの一つに、TVCMの効果測定モデルがあったのですが、そのモデルを運用してもっと深い分析をしたいというお話があり、出向という形でマーケテ

第31回Tokyo.Rを開催しました。 ※ 資料がまだのものは、公開され次第追記します！ 前半(初心者セッション) 初心者セッション1 (所沢義男) TokyoR#31 初心者セッション from TokorosawaYoshio Rによるやさしい統計学 第７章 分散分析（後半の後半） (@aad34210) Tokyo r30 anova_part2 from Takashi Minoda 中の人が語る seekR.jp の裏技 (@hiratake55) 中の人が語る seekR.jp の裏側 from hiratake55 後半 始めよう多変量解析〜主成分分析編〜 (@sanoche16) Tokyor31 from Hiroki Sano R言語で学ぶマーケティング分析 – 競争ポジショニング戦略 – (@yokkuns) R言語で学ぶマーケティング分析 競争ポジショニング戦略 f

RでHadoopを使うパッケージは、RHadoopとかRHIPEとかありますが、 単純にHDFS上のデータを読み書き出来るだけのシンプルなものが欲しかったのでパッケージを作って公開してみました。 http://crantastic.org/packages/rHadoopClient JavaとかPigで一次集計したデータをRで読み込む時に使うイメージです。 準備 install.packages("rHadoopClient") library(rHadoopClient) HDFS上のデータを読み込む ./tmp/iris にアップしたirisのデータを読み込む data.hdfs <- read.hdfs("tmp/iris") names(data.hdfs) <- names(iris) head(data.hdfs) ## Sepal.Length Sepal.Width Pe

先日やったRでHTMLレポート配信を、パッケージ化して公開しました！ [R] knitr+sendmailR でHTMLレポート配信 - yokkunsの日記 sendmailRで画像付きHTMLメールを送る - yokkunsの日記 Rでレポートメール 準備 修正版sendmailRのインストール $ git clone [email protected]:yokkuns/sendmailR.git $ cd sendmailR $ sudo make install または、パッケージを作成して普通に、install.packagesでインストール $ make package > install.packages("sendmailR_1.1-2.tar.gz") インストール > install.packages("EasyHTMLReport", contriburl=contrib.

告知が大分遅くなってしまいましたが、1/18の#CROSS2013で、 「今日から始まるデータサイエンティスト」というセッションをやらせて頂きます！ http://www.cross-party.com/programs/?p=133 求めらるデータサイエンティストの人材像や、実際の活用について語るセッションにしたいと思っているので、興味のある方は是非ご参加下さい！ 以下、概要です。 セッション概要 セッション１：『活躍するデータサイエンティストの人材像』 近年、データサイエンティストの必要性が熱く取り上げられているが、実際の現場で必要とされる人物像・必要スキルは明確ではない。 今回、実際に分析ビジネスを行う経営・マネジメント陣が、分析現場で必要とされるデータサイエンティストの人物像・必要スキルを徹底議論。明日からデータサイエンティストになりたい方はぜひご参加下さい。 セッション２：『今日

PythonでUDFが書けるので試してみた。 User Defined Functions 日付の差を計算するUDFを書いてみる とりあえず、日付の差を計算するUDFを書いてみた。 udf.py @outputSchemaで、出力のスキーマを書いて、あとは普通に書く。 #!/usr/bin/env python import time @outputSchema("datediff:int") def DateDiff(a,b): a_time = time.mktime(time.strptime(a,'%Y-%m-%d')) b_time = time.mktime(time.strptime(b,'%Y-%m-%d')) return int( (a_time - b_time) / 86400 ) date_diff_sample.pig Register 'udf.py' usi

前回は、R Advent Calendar 2012 : ATNDに間に合わせるために、現バージョンではHTMLメールが送れない問題と、画像が表示されない問題について苦肉の策をとらざるを得なかった。 さすがにあのままじゃちょっと残念な感じなので、これらの問題に対応してみた。 sendmailRパッケージの修正 今回の対応で、sendmailRパッケージ自体をいじる必要があったので、いじって開発者の方にpatchを送ってみた。 次のバージョンとかで反映されてると良いな〜 yokkuns/sendmailR:Compare View パッケージの内部の関数でContent-Typeがベタ書きされてるので、これを引数headersで指定出来るように変更 添付ファイルのContent-IDが設定されていないので、内部で自動で設定するように変更 この時、添付画像として指定しやすいように、IDを<ファ

R Advent Calendar2012、4日目です。 ふと、Rで分析した結果を定常的にメールでレポートしたいなーと思ったので、knitr+sendmailRで試してみた。 大きくは、以下のような流れ。 RStudioで分析＆レポート作成 上で作成したRmdファイルからHTMLファイルを生成 生成されたHTMLを読み込んで、HTMLメールを送信 ただ、最新版(1.1-1)のsendmailRだと、Content-Typeを内部で上書きされてHTMLメールが出来なかったので、前のバージョン(1.0-0)を使用した。 $ wget http://cran.r-project.org/src/contrib/Archive/sendmailR/sendmailR_1.0-0.tar.gz > install.packages("sendmailR_1.0-0.tar.gz") Rmdファイルの

先日作ったChangeAnomalyDetectionパッケージを使ってHadoop上のデータの異常検知する仕組みを考えてみる。 今回は、以下のようにhadoop上にデイリーで蓄積される購買履歴のようなデータを想定する $ hadoop fs -ls /user/yokkuns/buying_history | head Found 100 items -rw-r--r-- 1 yokkuns supergroup 184 2012-10-14 13:00 /user/yokkuns/buying_history/2012-01-01 -rw-r--r-- 1 yokkuns supergroup 65 2012-10-14 13:00 /user/yokkuns/buying_history/2012-01-02 -rw-r--r-- 1 yokkuns supergroup 76 20

Pig UDFのライブラリDataFuに、PageRankがあるらしい事を知ったので試してみた。 ・http://twitter.com/shiumachi/status/253478760119156736 ライブラリのダウンロードと展開 $ wget --no-check-certificate https://github.com/downloads/linkedin/datafu/datafu-0.0.4.tar.gz $ tar zxvf datafu-0.0.4.tar.gz $ ls datafu-0.0.4/dist datafu-0.0.4-javadoc.jar datafu-0.0.4.jar datafu-docs.war datafu-0.0.4-sources.jar datafu-coverage.war データの用意 [R]ネットワーク分析 - ネットワーク

時系列的な振る舞いの変化点を検出するためのパッケージを作ってみました。 CRAN: http://cran.r-project.org/web/packages/ChangeAnomalyDetection/ github: https://github.com/yokkuns/r-AnomalyDetection Usage changeAnomalyDetection(x, term = 30, smooth.n = 7, order = c(1, 0, 0), ...) x 時系列の数値ベクトル term 学習期間 smooth.n 移動平均の期間 order arima関数に渡すorder ... arima関数に渡すその他パラメータ 実行例 パッケージ読み込み library(ChangeAnomalyDetection) library(RFinanceYJ) library(

先日、第26回TokyoRを開催しました。 http://atnd.org/events/31518 今回、ちょっとバタバタしてメモを取り忘れたので、自分の発表資料だけ載せておきます。 R言語で学ぶData Fusino入門 Tokyor26 data fusion from yokkuns Rで、ディリクレ過程混合モデルまで実行してみたかったのですが、どのパッケージを使えば良いかが分からず、また自分で実装するには時間がなかったので今回は断念。 知ってる方いたら教えてください:) 階層ベイズモデルやってる方がすごく興味を持ってくれていたので、そこら辺の各種方法論を一度整理してみたい 次回 次回は、10/20に開催する予定です！ 近日中にATNDを立てるので、興味のある方は是非ご参加ください！

ある程度の規模のネットワークでは、内部にサブネットワーク（コミュニティ）が形成されることがある 例えば、大学のネットワーク図を描くと、何となく学部だったりサークルのグループが見えてくる このよなコミュニティの抽出方法として、辺の媒介中心性を用いた方法があるので、その方法とRでの実行を紹介する データの入力と描画 g <- graph(c( 1,2, 1,3, 1,4, 1,5, 1,9, 2,3, 2,4, 3,4, 5,6, 5,7, 5,9, 6,7, 6,8, 7,8) - 1, n = 9, directed = FALSE) plot(g,layout=layout.lgl) 何となく、以下のようなコミュニティがありそう 辺の媒介中心性 [R][ネットワーク分析] ネットワークにおいてどれくらい中心的かの指標 - yokkunsの日記の媒介中心性を、エッジに適用したもの。 ある人

ネットワーク分析で最も良く用いられる指標として、中心性というものがある 今回は、その中でも3つの指標に絞って紹介 次数中心性 友達が多い人が高く評価される指標 友達の数を数えるだけなので、計算も簡単 データの入力と描画 A <- matrix(c( 0,1,1,1,1,1,1,0, 1,0,1,1,1,1,0,0, 1,1,0,0,0,0,0,1, 1,1,0,0,0,0,1,0, 1,1,0,0,0,1,0,0, 1,1,0,0,1,0,0,0, 1,0,0,1,0,0,0,0, 0,0,1,0,0,0,0,0), nrow = 8, byrow = TRUE) g <- graph.adjacency(A, mode = "undirected") plot(g) 次数中心性の算出 > degree(g) [1] 6 5 3 3 3 3 2 1 PageRank 単純に友達が多いだけで

2012/3/10に、第21回Tokyo.Rを開催しました！ http://atnd.org/events/24811 @aad34210: 続・はじめてのR (30分) Tokyo r21 2 View more PowerPoint from aad34210 R言語の初心者向けの発表。 プログラミングの基本である条件分岐とループから、 R言語の基本機能であるグラフ作成、そして統計解析という盛り沢山な内容でした！ @holidayworking: Rによるデータサイエンス第16章 集団学習 (30分) アンサンブル学習 View more presentations from Hidekazu Tanaka アンサンブル学習のアルゴリズムをcaretパッケージを使って比較 バギング ブースティング ランダムフォレスト ⇒ ランダムフォレストが1番精度が高かった！ @Hiro_macch

ざっくりとまとめてみた Uplift Modelling 入門（1） View more presentations from yokkuns Rで楽に実装する方法が無いか調べてるんですが、既存のものでは難しそう。。。 もう少し調べてなければ、頑張ってパッケージ化したいと思います！

Opening Talk 「統計カリキュラム 第１回−一般化線形モデル−」 (講師： @isseing333さん） (発表30分 + 議論30分) Tokyo webmining統計学部 第1回v2 View more presentations from Issei Kurahashi 「医療分野におけるデータマイニングを始める前に知っておきたいこと (講師： @dichika )(発表20分 + 議論20分) 対策のインパクト どの層を狙っているか明確に 木を見て森を見ずになっていないか 一足飛びのロジックになっていないか 手法の選択 結果を見せる相手は誰か 重回帰分析から説明する必要あり ランダムフォレスととか無理 説明しやすい手法 相手が馴染んでいるスタイルで 医学分野 : 実験計画＋調査＋説明モデル 線形モデル、決定木モデル 「複雑ネットワークとデータマイニング 徹底入門」 (講

2011/10/22に、第18回R勉強会＠東京（#TokyoR）を開催しました！ http://atnd.org/events/21050 以下、内容です。 資料はアップされ次第、更新します！ @aad34210 「はじめてのR 」（20分） 概要 : Tokyo.Rでは高度な手法が紹介されていますが、いざ使いたくてもRは初めてなのでコードがよくわからない…といった初心者の方に向けてお話します。 Tokyo r18 View more presentations from aad34210 @dichika XLConnectで快適なエクセルライフのご提案 （15分） 概要 : XLConnectパッケージであなたのエクセルライフを豊かにします Tokyor18 View more presentations from dichika @takemikami 「Rによるデータサイエンス第1

ベイジアンネットワークとは 事象間の連関を確率的な仮定として、有向グラフを用いて表す方法。 ネットワーク構造は、DAGでなければならないという制約がある。（原因と結果が循環的な構造になってしまうのを避けるため） ベイジアン・ネットワークをデータ分析に応用すると、変数間の連関を有効グラフで表す事が出来る。 ベイジアン・ネットワークにおける有向辺の有無を決める基準には、確率的な「独立」が用いられる。 このとき、 なので、Aの確率はBの影響を受けない。 このように2つの変数が独立、もしくはそれにちかければ、それらの間に連関は無いと考え、それらの変数を表すノード間にエッジは張られない事になる。 ベイジアン・ネットワークの例 データは、ネットワーク分析 (Rで学ぶデータサイエンス 8)に出てくる「ハイテク企業の管理職21人の社会ネットワーク」。 ハイテク企業の管理職データ Age Tenure Dp