訳者の方からご恵贈いただきました。 本文だけで500ページを超える重厚な書籍で、HTMLやXMLの基礎、正規表現やXpathの仕組み、データ分析のプロジェクトの管理までちゃんと押さえつつ、ネットワーク分析、ツイートマイニング、地理的データの可視化、ECサイトからのマイニング・センチメント分析などなど事例も豊富。 それら事例のそれぞれに紙幅をふんだんに割いて記述されてあり、 入門者がいざ実際の課題に取り組む際に重宝しそうな、単にデータ収集するコードだけでなく分析の進め方や考え方がきっと役に立つ、と思わされる一冊でした。 確かに値段は高めだけど、分量を考えたらむしろお得なので、Rを使うならデータ分析の部署にひとつ買って置いといて損はないはず。 出版社のページはこちら。 Rによる自動データ収集 ―Webスクレイピングとテキストマイニングの実践ガイド― / Simon Munzert 他著 石田

Basically, a minimal reproducible example (MRE) should enable others to exactly reproduce your issue on their machines. Please do not post images of your data, code, or console output! Brief summary A MRE consists of the following items: a minimal dataset, necessary to demonstrate the problem the minimal runnable code necessary to reproduce the issue, which can be run on the given dataset all nece

2015-12-06 【Japan.R 2015】国内R言語最大級のイベント「Japan.R」に遊びに行ってきた！ R 確率 統計 イベントレポート 今日は東京の銀座のリクルート GINZA8 11Fホールにて行なわれた「Japan.R 2015」へ行ってきた感想を書こう。 本イベントはR言語と言うプログラムを使って、確率統計・機械学習と言った数学的なプログラムを組み、ある物事の傾向を調査してみた。あるいはそれらを有利に進める為のツール群の発表が行なわれていた。今日は、その中で自分が特に面白かった発表をまとめてみたい。CET(Capture EveryThing)プロジェクトにおける　機械学習・データマイニング最前線(高柳氏)　自社のデータ分析基盤やそれらの取り組みについて発表。コールセンターのログを見る。つながりにくい時間帯を掴んで、つながりやすくすると言ったことにFluentdを活用

日々、スポットライトがあたっていない良ライブラリを見つけては紹介したいと思っています。スポットライトのあたっていない良若者も然りです。おせっかいおじさんです。今日はPCA（主成分分析）のド発展版に相当する、ガウス過程を用いたGPLVMをRからサクッと使うまでの備忘録です。 GPLVMの説明で分かりやすいのは、以下の統計数理研究所のH26年度公開講座「ガウス過程の基礎と応用」の持橋先生と大羽先生の発表資料です。 [1] 統計数理研究所 H26年度公開講座「ガウス過程の基礎と応用」 (web) 元論文は以下です。 [2] M. K. Titsias and N. D. Lawrence　(2010)　Bayesian Gaussian Process Latent Variable Model. Thirteenth International Conference on Artificial

※この記事は R Advent Calendar 2014 : ATND の 22 日目の記事です。 0. この記事の要約 R の foreach パッケージを改良して、デフォルトで並列計算するようにしたパッケージ pforeach を作りました。 pforeach - Easy to parallel processing in R これにより、R での並列計算を下記のようにシンプルに書くことができます。 library(pforeach) pforeach(i = 1:100)({ i ** 2 }) これは、従来の foreach で次のように書いたものと同じ動作をします。 library(foreach) library(doParallel) cl <- makeCluster(detectCores()) registerDoParallel(cl) foreach(i = 1

今回は「ほぼＲしか使ったことがない」人間*1が、できる限り二者の優劣をくっきり述べる。 僕はほとんどＲしか使ったことがない。Pythonはtfidfやクイックソートをライブラリ無しで実装した程度。 前半の主張は以下である。 「過去のＲでの１０回程度の解析において、Ｒで不十分さを感じてPythonを使った経験は１度だけ、しかも部分的にしかなかった。Ｒの使いにくさを感じることも最近はだいぶ無くなった。だから初学者には「事足りる」Ｒを勧める。」 前半の主張 今までにＲでやった解析の内容は大体以下である。 （未発表）は途中で頓挫した、もしくは現在進行中／契約により詳細＆解析結果の公開不可能のプロジェクトである。 [ビジネス・製造業] 米国新車価格の線形重回帰分析（授業の期末課題） [ビジネス・不動産] 不動産賃貸価格の線形重回帰分析（発表スライド） [ビジネス・ＩＴ] ＥコマースサイトのＡＲＩＭＡ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

7. 6 既存のOOシステム • S3 – クラスはclass属性として個別のオブジェクトに対して設定 • フォーマルなクラス定義はない • 継承もclass属性で行う – メソッドはジェネリック関数 john <- list(name = "John", age = 40) class(john) <- c("Employee", "Person") # printはジェネリック関数 print #> function (x, ...) #> UseMethod("print") # メソッド定義 print.Person <- function(x) { paste0("こんにちは，", x$name, "です．") } # printで実際に呼ばれるのはprint.Person print(john) #> [1] "こんにちは，Johnです．" 8. 7 既存のOOシステム • S

対応のない 2 群間の量的検定手法として、最も有名なのは Student の t 検定でしょうか。 以前、Student の t 検定についての記事を書きました。 小標本問題と t検定 - ほくそ笑む しかし、Student の t 検定は、等分散性を仮定しているため、不等分散の状況にも対応できるように、Welch の t 検定を使うのがセオリーとなっています。 ただし、これら 2つの検定は分布の正規性を仮定しているため、正規性が仮定できない状況では、Mann-Whitney の U検定というものが広く使われています。 Mann-Whitney の U検定は、正規性を仮定しないノンパラメトリック検定として有名ですが、不等分散の状況でうまく検定できないという問題があることはあまり知られていません。 今日は、これらの問題をすべて解決した、正規性も等分散性も仮定しない最強の検定、Brunner-

本書ではデータ解析環境R を使って「素早く、簡単に、間違いのない」レポートを作成する方法を紹介します。 結果を可視化したグラフや表、数値データ等に適切な注釈を加え、場合によってはそのデータ解析の背景や結論などを記述して、読む人が理解できる「レポート」を完成させることが不可欠です。データ解析という仕事の評価は、内容もさることながらレポートの出来栄えによって大きく左右されるといっても過言ではありません。 ビッグデータブームやデータサイエンティストブームの中、データ解析の需要が高まっていることには疑問の余地はないでしょう。そして現在ではR はデータ解析ツールの中心的な存在となっています。R では動的レポート生成を支援するツールが急速に整ってきているので、この手法を習得するのも利用するのも非常に簡単です。本書の後半では、派手なという意味ではなくレポートとして洗練されたという意味で「インパクトのある

統計処理言語の R のバージョン3.1.0が、2014年4月10日に公開された。この新リリースでの主な変更点について解説する。 バージョン3.1.0のリリース 2014年4月10日、R のバージョン3.1.0がリリースされた。コードネームは Spring Dance（春の踊り）である。バージョン3.0.0がリリースされたのは、2013年4月3日なので、およそ1年を経てマイナーバージョンアップが行われたことになる [1] 。 Rのバージョン3.1.0のコードネームは Spring Dance（春の踊り）である。 [2] バージョン3.1.0での変更点の詳細は、Rアナウンスメーリングリストでのバージョン3.1.0リリースの通知（R 3.1.0 is released、英語）を参照されたい。 バージョン3.1.0での主な変更点 以下で、バージョン3.1.0での変更点のうち、重要だと思われる点をい

プロットの作製 基本プロットを作る Geoms Aesthetics 違う種類のグラフを重ねる 参照線の追加 グループ分け 層別プロット スケールと軸 Scales 軸ラベルやタイトルの変更 軸の表示範囲を変更する 軸の左右の余白を削除する 軸表示の修飾 日時の軸スケール 軸区切り値の変更 軸スケールの変更 (変数変換) プロットのソート (離散型変数の水準をソートしてプロット) 座標系の反転：横向き箱ひげ図 極座標への変換：円グラフ 座標系のアスペクト比の指定 色セットの変更 ggplot2 のデフォルト色セットの定義 任意の色セットの利用 凡例 凡例位置の変更 凡例ラベルの変更 凡例の一部を削除する テーマ (グラフ背景・グリッドの色, マージン, フォント) Themes 定義済み theme の適用と編集 theme 要素と theme() の併用時の注意点 フォント変更 保存 g

これまでデータ・サイエンティストの選ぶプログラミング言語はRだったのだが、急激にPythonに置き換わろうとしている。 このシフトの理由はいくつかあるようだが、第一にはPython自体が汎用的で比較的学びやすい言語であるのに対し、Rが習得するにあたってやや複雑であることがあげられるだろう。 データにますます依存しつつある現代社会とデータに飢えたサイエンティストにとっては「簡単さ」こそが鍵となるのだ。 Rは実際にはプログラミング言語ではないRを覚えることに苦労する人が多い理由として考えられるのは、Rが実際にはプログラミング言語ではないからかもしれない。R専門家のジョン・クックいわく、Rとは「統計のためのインタラクティブな環境」であり、厳密にはプログラミング言語ではないのだ。彼はさらに「Rをプログラミング言語だと考るのではなく、Rがプログラミング言語を内包しているのだと考えた方が良いと分かった

ネットワークのコミュニティ検出をやろうやろうと思って長らく放置していたのでやる。 重複がないコミュニティはigraph, 重複があるコミュニティはlinkcommでできるので、重複があるほうをする。 linkcomm クラスというのができるので扱いにくいかと思ったら、中にigraphができるのでやりやすそうだった。しかし、linkcommのままプロットするのはパラメータの設定がめんどうだったので投げた。 と思ったら plotLinkCommGraph でできるらしい。 おなじみのラブライブの百合解析からデータをとるが、linkcommはエッジリストからのデータを受け取るようなので、エッジリストに強制変換して渡す。 コミュニティの検出は最尤推定っぽい何かで最もそれっぽいコミュニティ数にしてくれる。何かパラメータをいじれば変えられる。 # res にリンクの百合 matrix があるとして w