Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめてQiitaに投稿した記事が100ストックを超え、割と好評だったので引き続き新しい記事を書いてみました。 ##0. はじめに 実は、このデータは、世界中のユニコーン企業のデータを表しています。 ユニコーン企業というのは、上場していなくて、評価額が１ビリオンドル以上の評価額を得ている企業のことを指します。代表的なのだと、UberとかAirbnbとか。 面白そうなデータですよね。どの国がユニコーンが多いのかとか、期間とValuationの関係性とか、いつユニコーン企業が多く生まれてるのかなって質問に答えることができそうです。ところが、

Microsoftは先週、大々的な発表はなかったものの、ビッグデータアナリティクス製品の新ファミリ「Microsoft R Server」をMSDNとDreamSparkのサブスクライバー向けに提供開始した。 米国時間1月12日、Microsoftはこの提供開始と、「Revolution R Enterprise」シリーズをMicrosoft R Serverに改称することを正式に発表した。同社はまた、「Revolution R Open」を「Microsoft R Open」に改称し、無料でダウンロード提供を開始したことも発表した。 Rはビッグデータの統計や予測モデリング、機械学習に使われるプログラミング言語。Microsoftは2015年4月、Rプログラミング言語のディストリビューションを手がけるRevolution Analyticsの買収を完了した。金銭的条件は公表されていない。

「Microsoft R Server」のライセンス体系と価格、Windows版は次期SQL Serverに統合 既報 のとおり、Microsoftは米国時間1月4日にデータアナリティクス製品「Microsoft R Server」の提供を開始した。これは、同社が2015年4月に買収したRevolution Analyticsの統計解析ソフトRの商用版「Revolution R Enterprise（RRE）」の名称を変更したもの。RREはMicrosoftが買収したあともRevolution Analyticsから販売されていたが、1月1日以降は、MicrosoftがMicrosoft R Serverの新製品名で販売する。製品名の変更に伴う機能拡張はなされていない。 Microsoft R Serverのラインアップは次の5つ。 Microsoft R Server for Windo

会員事業部の有賀(id:chezou)です。 今年一年、社内では勝手に"Jupyterの伝道師"を標榜してJupyter notebookの普及活動を展開してきました。 先日、社内でハンズオンも行ったおかげもあり、かなり社内のマシンにPython環境が構築されてきました :) Jupyter notebookとは？ ひとことで言うとブラウザで動くすごい便利なREPL*1です。 百聞は一見にしかず、見てみましょう。 このように、Rubyの対話環境であるpryを触っているようにインタラクティブにコードを書くことができます。 以降で説明をしますが、Jupyter notebookは記録・共有・再現がとても得意です。特に図表があるときにその効果を発揮します。 Jupyter notebookの良い所 過去のコードを改変、再実行できる セルと呼ばれる入力部分にはMarkdownやコードが記述できます

主観的な観点からPythonとRの比較した記事は山ほどあります。それらに私たちの意見を追加する形でこの記事を書きますが、今回はこの2つの言語をより客観的な目線で見ていきたいと思います。PythonとRを比較をしていき、同じ結果を引き出すためにはそれぞれどんなコードが必要なのかを提示していきます。こうすることで、推測ではなく、それぞれの言語の強みと弱みの両者をしっかりと理解できます。 Dataquest では、PythonとRの両方の言語のレッスンを行っていますが、データサイエンスのツールキットの中では両者ともそれぞれに適所があります。 この記事では、NBA選手の2013/2014年シーズンの活躍を分析したデータセットを解析していきます。ファイルは ここ からダウンロードしてください。解析はまずPythonとRのコードを示してから、その後に2つの異なるアプローチを解説し議論していきます。つま

(訳注：2016/1/5、いただいた翻訳フィードバックを元に記事を修正いたしました。) よくある主観的で痛烈な意見を題名に付けたクリックベイト（クリック誘導）記事だろうと思われた方、そのとおりです。以前指導してくれた教授から教わったある洞察/処世術は、些細でありながら私の人生を変えるマントラとなったのですが、私がこの記事を書いたのはそれによるものです。「同じタスクを3回以上繰り返す必要があるなら、スクリプトを書いて自動化せよ」 そろそろ、このブログはなんだろうと思い始めているのではないでしょうか。半年振りに記事を書いたのですから。ツイッターで書いた Musings on social network platforms（ソーシャル・ネットワークプラットフォームについてじっくり考える） はさておき、この半年の間書き物をしていないというのはうそです。正確には、400ページの 本 を書きました。

SQL Server 2016はオンプレミスとクラウドにまたがったデータベースを実現、古いデータはクラウド側で保持、分析機能はRを統合。Iginte 2015 マイクロソフトは今週行われたイベント「Ignite 2016」で、SQL Serverの次バージョンとなるSQL Server 2016の新機能を発表。プレビュー版が今夏に公開されることも明らかにしました。 SQL Server 2016では、より高度なミッションクリティカル機能、Rとの統合を含む高度な分析機能、クラウドとの統合機能、暗号化機能とセキュリティの拡張などが行われるとのこと。

Mary Jo Foley （Special to ZDNET.com） 翻訳校正： 編集部 2015-04-07 11:15 Microsoftは米国時間4月6日、Revolution Analyticsの買収を完了したと発表した。買収条件は非公開となっている。Revolution Analyticsは、広く普及しているオープンソースの統計解析言語「Revolution R（R言語）」のソフトウェアとサービスを提供する企業。 Microsoftは2015年1月に買収計画を公表した際、Revolution RをはじめとするRevolution Analyticsの技術を、Microsoftのデータプラットフォーム製品に組み込む計画を発表していた。 MicrosoftでクラウドおよびエンタープライズグループのコーポレートVPを務めるJoseph Sirosh氏は、買収完了を報告する公式ブログ

今週はまともなデータ分析やら統計学やら機械学習やらの記事を書くのが面倒になったので*1、しばらくやってなかったお薦め書籍リストでも書こうかと思います。 今回まとめるリストは、ズバリ「Rでデータサイエンス・統計学・機械学習を学ぶための10冊」。Rと言えばこのブログのメイン言語なので特に説明は要さないでしょう。去年1年間は拙著も含めてR絡みの本が大豊作で、以前のお薦め書籍リストに比べるとRの良書が増えたという部分もあり、そう言えばR本だけでリスト作れるなぁと思ったのでした。 というわけで、主に僕が持っているor読んだことがある本を中心にお薦めリストをまとめてみました。いつも通り独断と偏見まみれなので、他にも良いR本は沢山ありますよーという旨予めお断りしておきます。 そうそう、先に書いておきますがこのリストは中級者向けです。でも初学者向けに良いRの本ってあるのかなぁ。。。初学者はまずはExcel

統計学の代表的な手法について、人気書籍「統計学が最強の学問である実践編」に掲載されている一般化線形モデルをまとめた一枚の表を最初に掲げひとつひとつ多変量解析の手法を追ってきました。今回は実際のデータを分析していくにあたり留意すべき事項をまとめます。このあたり上記書籍からの引用抜粋を含みます。 ビジネスにおける分析の手順 今まで説明したとおり 量的なアウトカムに対しては重回帰分析 質的なアウトカムに対してはロジスティック回帰 をおこなうことでどんなアウトカムと説明変数の関係性も分析できるようになります。 手法や指標の意味がわかったあとでも、実際に使いこなそうとすると難しいところがいくつかあり、その代表的なものは「どの説明変数をいくつ使えば良いか」というインプット、「出てきた結果変数からどういう意味を読み取りどう解釈してどうアクションを取るか」というアウトプットの二大側面に整理できます。 まず

※この記事は R Advent Calendar 2014 : ATND の 22 日目の記事です。 0. この記事の要約 R の foreach パッケージを改良して、デフォルトで並列計算するようにしたパッケージ pforeach を作りました。 pforeach - Easy to parallel processing in R これにより、R での並列計算を下記のようにシンプルに書くことができます。 library(pforeach) pforeach(i = 1:100)({ i ** 2 }) これは、従来の foreach で次のように書いたものと同じ動作をします。 library(foreach) library(doParallel) cl <- makeCluster(detectCores()) registerDoParallel(cl) foreach(i = 1

今日もモツ鍋を堪能されていた模様の [twitter:@hasegaw] さんが Linux のプロセスのアクティビティを追跡してグラフ化するツールを Perl + R で作られたということで早速使ってみました。 プロセスがユーザーモードでCPUを使えているのか、I/O待ちになっているのかといった傾向を分析することができます。Oracle Database はCPUを使えているのか、どんな理由で待機している（CPUを使えていない）か見ることができるよう実装されていますが、そんなものはないプログラムでも /proc ファイルシステムを参照してプログラムの外側からボトルネック分析が可能になります。素晴らしい！ こんな感じのグラフができます。 ツール prociostat.pl プロセスのCPU使用率、I/Oバイト数、I/O待機時間*1を秒間隔でCSVに記録する Perl スクリプト*2 情報ソ

Rを使っているとオブジェクトの中に入っているデータを確認したり眺めたりしたいと思うことが頻繁にあります。 こういった欲求を満たすためにess-R-object-popup.elというものを以前作ったのですが、これはあくまでオブジェクトのサマリーをチラ見することが目的であって、中身を細かく確認するものではありませんでした。 統計量を見るだけでもデータの特徴をある程度把握することはできるのですが、やはり生のデータを目視するのにはかないません。 生データを目視したいという需要は少なからずあるようで、RStudioでもデータビューワがあります。一方のEmacsですが、ESSにはオブジェクトを俯瞰できるrdiredというものがあるものの生のデータを眺める機能はなくて、Rのインタラクティブシェルでズラズラ出力しては眺めるという程度くらいしかできませんでした。まあこれでも良いんですがテキストが整形されて

追記（2018年4月） 2017年4月にアップデート記事を出しておりますので、そちらもご覧ください。 以前の記事でSVM（しかもsvm{e1071}に限って）で不均衡データをクラス分類する方法について取り上げましたが、色々調べた結果その他のRの分類器でもやれるということが分かったので、ついでにまとめておきます。といってもSVMに加えてランダムフォレスト、ロジスティック回帰を持ってきただけですが（笑）。 なお、前回同様用いるサンプルデータは正例20個・負例600個の30倍の不均衡データです。 SVM (LIBSVM) 前回の記事で既出ですが改めて書いておきましょう。svm{e1071}ではclass.weights引数を使うことでクラス重み付けを与えることができます。マージンの重みを正例と負例とで分けるという方法論です。 > d <- read.delim("~/xorc_ub.txt")

何気なくR-Bloggerのタイムラインを見ていたら、"CausalImpact: A new open-source package for estimating causal effects in time series | Google Open Source Blog"という記事がシェアされていたので見に行ってみたのでした。これはもう読んで字の如く「GoogleがキャンペーンがKPIにもたらす因果的影響を時系列から推定する」ためのRパッケージの話題で、その名も{CausalImpact}という。 ということで、ちろっと触ってみたので簡単にレビューしてみようと思います。本当は色々試してみたかったんですが、ちょっと手元に良いデータがないのでヘルプの事例のみでご勘弁を。。。 インストール 追記 (Jan 29 2020) 現在はCRANからインストールできます。 install.pack

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 大きめ目の変更点（個人目線） Long Vectorのサポート(64bit版）。 2^31-1以上の長さのベクトルが使用可能に。 使えるのはraw/logical/integer/double/complex/characterのベクトルとlistも。 文字ベクトルの要素の長さは今までどおり 2^31-1 bytes。 Long vectorに対するlength()はdoubleを返す。 インデクシングにはintegerではなくてdoubleを使うように。 行列、配列の場合、各次元の長さが < 2^31-1なら次元数の総和が > 2^3

私は情報収集にはてなブックマークを多用しており、暇な時は結構な割合ではてなブックマークで記事を探してます。しかし、はてなブックマークは最新の記事を探すのは便利ですが、過去の記事を探すにはいまいち使えません。個人的には多少過去の記事でも自分が興味を持っている分野に関しては、レコメンドして欲しいと感じてます。 ありがたいことにはてなはAPIを公開しており、はてなブックマークの情報を比較的簡単に取得できます。そこでこのAPIを利用して自分に合った記事を見つけるようなレコメンド機能をRとPythonで作成してみたいと思います。 利用するデータは、はてなAPIを使って収集します。具体的には、はてなブックマークフィードを利用して自分のブックマークしているURLを取得し、そのURLをブックマークしているユーザをエントリー情報取得APIを用いて抽出し、そのユーザのブックマークしているURLを収集します。こ