TOPICS Data Science , Database , Python 発行年月日 2017年01月 PRINT LENGTH 400 ISBN 978-4-87311-786-7 原書 Data Science from Scratch FORMAT PDF 本書は、データサイエンスも、プログラミングも最初から学んでみたい、という要望に応える、幅広いトピックをカバーしたデータサイエンスの入門書です。架空のソーシャルネットワーク運営企業、データサイエンス・スター社のデータサイエンティストとして、さまざまな課題を解決しながら、必要な知識とスキルを着実に積み上げていきます。Pythonプログラミングの基礎から線形代数、統計確率の基礎、回帰、機械学習、ナイーブベイズ、決定木、ニューラルネットワーク、自然言語処理、グラフ解析、リコメンドシステム、データベースとSQL、MapReduceまで

追記（2017年7月） こちらのスキル要件ですが、2017年版を新たに書きましたので是非そちらをご覧ください。 「データサイエンティストというかデータ分析職に就くためのスキル要件」という話題が某所であったんですが、僕にとって馴染みのあるTokyoR界隈で実際に企業のデータ分析職で活躍している人たちのスキルを眺めてみるに、 みどりぼん程度の統計学の知識 はじパタ程度の機械学習の知識 RかPythonでコードが組める SQLが書ける というのが全員の最大公約数＝下限ラインかなぁと。そんなわけで、ちょろっと色々与太話を書いてみます。なお僕の周りの半径5mに限った真実かもしれませんので、皆さん自身がどこかのデータサイエンティスト（）募集に応募して蹴られたとしても何の保証もいたしかねますので悪しからず。 統計学の知識は「みどりぼん以上」 データ解析のための統計モデリング入門――一般化線形モデル・階層

気が付いたら僕がデータ分析業界に身を置くようになってそろそろ5年近くになるんですね*1。この5年間の間に色々勉強したり業界内で見聞してきた経験をもとに、「実務の現場においてモデリングを行う上での注意点」についてだらだらと書いてみようと思います。 と言うのも、色々な現場で様々なモデリング（統計学的にせよ機械学習的にせよ）が行われていることが伝わってくるようになった一方で、ともすれば「え？こんな基礎的なポイントも守ってないの？」みたいなとんでもないモデリングがまかり通る現場があると愚痴る声を業界内で聞くことが少なくないので。自戒の意も込めて重要なポイントを備忘録としてブログ記事にまとめておくのも有益かなと思った次第です。 この記事では手法選択（線形・一般化線形・ベイズ＋MCMC・識別関数・識別モデル・生成モデル・樹木モデル・Deep Learning etc.）の話題は割愛しました。一般に、モ

（訳者注: 検定手法について、この記事には一部内容が古い部分があります。Optimizelyは現在、両側検定を採用し、独自開発したより精度の高い統計手法(Stats Engine)でテスト結果を表示しています。Stats Engineに関する記事: 日本語 ・ 英語 ） 私たちがSumAllでA/Bテストを一斉にスタートさせて6ヶ月が経ち、あまりよくない結末を迎えました。それは勝算があるとした結果のほとんどが新規ユーザーの獲得改善にはつながらなかったことです。それどころか、私たちは失敗したのです。そして私の一番の責任はユーザー獲得の増加であるということを考えると、本当に最悪の状況でした。私にとっても、私のキャリアにとっても、そしてSumAllにとっても。 過去に A/BテストとWebサイト･パーソナライゼーションの会社 に勤めていた経験から（はっきり言うとMonetateはOptimize

鈴鹿医療科学大学学長、元国立大学財務・経営センター理事長、元三重大学学長の「つぶやき」と「ぼやき」のblog 今回は、各学術分野別の論文数の推移を、論文絶対数および人口当り論文数で列挙していきます。日本の「強み」「弱み」を知ることが目的だったのですが、前回のブログで、日本はすべての学術分野で弱くなっており、すでに効果的な「選択と集中」ができるような状況にはないことをお話ししましたが、今回の検討でも、同じ感想を持ちました。 特に、日本のお家芸と言われた「物理・化学・物質科学」分野の論文数が、2004年の国立大学法人化を契機に、明確に減少しているカーブは、何度見ても衝撃的です。もう、そんなカーブを見せられても慣れっこになって、何も感じない人もいるかもしれませんが・・・。 そして、韓国、台湾、中国などの新興国が、日本が過去に優位性を保っていた産業競争力を凌駕したことについて、技術の流出や経営戦略

平素は株式会社ライブドアのサービスを ご利用いただきありがとうございます。 提言型ニュースサイト「BLOGOS」は、 2022年5月31日をもちまして、 サービスの提供を終了いたしました。 一部のオリジナル記事につきましては、 livedoorニュース内の 「BLOGOSの記事一覧」からご覧いただけます。 長らくご利用いただき、ありがとうございました。 サービス終了に関するお問い合わせは、 下記までお願いいたします。 お問い合わせ

著者プロフィール：伊吹太歩 出版社勤務後、世界のカルチャーから政治、エンタメまで幅広く取材、夕刊紙を中心に週刊誌「週刊現代」「週刊ポスト」「アサヒ芸能」などで活躍するライター。翻訳・編集にも携わる。世界を旅して現地人との親睦を深めた経験から、世界的なニュースで生の声を直接拾いながら読者に伝えることを信条としている。 世界最大の経済大国である米国の経済状況は、史上最悪規模の景気後退を脱して回復しつつあるが、それでもまだ不安定な感は否めない。しかも失業率が改善したと一喜一憂しながらも、オバマ政権は政治的なごたごたで政府の封鎖に追い込まれたり、債務上限の問題に足を引っ張られたりしている。 米国では2011年から、一部の富裕層が富を支配しているといういらだちが表面化し、ウォール街を占拠するデモが発生した。富裕層である国民の1％が、残りの99％の国民から怒りの矛先を向けられることになったのだ。 だが

これまでデータ・サイエンティストの選ぶプログラミング言語はRだったのだが、急激にPythonに置き換わろうとしている。 このシフトの理由はいくつかあるようだが、第一にはPython自体が汎用的で比較的学びやすい言語であるのに対し、Rが習得するにあたってやや複雑であることがあげられるだろう。 データにますます依存しつつある現代社会とデータに飢えたサイエンティストにとっては「簡単さ」こそが鍵となるのだ。 Rは実際にはプログラミング言語ではないRを覚えることに苦労する人が多い理由として考えられるのは、Rが実際にはプログラミング言語ではないからかもしれない。R専門家のジョン・クックいわく、Rとは「統計のためのインタラクティブな環境」であり、厳密にはプログラミング言語ではないのだ。彼はさらに「Rをプログラミング言語だと考るのではなく、Rがプログラミング言語を内包しているのだと考えた方が良いと分かった

一般社団法人 日本レコード協会が毎年公開している「音楽メディアユーザー実態調査」の2012年度版が公開されました。非常に興味深い内容が多い「音楽メディアユーザー実態調査」ですが、2012年度版では購入楽曲のジャンルの調査で新たに「ボーカロイド（初音ミク等）を利用した楽曲」と「一般個人が製作して、ネット等で販売している楽曲」の２つが追加されました。この新たに追加された2つの内、「ボーカロイド（初音ミク等）を利用した楽曲」の年代別購入状況をちょっとまとめてみました。 ※資料は一般社団法人 日本レコード協会｜プレスリリース｜2012年度「音楽メディアユーザー実態調査」報告書公表の2012年度音楽メディアユーザー実態調査報告書（PDF）より。 ※基本的な調査実施概要は以下のようになります。 調査対象 12歳〜69歳の男女 調査地域 全国 調査方法 インターネットアンケート調査 調査時期 2012年

「どんな分野の議論においても、データを集めて分析することで最速で最善の答えを出すことができる」。だから統計学が最強の学問である。著者は本書でこう断言しています。 統計学が本当に最強の学問かどうかは置いておくとしても、以前の記事「次の10年、「統計分析」こそテクノロジー分野でいちばんホットな職業になる」で書いたように、グーグルやマイクロソフトやそのほか多くの企業が統計に着目し優秀な人材を求めていることからも、現代における統計学の重要さは誰もが認めることでしょう。 なぜ統計学はそれほど強力なのか？ そして、それをビジネスに活かすにはどうすればいいのか？ 本書はそれを、統計学の予備知識のないビジネスマンでも分かるように説明してくれます。 データをビジネスに使うための「3つの問い」 本書は単に統計学を解説するのではなく、ビジネスの視点から統計学の有用性を説いているところに特徴があります。例えば著者

2. 自己紹介 • ところてん＠Drecom – 高機能雑用 • R&D&火消し&データ分析&企画 • 最近、インフラ業務が外れた – 定額働きたい放題プラン、意識の高い社 畜 – Pythonista – awkかわいいよawk – Rubyは読めるけど書けない • 注）DrecomはRailsの会社です 2 3. 自己紹介 • 学生時代はセキュリティ屋 – 電子透かしの実装 – 認知心理を集合知でエミュレーション、フィッシン グ検知 – NNでPlaceEngineのクローンを書いたり • 前職、某電話屋さんの研究所 – マルウェアの逆アセンブル、ハニーポット – QEMUをいじり倒す – 某検索エンジンのクローラ – 某OSSの分散機械学習エンジンのアプリ – 表に出せなかった仕事 • GA+コードカバレッジ+Fuzzing • GPで数式解いてみたり 3

ビールとポップコーンと映画 ラストマイルを見た。良い映画だった。 映画館でべそべそ泣いて、鼻を啜りながら車で帰った。感想はこのブログでは書かない。みんな映画館に行って感じてみてほしい。 帰ってからツイッターで感想を漁り、うんうん、わかるわかる、そうだよね、とまた映画を思い出して…

データ解析の重要性が認識されつつある（?）最近でさえも，A/Bテストを始めとしたテスト（ = 統計的仮説検定：以後これをテストと呼ぶ）の重要性が注目される事は少なく，またテストの多くが正しく実施・解釈されていないという現状は今も昔も変わっていないように思われる。そこで，本シリーズではテストを正しく理解・実施・解釈してもらう事を目的として，テストのいろはをわかりやすく説明していきたいと思う。 スケジュール スケジュール 第1回 [読み物]：『人間の感覚のみでテスト結果を判定する事の難しさについて』：人間の感覚のみでは正しくテストの判定を行うのは困難である事を説明し，テストになぜ統計的手法が必要かを感じてもらう。 第2回 [読み物]：『「何をテストすべきか」意義のある仮説を立てるためのヒント』：何をテストするか，つまり改善可能性のある効果的な仮説を見いだす事は，テストの実施方法うんぬんより本質

先行記事【諸外国の人たちがどんな組織・制度に信頼を寄せているか(上)……日本編】でも言及している通り、国単位の価値観を中長期的に定点観測の形で調査報告している【World Values Survey(世界価値観調査)】の公開値を基にし、各国の国民単位での物の考え方や思考傾向などをさまざまな視点から確認している。今回はその記事の下編として、日本以外の国をいくつか選び、組織や団体などに対する信頼度の動向を見ていくことにする。 今調査「World Values Survey(世界価値観調査)」に関する概要、調査要項は先行記事の【世界各国の「新聞・雑誌」や「テレビ」への信頼度】を参考のこと。今回信頼に関する精査対象となる組織・制度は上編同様。「宗教団体」「国軍(あるいはそれに類する軍事組織)」「新聞・雑誌」「テレビ」「労働組合」「警察」「裁判所」「政府」「政党」「国会」「行政」「大学」「大企業」「

人の価値観は個人ベースでも大きな違いを生じるが、同一環境下に置かれることで一定の同一性を示すことが多々ある。その区分の代表的な様式が「国家」。国毎にインフラの整備状況や法令、文化形態が違い、その環境下で長年暮らしていくうちに、価値観は国家単位で違いを見せるようになる。今回はその国単位の価値観を中長期的に定点観測の形で調査報告している【World Values Survey(世界価値観調査)】から、「主要国における新聞・雑誌やテレビ(要はマスコミ)に対する信頼度」について確認をしていくことにする。 今調査結果は世界100か国以上が参加して実施している国際的プロジェクト「世界価値観調査」によるもの。各国・地域毎に全国の18歳以上85歳以下の男女1000サンプル程度(実際には1000-2000人程度)の回収を基本とした個人対象の意識調査。調査そのものはおおよそ5年おきに実施されているが、調査期間

Webマーケティングガイドでは、モバイルインターネット調査会社のネットエイジアリサーチと共同調査のもと、モバイルのウェブサイトについて実態調査を行った。 前回のモバイルのウェブサイトに関する調査（上）では、モバイルウェブサイトの利用実態について調査を行ったが、今回はユーザーがモバイルサイトに何を求めているのかを把握し、モバイルサイトの今後について考察していきたい。 ≪調査結果サマリー≫ ユーザーがモバイルサイトに求める要素は、「操作のしやすさ」「スピード」そして「見やすさ」 モバイルサイトを、「情報収集するもの」と考えているユーザーが最も多く、次いで「暇つぶしをするもの」 70％以上のユーザーがモバイルとPCの同期化に肯定的である 調査対象は、15歳〜49歳のモバイルユーザー345人。 男女比は、男：173人、女：172人の割り付けを行った。 キャリア比は、Docomo:55.9％ Ezw