Read it now on the O’Reilly learning platform with a 10-day free trial. O’Reilly members get unlimited access to books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers. If you are ready to dive into the MapReduce framework for processing large datasets, this practical book takes you step by step through the algorithms and tools you need to build distr

楽天は1997年の創業以来，会員数・流通額・提供サービス数を急速に拡大させており，楽天市場を中心とする楽天のシステムでは，様々なサービスから生成される多種多様な大規模データが日々蓄積され続けている．ビッグデータと呼ばれるこれらのデータ群を，いかに統一的なプラットフォームで収集，解析し，ビジネス側に迅速かつ的確にフィードバックを行うかが，楽天にとって重要な課題となっている．この課題に対処するために，楽天では現在，楽天スーパーDBと呼ばれる大規模ユーザ属性DBプラットフォーム，およびグローバルイベント解析プラットフォームを構築・運用を行っている．本論文では，楽天でのビッグデータの例を紹介するとともに，２つのプラットフォームの紹介を行う． 1. はじめに 楽天は， 1997年にオンラインショッピングモール「楽天市場[1]」のサービス提供を開始して以来，会員数，流通額を伸ばしており，2011年は楽

インターネットサービス事業者であるヤフー。同社は近く、遺伝子情報の解析に基づく生活改善助言サービス「HealthData Labo」のモニター募集を開始する。 HealthData Laboは、スマートフォンやウエアラブル端末で測った活動量や睡眠、食事内容などの情報と遺伝子情報を組み合わせて、生活習慣に関するアドバイスなどを行うもの。遺伝子情報の収集に当たっては、東京大学発のベンチャー企業であるジーンクエストと組む（関連記事）。 ヤフーはなぜ、遺伝子解析に目を付けたのか――。同社の別所直哉氏（執行役員 社長室長）と阿南愛氏（メディアサービスカンパニー ターゲティングメディア本部 ヘルスケア関連サービス部 部長 Yahoo!ヘルスケア サービスマネージャー）に聞いた。

Facebookは、数ペタバイト級の大規模データに対しても、対話的にアドホックな問い合わせを可能にする分散SQLエンジン「Presto」を、オープンソースで公開しました。 PrestoはFacebook社内で大規模データの分析のために開発され、すでに同社社内使われているもの。 FacebookはPrestoを開発した背景として、大量のデータをHadoop/HDFSベースで保存したものの、バッチ指向のMapReduceではなく、リアルタイム性に優れた処理が必要になったためだと、次のように説明しています。 Facebook’s warehouse data is stored in a few large Hadoop/HDFS-based clusters. Hadoop MapReduce [2] and Hive are designed for large-scale, reliabl

『ヤバい統計学』の著者でマーケティング分析のプロ、カイザー・ファングの記事をお届けする。グーグルのインフルエンザ予測モデルが失敗した事例を基に、ビッグデータの現状と課題を考える。本誌2014年5月号（4月10日発売）特集、「アナリティクス競争元年」の関連記事第6回。 2013年に出版されベストセラーとなった『ビッグデータの正体』（邦訳は講談社）の第1章の冒頭で、共著者のビクター・マイヤー＝ショーンベルガーとケネス・クキエはGoogleインフルトレンド（GFT：Google Flu Trends）を取り上げている。そこでは、グーグルがいかにして数千億回の検索を含む5年分のウェブ上のログをマイニングしてアルゴリズムを組み立てたか、そして「どうしても報告に遅れが生じる政府の統計データよりも、有効でタイムリーなインフルエンザ指標であると実証済みの」45個の検索ワードを用いたインフルエンザ予測モデル

このように、たった3件のデータのビジュアル化により、いわゆるバイラリティ（クチコミの効果）について重要なニュアンスを理解することができた。ネット上のクチコミと記事へのアクセスの関係は、「バイラル現象」の一言ですべてを説明できるほど単純なものではない。コンテンツの種類によって、異なるパターンが出現するのだ。 とはいえ、ビジュアルがすべてを伝えるということではない。いくつかの明確な相関関係はたしかに見られる。しかしクチコミの影響について信頼性のある真の洞察を生みだすには、複雑な条件付き依存関係や、時間的な自己相関およびネットワーク自己相関をふまえ、因果関係を説明する精緻な統計モデルを構築する必要がある。 それでもこれらのビジュアルは、データのどこを見て、どのような問いをすればよいかを知るうえで役に立つ。より複雑なモデルを構築するには、最適な構築場所を知る必要があるが、ビジュアルはそのためのヒン

Five years ago, a team of researchers from Google announced a remarkable achievement in one of the world’s top scientific journals, Nature. Without needing the results of a single medical check-up, they were nevertheless able to track the spread of influenza across the US. What’s more, they could do it more quickly than the Centers for Disease Control and Prevention (CDC). Google’s tracking had on

東京工科大学 東京工科大学が3月3日、スタンフォード大学のパット・ハンラハン教授による講演会を開催――同氏の「片柳コンピュータ科学賞」受賞を記念 大学ニュース / イベント / 国際交流 / その他 2014.02.21　07:00 東京工科大学（東京都八王子市）は3月3日（月）、コンピュータグラフィックス分野の世界的権威の一人であるスタンフォード大学のパット・ハンラハン（Pat Hanrahan）教授による受賞記念講演会を開催する。これは、同大とカーネギーメロン大学がコンピュータサイエンス分野に貢献した研究者に対して授与する「片柳コンピュータ科学賞」を、同教授が受賞したことを記念して開催するもの。当日はコンピュータグラフィックス技術とビッグデータの融合などについて、英語で講演を行う予定。入場無料、要事前申し込み。 「片柳コンピュータ科学賞」とは、コンピュータサイエンス分野で世界的に卓越し

Cloudera は、最大規模の企業があらゆる場所に存在するすべてのデータを信頼性の高い有意義な洞察に変換できるよう支援します。 Trusted Data Today for Tomorrow’s AI (今日の信頼できるデータを、明日の AI に託す) データと AI がテーマのプレミアカンファレンスで、業界最前線の明確なビジョンを持った方々やソートリーダーから貴重な洞察を得ることができます。

ビッグデータが大きな話題になっているが、その陰に隠れて重要な事実が見過ごされている――「機械やセンサーから生成されたデータは何十年も前から存在する」という事実だ。電子商取引やERPといった比較的新しい世界の外側には、膨大な量の機械技術が存在する。製造現場で活躍するロボットやマシンビジョンシステムから、ガスタービン、風車、ジェットエンジンに至るまで、機械は基本的なビジネスプロセスの原動力として、複雑なリアルタイムデータを大量に生成しているのだ。 こうしたデータソースが突然、いわゆる「モノのインターネット」（Internet of Things、以下“IoT”）をスポットライトの中心に押しやろうとしている。IoTはあらゆるデバイスをインターネットに接続することを意味する。「Cレベル」のエグゼクティブたち（訳注：CEOやCTOなど肩書に「C」が付く企業幹部）は長い間、機械データの価値に目を向ける

『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day

お盆真っ盛り＆暑さ最高潮＆夏休みムード漂う今日この頃ですが皆様いかがお過ごしでしょうか。 最近はAmazon Redshiftに関して色々調査実践等を行なっているのですが、Amazon Redshiftで収集したビッグデータを扱う『分析ツール』もまた欠かせないものであると思います。今回、BI(ビジネス・インテリジェンス)ツールとして『Tableau』という企業の製品が良い感じですよ、という情報を得たのでトライアル版を導入し、動作確認やRedshiftとの連携等を試してみました。 目次 Tableau Softwareとは Tableau Softwareの製品一覧 Tableau Desktopを試しに使ってみる Tableau Desktop: オンライン無料入門トレーニング Tableau製品に関する各種ドキュメント Amazon Redshiftとの連携 まとめ Tableau So

ビッグデータの価値を引き出すには、それを分析する「場所」が重要だ。システム部門や調査部門などに閉じこもっているようでは、ビジネスの勝機はつかめない。事業に直結しない、単なる「数字遊び」に陥ってしまう可能性があるからだ。ビッグデータの活用企業は、現場感覚があふれる事業の最前線で、ビッグデータを分析・活用している。 ゲーム開発の現場で分析

管理が困難―分散処理の常識はZooKeeperで変わる：ビッグデータ処理の常識をJavaで身につける（8）（1/3 ページ） Hadoopをはじめ、Java言語を使って構築されることが多い「ビッグデータ」処理のためのフレームワーク／ライブラリを紹介しながら、大量データを活用するための技術の常識を身に付けていく連載 分散処理の課題が「管理」なのは常識 複数の計算機上で動作（分散）するアプリケーション、ソフトウェアが多く存在します。分散ソフトウェアは複数の計算機で動作することで大量のデータを扱えたり、高負荷な状況に対処します。本稿では、複数の計算機（クラスタ）で動作する各サーバを「インスタンス」と呼びます。 本連載で紹介した分散Key-Valueデータベースである「HBase」は複数の計算機で動作する代表的なソフトウェアです。両ソフトウェアはともに「Apache ZooKeeper」（以下、Z