3大ボトルネックを解消すれば終わり、ではない これまでの連載では、ディスクI/O、CPU、ネットワークI/Oの3つの観点で、大規模データを処理するときのボトルネックの傾向と改善点について説明しました。それらの改善策をすべてを実施すれば、もう何も心配する必要はないのでしょうか？ 残念ながら、よかれと思って実施したチューニングがほかの箇所に影響を与える可能性があります。最終回となる今回は、その具体例を見ていきましょう。 データを圧縮した場合、CPUボトルネックが生じやすくなる 大規模データを扱うときは、データの総量を小さくしてストレージ装置のコストを削減するため、圧縮機能の利用を検討することが多いです。 データを圧縮する場合、RDBMSの機能を利用するのが一般的です。たとえばOracle Databaseには、以下のように何種類かの圧縮機能があります。 標準圧縮機能 OLTP圧縮機能（Adva

本書は、クラウド上でSQLを使ってビッグデータを解析するGoogle BigQueryについて包括的に解説する書籍です。Google BigQueryの使い方から内部動作、そしてBigQueryならではのSQLの活用法、サードパーティのツールとの連携までを詳しく解説します。また、BigQueryを支えるGoogleのインフラストラクチャについても総覧しており、現代最高の超巨大インフラストラクチャの姿を知ることができます。BigQueryの全体像をマスターできる本書は、ビッグデータをSQLで活用したいデータサイエンティスト、ソフトウェア開発者必携の一冊です。 訳者まえがき はじめに I部　BigQueryの基礎知識 1章 Googleにおけるビッグデータの物語 1.1 ビッグデータスタック 1.0 1.2 ビッグデータスタック 2.0（そしてその先にあるもの） 1.3 オープンソースのスタッ

今月号のニュートンの「人工知能が人類を超える日」を読みながら、人工知能トピックの論点を整理する必要があるな、と思った。 Newton(ニュートン) 2015年 04 月号 [雑誌] Amazon.co.jpで詳細をチェック 楽天市場でこの商品を検索 というのも、シンギュラリティという言葉を引き合いに出して、2045年までにAIが人類を超えるというのが、昨今の人工知能特集のメイン。だいたいそこに、Deep Learningと人間の仕事をAIが奪うというトピックを併せて、それっぽい現在の事例を並べるという構造を取っていることが多い。ニュートンもそうだし、最近みた人工知能系の特集はこのパターンが多い。ニュートンがちょっとおもしろかったのは、「人工頭脳プロジェクト〜ロボットは東大にはいれるか〜」の紹介で、センター試験物理の問題をコンピュータが理解するための技術的課題を整理している。これは、結構おも

といっても設立自体は去年なんですが、設立パーティーを開催したり、サイトもできて新規営業が始まりましたのでご報告をば。 株式会社データビークル http://www.dtvcl.com/ もともとは、私のやっているイレギュラーズアンドパートナーズ(I&P)という会社で未来予測事業部というのを立ち上げていて、少人数で回していたら案件が増えすぎて身動きが取れなくなっていたところを、お取引先さまのインフォテリアから油野達也、またこの方面では『統計学が最強の学問である』で著名になった西内啓がジョイン。どうせならちゃんと会社を立ててお客様のニーズに応えていこうということで、データビークル設立となりました。 パートナー会社さまのひとつであるパソナテックさんとこの3月3日に西内が出て行っていろいろ喋る話となりましたので、ご関心のある方はぜひご来場くださいませ。 ここから始まるビッグデータ経営本質論 htt

第5回Amazon Redshiftのアーキテクチャ ～スケーリングとリストアを試してみよう 宮崎真，藤川幸一 2013-06-10

あけましておめでとうございます。Preferred Infrastructureの海野と申します。このところ人工知能という言葉をよく聞くようになりました。名だたるIT関連企業が、こぞって人工知能をビジネス化しようとしているという印象をうけます。こうした背景には何があるのでしょうか。そして、本当に近い将来に人工知能による大きなビジネスが花開くのでしょうか。本稿では、ここ数年の技術開発のトレンドの変遷を通して、人工知能ビジネスの動向を探ります。 人工知能のこれまで 「人工知能」という言葉に対して、どのような印象を受けるでしょうか。人間と共存し、言葉をしゃべり、自分で思考するロボットのようなイメージを持つ方は少なくないと思います。もちろんこうした人工知能を見たことがないように、現状ではこうした人工知能はありません。このような汎用的な知能をもつ人工知能は「強いAI」とよばれ、より具体的な部分問題を

Hadoopすらもかなわない!? Amazon Redshiftの破壊力をHapyrus 藤川氏が語る シリコンバレーで起業し、順調にビッグデータビジネスを展開している日本人ベンチャー企業といえば、Hadoop Conference Japan 2013 Winterでも話題となったTreasure Dataがその筆頭に挙げられます。 ですが、Treasure Dataとほぼ同じ時期に西海岸でビジネスをローンチし、現在、国内外の投資家たちから高い注目をあつめるビッグデータベンチャー、それも日本人技術者が創業者である企業が実はもう1社存在します。それが藤川幸一氏率いるHapyrusです。今回、来日中の藤川氏に直接、Hapyrusが現在最も注力するAmazon Redshiftに関するビジネスを中心にお話を伺いました。 藤川幸一氏 Redshiftへのデータアップロードを事業の中核に ─⁠─H

Amazon Web Services（AWS）は次々と新しいサービスを世の中に出して、クラウド・コンピューティングの可能性を広げていっています。そのAWSから登場した最新のサービスであるAmazon Redshiftは、そのパフォーマンスや驚異的な低コストのため、発表当時から大変な反響を呼んできました。 この連載では、 Redshiftの概要からその利用方法まで、主にあまりデータウェアハウスを利用した経験がないWeb開発エンジニアなど向けに、このビッグデータ向けクラウド・データウェアハウス製品であるAmazon Redshiftの解説をして行きたいと思います。 まずは、そもそもAmazon Redshiftとは何なのか、その概要から説明します。 Amazon Redshiftはビッグデータ時代のクラウド・データウェアハウス 2012年11月、AWSにとって初めての世界的なユーザカンファレ

シリコンバレーの投資家からも一目置かれるTreasure Dataの成長を支えているその技術力と経営理念について、Treasure DataのCTOである太田一樹氏が基調講演で語ったその内容をレポートします。 Feature Creepではなく“ナタ”を作る 太田氏をはじめとするTreasure Dataの創業メンバーはいずれもHadoopやmemcached、MongoDBなど、現在のビッグデータブームを支えるオープンソース技術の開発に学生時代から関わっていました。これらのオープンソースプロダクト、とくにHadoopに触れる経験が長かったことが、Treasure Data設立の大きなきっかけになっています。 「Hadoopの登場はこれまで使いづらいだけの存在だった分散システムの世界を大きく変えた。一方で、ユーザ企業がHadoopをデプロイし、運用をはじめても、結局はメンテナンスが大変にな

マイクロソフト、リアルタイム分析のApache Stormをクラウドサービスで提供へ。Azure HDInsightに追加 マイクロソフトは同社のクラウドサービスであるMicrosoft Azureで、Hadoopをベースとしたマネージドサービスである「HDInsight」を提供しています。このHDInsightに、Hadoopによるバッチ処理に加えて、ほぼリアルタイムで大規模なデータ分析を実現するApache Stormをベースにしたサービスを追加すると発表しました。現在プレビュー公開中。 Hadoopは大規模なデータ分析を得意としていますが、基本的にはバッチ処理を行うように作られているため、流入するデータを次々に分析するようなリアルタイムに近い分析処理は得意ではありません。一方でApache Stormは短期間にデータ分析を次々に行う、いわゆるニアリアルタイムを得意としています。 Ap

インターネットが社会に登場した頃と同様に、オンライン上のプライバシーに関する議論が再び高まっています。 本書は、ビッグデータの一般化によってもたらされるプライバシーへのリスクを考えるべく、「プライバシーとはどのようなものか？」「プライバシー保護はどのように行われてきたか？」「ビッグデータによってプライバシーを侵す（侵される）のは誰か？」「我々はどのようにふるまうべきか？」といった内容を、世界の各地域における事例を多数紹介しながら概説する書籍です。 コンパクトな分量ながら豊富な実例、事例を紹介し、ビッグデータとプライバシーを考える上での良いリンク集にもなっています。なお本書はEbookのみの販売となります。 まえがき 1章　パーフェクト・ストーム 鏡（Looking Glass）の国へ ビッグデータ時代へようこそ パズルのピースから全体像へ――未来とは今のことである 広告は狼男か ビッグデー

ビッグデータへの注目が過熱する一方、そこに含まれる個人情報の取り扱いについて、さまざまな議論や問題が巻き起こっています。本書はビッグデータを取り扱う業務に携わる読者に向けて、ビッグデータを扱う際の倫理について考え、議論を行う枠組みについて、「アイデンティティ」「プライバシー」「オーナーシップ」「信用」という4つの軸とともに紹介します。「倫理」という、個別性が高く、明快な答えの見つけづらい問題について、読者自身や組織の中で実りのある議論をする一助となるでしょう。なお本書はEbookのみの販売となります。 まえがき 1章　ビッグデータのビッグインパクト なぜビッグデータなのか？ ビッグデータは何を強制するのか？ ビッグデータは倫理的に中立である 何をすべきかを尋ねてはいけない 重要な概念と用語 2章　価値と行動 価値を明確に表現する 価値を行動に変える 倫理的判断ポイント 3章　現在の業務 研

ビッグデータ時代とも言われる昨今においては、膨大なデータをビジネスの枠組みの中に組み込んで活用することが重要課題となっています。つまり、データ収集を行ってビジネスの全体像を把握し、適切なデータ分析を行って正確な予測をした上でビジネス戦略を決めることが求められています。本書は、データをビジネスに活かすために身に付けておくべき基本的な考え方と、データマイニングやモデリングの根底に存在するコンセプトについて、体系的に解説しています。データサイエンスの重要性とその威力を学べる一冊です。 訳者前書き はじめに 1章　はじめに：データ分析思考 1.1　データを使ったビジネスチャンスの広がり 1.2　例：ハリケーン・フランシス 1.3　例：顧客の乗り換えの予測 1.4　データサイエンス、エンジニアリング、そしてデータ主導による意思決定 1.5　データ処理とビッグデータ 1.6　ビッグデータ1.0からビッ

先日、有志で集まって「BigQuery Analytics」という書籍の読書会をやった。その名の通り Google BigQuery について書かれた洋書。 BigQuery を最近仕事で使い始めたのだが、BigQuery が開発された背景とかアーキテクチャーとかあまり調べもせずに使い始めたので今更ながらその辺のインプットを増やして以降と思った次第。 それで、読書会の第1回目は書籍の中でも Overview に相当するところを中心に読み合わせていった。それだけでもなかなかに面白かったので少しブログにでも書いてみようかなと思う。 BigQuery の話そのものも面白いが、個人的には Google のインフラが書籍『Google を支える技術』で解説されたものが "Big Data Stack 1.0" だとして、BigQuery は Big Data Stack 2.0 の上に構築されており

統計科学や機械学習、および関連する諸分野の講義・講演のアーカイブです。講師名の敬称は略させて頂いています。★の数は専門性・予備知識の量を示します。★１つは一般の方でも楽しめる部分のある講演（レベルが低いという意味ではありません）、★２つは大学院生向きとして標準程度、★３つはより専門的な講演、をそれぞれ示します。

Anterior, a company that uses AI to expedite health insurance approval for medical procedures, has raised a $20 million Series A round at a $95 million post-money valuation led by…

ネイト・シルバー氏といえば、米大統領選の勝敗を全50州分的中させたり、野球選手の成績を予測するための統計ツールPECOTAを開発した人物として知られる天才データアナリストです。そんなネイト・シルバー氏が新しく立ち上げた、統計を使ってあらゆる事象を分析するニュースサイトがFiveThirtyEightで、ここでスポーツ関連のデータアナリスト兼ライターを務めるBenjamin Morrisさんが現在世界ナンバーワンのサッカー選手と目されているリオネル・メッシ選手に関するさまざまなデータを分析しまくったところ、メッシ選手は通常ではほとんど不可能な要素を両立しまくったまさにミラクルな選手であることが判明しました。 Lionel Messi Is Impossible | FiveThirtyEight http://fivethirtyeight.com/features/lionel-messi

Google、大規模データをリアルタイムに分析できるクラウドサービス「Google Cloud Dataflow」を発表。「1年前からMapReduceは使っていない」。Google I/O 2014 大規模分散処理のフレームワークとしてGoogleが開発し、Hadoopに採用されて広く使われているMapReduce。しかしGoogleはもうMapReduceを使わず、より優れた処理系の「Google Cloud Dataflow」を使っていることが、Google I/O 2014の基調講演で明らかにされました。 GoogleのシニアバイスプレジデントUrs Hölzle氏は、「エクサバイトのスケールまで扱え、パイプライン処理を記述しやすく最適化もしてくれる。それにバッチもリアルタイム分析も同じコードで記述できる」と、Cloud Dataflowの特長を説明します。 Google I/Oの