1. Copyright © 2016 NTT DATA Corporation ○○○○年○○月○○日 株式会社ＮＴＴデータ ○○ ○○ ○○ ○○ タイトルを１～２行で入力 （長文の場合はフォントサイズを縮小） NTTデータ 基盤システム事業本部 OSSプロフェッショナルサービス 山下 真一 Hadoopエコシステムの最新技術動向と NTTデータの取り組み 2016/02/27 OSC 2016 Tokyo/Spring 2. 2Copyright © 2016 NTT DATA Corporation 自己紹介 : 山下 真一 (やました しんいち)  所属 : ＮＴＴデータ 基盤システム事業本部 ＯＳＳプロフェッショナルサービス  Hadoop/SparkなどOSS分散処理関連の導入支援、サポート  コミュニティ活動も実施  Apache Hive コントリビュータ  A

8. なぜHadoopが必要になったか 1 ● 生み出されるデータはどんどん増える。 ● データから価値を得るためには処理をしなきゃいけない。 ● データを格納するためのハードディスクの容量はどんどん増えて値段 も下がっている。 ● ところが転送レートは容量に追随できていない。 年 容量(GB) 転送レート(MB/s) ディスク読み込み時間 1997 2.1 16.6 126秒 2004 200 56.6 59分 2014 3,000 210 3時間58分 (Cloudera Administrator Training資料から引用) 9. なぜHadoopが必要になったか 2 ● 巨大なデータを1台のマシンで処理しようとするとバス幅がボトルネックになる ● データ処理はデータを保持しているノード毎に行なって、それを集計すれば良さそ う？ ● GoogleがMapReduceおよびGoog

プライバシーに配慮しながらビッグデータの活用を進めていくためのルールを盛り込んだ「個人情報保護法」の改正を目指している政府の検討会は、「個人が特定されないようにデータを加工した場合は本人の同意を得なくても第三者に提供できる」などとした大綱の原案をまとめました。 商品の購入履歴や位置情報などのビッグデータは、新たな産業の創出につながると期待される一方、ほかの情報と組み合わせることで個人が特定されるおそれもあり、企業が活用に慎重になっています。 このため政府の検討会は、プライバシーに配慮しながら活用を進めるためのルールを盛り込んだ個人情報保護法の改正に向け検討してきました。 まず、今の「個人情報保護法」では、企業などが集めたデータをさらに別の企業など第三者に提供する場合、本人の同意を得ることが義務づけられていますが、大綱の原案では、企業の負担などを考慮して「個人が特定されないようデータを加工し

From Fluentd Meetupに行ってきました これを読んだ時、BigQueryの検索スピードについてちょっと補足したくなった。確かにFluentd Meetupのデモでは9億件を7秒程度で検索していたが、BigQueryの真の実力はこれより1〜2ケタ上だからだ。ちょっと手元で少し大きめのテーブルで試してみたら、120億行の正規表現マッチ付き集計が5秒で完了した。論より証拠で、デモビデオ（1分16秒）を作ってみた： From The Speed of Google BigQuery これは速すぎる。何かのインチキである（最初にデモを見た時そう思った）。正規表現をいろいろ変えてみてもスピードは変わらない。つまり、インデックスを事前構築できないクエリに対してこのスピードなのである。 価格も安い。さすがに120億行のクエリは1回で200円もかかって気軽に実行できなさそうであるが、1.2億

米インテルとHadoopのディストリビューションベンダーとして知られる米クラウデラは、インテルがクラウデラへ出資、インテルがクラウデラの戦略的な筆頭株主となることを発表しました。 Cloudera, Intel Commit to Accelerate and Transform How Enterprises Use Big Data; Intel Makes Significant Equity Investment in Cloudera これはインテルにとってデータセンター関連で過去最大の投資。 プレスリリースでクラウデラは次のように記し、同社のHadoopディストリビューションをインテルアーキテクチャへ最適化していくと説明しています。インテルは技術やマーケティングの面でこれを支援していくとのこと。 Cloudera will develop and optimize Cloude

3. 講義内容  序論 - 並列データベースの前に  並列処理の基礎   並列処理のTerminology 並列計算機アーキテクチャ  並列データベースのアーキテクチャ  データベース処理の並列化  結合処理の高速化     並列ハッシュ結合 並列ソート パーティショニング手法 多重結合や計算機間のデータ交換で発生する問題  MapReduceによる関係演算の並列処理 3 4. データベース開発の流れ  Coddの論文: 1970年     System RやIngres: 70年代中盤 Oracle, IBM DB2, Ingres: 80年代序盤 並列データベースの隆盛: 80年代後半   A Relational Model of Data for Large Shared Data Banks, Communications of ACM 商用

The Apache Software Foundationは、Hadoopの初めてのメジャーバージョンアップとなる「Apache Hadoop 2」の正式版公開を発表しました。 Hadoopは2004年にGoogleが公開したMapReduceに関する論文を元にオープンソースとして開発されたものでした。Hadoopの開発者であるダグ・カッティング氏は、Hadoop 2のプレスリリースで次のように発言しています。 "What started out a few years ago as a scalable batch processing system for Java programmers has now emerged as the kernel of the operating system for big data," said original Hadoop creator

第2次安倍内閣におけるIT戦略である「世界最先端IT国家創造宣言」が、6月14日に閣議決定された。既に内容は公開され、工程表の検討も進んでおり、ご覧になった方も多いだろう。 私自身も、いくつか内容の検討をお手伝いしたこともあり、今回のIT戦略は従来以上に関心を持っていた。そうした立場で改めて読んでみると、まず今回のIT戦略は、対象範囲が相当広いことに気づく。 具体的な取り組みとして掲げられている項目だけでも13アイテムある。例えば「オープンデータ・ビッグデータの活用の推進」もその一つだ。また、医療・ヘルスケアや農業など、安倍政権が掲げる成長戦略の重点項目とのシナジーも織り込まれているなど、幅広さと具体性のバランスが取れている印象を受けた。 一方で「世界一安全で災害に強い社会の実現」や「世界で最も安全で環境にやさしく経済的な道路交通社会の実現」など、いわゆるワールドクラスを意識したアイテムが

Generative AI improvements are increasingly being made through data curation and collection — not architectural — improvements. Big Tech has an advantage.

2013年3月20日と21日の2日間、オランダのアムステルダムにてHadoop Summit Europeが開催された。Hadoopのイベントとしては、毎年10月頃に開催されるHadoop Worldと並ぶ2大イベントのうちの1つであり、欧州で開催されるのは初めてのことであった。連載の最終回は、このイベントの様子について紹介する。 Hadoop Summit会場の様子 米ヤフー!と米ホートンワークス（米ヤフー!のHadoop専門チームがスピンアウトしたHadoop専業ベンチャー企業。2011年6月設立）が共催するHadoop Summitは、今回で6回目の開催となる。前回までは年1回の開催であったが、今年はHadoop Summit Europeと、6月26日と27日に米国サンノゼで開催されるHadoop Summit North Americaの2回開催となる。 会場はオランダの旧証券取

新しいITキーワードの常として、必ず「反対派」が登場する。最近では「ビッグデータ」が槍玉にあげられており、「･･･だからビッグデータは失敗する」という論調も目立ってきた。 ビッグデータのセミナーや展示会が大賑わいということは、それだけ期待が高いのだろう。IT業界にとって久しぶりの大型キーワードであり、ここ数年、クラウド以外に強烈な話題がなかったIT業界には、活気を取り戻す頼もしい存在なのかもしれない。 折しも、政府の新たなIT戦略として、「行政データを民間に開放し、新ビジネス創出を促す」といった計画が出てきているという。データをどう活かし、ビジネスとして成功させるかが、いまや国家戦略としても問われている。 筆者は猛烈な賛成派でも反対派でもないが、これまでの取材経験からデータを扱う難しさは知っているつもりだ。大量のビッグデータとなると、なおさらである。 筆者の周辺でもビッグデータについて、さ

総務省から東大に移った大先輩、稲田修一さんの「ビッグデータがビジネスを変える」を読みました。 ビッグデータ＝BDはまだ定義がないとして、「大量の情報の集積」ぐらいの緩いとらえ方をしています。可能性を狭めないためにも、現時点ではそれでいいと思います。バズワードでもあり、可能性の広がるキーワードでもあります。 ぼくも関心のある分野なので、BDについては分かっているつもりだったのですが、本書に啓発させられたので、なぞりつつ頭を整理してみます。 まず、BDがもつさまざまな可能性を指摘しています。ぼくは大きく分けて３つ、「個人」「インフラ」「コミュニケーション」があると読みました。 第一に、個人。ビジネスや地域だけでなく、個人も集合知を活用できる可能性です。 利用者の集合知を活用するクックパッド、カカクコム、エムスリー、ザッパラス、ボルテージ、ウェザーニュースらの事例が挙げられています。--- なる

Hadoopとはどういうソフトウェアであり、いまどのような状況になっているのか。NTTデータの濱野賢一朗氏が、先日行われた第2回 NHNテクノロジーカンファレンスで行われたセッション「日々進化するHadoopの『いま』」で分かりやすく解説しています。 （本記事は「日々進化するHadoop。これまでのおさらいと最近の動向（前編）」の続きです） Hadoopの1.0系と2.0系 Hadoopの開発はかなり活発に進んでいます。 Hadoopでいちばん分からないといわれるのがバージョンで、これは以前からHadoopに接している私たちでもよく分からないくらいです。 Hadoopのバージョンには大きく二系統あって、少し前まで0.20系と呼ばれていたもので、これが現行は1.0系と呼ばれています。もうひとつが0.21、0.22、0.23系と呼ばれていたもの、これがいま2.0系と呼ばれています。 対外的には

Hadoopの現実解「バッチ処理」の常識をAsakusaで体得：ビッグデータ処理の常識をJavaで身につける（7）（1/4 ページ） Hadoopをはじめ、Java言語を使って構築されることが多い「ビッグデータ」処理のためのフレームワーク／ライブラリを紹介しながら、大量データを活用するための技術の常識を身に付けていく連載 “ビッグデータ”時代の「バッチ処理」 アプリケーション開発というと、システム利用者に一番近い画面系の開発が花形ですね。一方「バッチ処理」というと、何となく地味な感じがしますが、「バッチ処理」は縁の下の力持ち、これがないと、大概のシステムは稼働できません。 絶対に必要だけど、影の薄い「バッチ処理」でしたが、“ビッグデータ”への注目度が高まり、大量データを短時間に処理する「並列分散処理バッチ」が活躍する場面も増えてきました。 本稿では、並列分散で「バッチ処理」を行う方法につい

Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

経済産業省と総務省は、行政情報を「オープンデータ」として公開し、本格的な活用に乗り出す。インターネット経由でデータを公開するだけでなく、システムから利用しやすいように共通のAPI（アプリケーション・プログラミング・インタフェース）の策定を始めた。 企業はオープンデータを取得することで、自社や他のデータと掛け合わせて分析し、意味のある情報を見いだせるようになる。いわゆるビッグデータ活用が可能になるわけだ（図）。企業は「本格的に利用できれば、新たなサービスやシステムを創造できる」（NTTデータ幹部）と期待を寄せる。 経済産業省は2012年12月上旬までに、オープンデータを提供するインターネットサイト「OpenData METI（仮称）」を開設。工業や商業、地質などの統計情報、白書をそれぞれ数種ずつ公開を始める計画だ。当初は申し込みのあった企業などに限定して提供し、2013年1月中には一般にも試