Hadoopの時代は終わった、という言説をたまに見かけるようになりました。 もちろん終わってなどいません。しかし、Hadoopとその取り巻く環境が変化したのは事実です。 本記事では、この変化が何なのかを明らかにし、その上で、なぜHadoopの時代は終わったという主張が実態を正しく表していないのかを説明していきます。 DISCLAIMER 私はHadoopを中心としたデータ基盤を取り扱うベンダー、Clouderaの社員です。 中立的に書くよう努めますが、所属組織によって発生するバイアスの完全な排除を保証することはできません。 以上をご了承の上、読み進めてください。 要約 データ基盤は、Hadoopの登場により非常に安価となり、今まででは不可能だった大量のデータを取り扱えるようになりました。 Hadoopは、NoSQLブームの中、処理エンジンであるMapReduceとストレージであるHDFSが

The Apache Software Foundationは、Hadoopの初めてのメジャーバージョンアップとなる「Apache Hadoop 2」の正式版公開を発表しました。 Hadoopは2004年にGoogleが公開したMapReduceに関する論文を元にオープンソースとして開発されたものでした。Hadoopの開発者であるダグ・カッティング氏は、Hadoop 2のプレスリリースで次のように発言しています。 "What started out a few years ago as a scalable batch processing system for Java programmers has now emerged as the kernel of the operating system for big data," said original Hadoop creator

Hadoop環境を即立ち上げ、BigInsightsが使えるPureData Systemが登場：製品動向 SQLクエリが使えるHadoop環境を即立ち上げできるPureData System製品が登場。統合管理ツールと併せてチューニング済みの状態で提供する。 日本IBMは2013年10月15日、同社垂直統合システム「Pure System」の中でもデータ処理に特化した「Pure Data System」ラインアップに新たにApache Hadoop向け「IBM PureData System for Hadoop H1001」とNetezzaの技術を基にした高速並列処理向け製品のエントリモデル「IBM PureData System for Analytics N2002-002」を追加した。IBM PureData System for Hadoop H1001は同日販売開始、IBM

This document provides an introduction and overview of YARN (Yet Another Resource Negotiator), a framework for job scheduling and cluster resource management in Apache Hadoop. It discusses limitations of the "classical" MapReduce framework and how YARN addresses these through its separation of scheduling and application execution responsibilities across a ResourceManager and per-application Applic

Hadoopの最新状況 2006年、Hadoopはウェブのインデックス処理を行うために開発されました。その後さまざまな用途に利用されるようになり、それに伴いパフォーマンスの改善、セキュリティの強化、Hadoopを効率よく利用するためのエコシステムも多く誕生しました。今回は、そのうちのいくつかについて紹介します。 1) マスターノード単一障害点の解消 2) Impala - Hadoopの高速クエリエンジン 3) Hadoop運用管理ツール、Cloudera Manager 単一障害点(SPOF)の解消 Hadoopには単一障害点があるから怖くて使えない、という印象をお持ちの方はいらっしゃるのではないでしょうか？以前のバージョンのHadoopにはそのような問題がありました。（前回のコラムを参照）。単一障害点を解消するためにLinuxのクラスタソフトウェア(PacemakerやRed Hat

筆者らは、オープンソースソフトウエアの分散処理ミドルウエア「Hadoop」を、基幹系のバッチ処理システムに適用するためのフレームワーク「Asakusa」を開発した。AsakusaはHadoopと同様に、オープンソースソフトウエアとして公開する。公開日は、本連載の4回目をお届けする2011年3月31日の予定である。 Asakusaを使うことでHadoopによる分散処理のメリットを享受することが可能となり、これまでRDBMSを利用していた場合と比べて、多くのケースでバッチ処理システムの性能を大幅に向上することができる。筆者らが実際に構築を支援したシステムでは、それまで4時間かかっていた処理が数分で終わるようなケースも出てきている。 盛んに報道されているように、Hadoopはすでに多くの導入実績がある。ただしその用途は、ログ分析システムやレコメンデーションエンジンなどのビジネスインテリジェンス（

2013年3月20日と21日の2日間、オランダのアムステルダムにてHadoop Summit Europeが開催された。Hadoopのイベントとしては、毎年10月頃に開催されるHadoop Worldと並ぶ2大イベントのうちの1つであり、欧州で開催されるのは初めてのことであった。連載の最終回は、このイベントの様子について紹介する。 Hadoop Summit会場の様子 米ヤフー!と米ホートンワークス（米ヤフー!のHadoop専門チームがスピンアウトしたHadoop専業ベンチャー企業。2011年6月設立）が共催するHadoop Summitは、今回で6回目の開催となる。前回までは年1回の開催であったが、今年はHadoop Summit Europeと、6月26日と27日に米国サンノゼで開催されるHadoop Summit North Americaの2回開催となる。 会場はオランダの旧証券取

個人的には割と大変だったので、その辺をまとめておきます。 ニュースリリースはこちら。 http://www.nautilus-technologies.com/topics/20130409.html 要するに本部系バックエンド基幹システムの「一式」のクラウド移行です。完全なミッションクリティカルシステムで、止まった段階で業務に確実に影響が出ます。 システムの機能概要 1.売上の確定処理と債権管理 POSデータの直結です。売上確定処理を行います。同時に債権管理も行い、F/Bからの入金データをそのままつなぎ込み、入金処理・債権の消し込み処理を実行します。マッチングは自動処理できるものは処理を行い、ヒューリスティックなものはユーザー判断に従います。 2.仕入・費用の計上と確定処理、および支払いデータの作成 費用・在庫の計上確定処理です。当時に支払データの確定処理を行います。EDI（BMS）との

Your version of Internet Explorer is not longer supported. Please upgrade your browser.

Hadoop in Practiceを読んでからお絵かき上手になりたいと思い、テーマとしてよさげだったので、ベンダー勢も含めて派生関係をお絵かきしてみました。というのと、Hadoopまわりの派生関係はあきらかにややこしく、一度真面目に調べてみたかったのもあります。 前者の目的についてはそれなりにシャレオツ感があるのでよしとして、派生関係の把握についてですが、これはあきらめてだいぶいろいろ簡略化しています。　http://svn.apache.org/viewvc/hadoop/common/ この辺から既存のブランチとタグを追いかけるとわかるのですが、どのバージョンからどのバージョンが派生しているのか調べるのはわりと大変そうだったので、Hadoop Opertions とClouderaのブログ  http://www.cloudera.co.jp/hadoop/column/apache

2012年10月23日 から3日間、米国ニューヨークにて Strata Conference + Hadoop World 2012が開催された。Hadoopのイベントとしては、毎年6月頃に開催されるHadoop Summitと並ぶ2大イベントのうちの1つである。今回はこのイベントの様子について紹介しよう。 会場の様子 Hadoop Worldは今回が4回目の開催である。前回までは米クラウデラ主催のイベントであったが、今回は米オライリーメディアとクラウデラによる共催となった。参加者は2500人で、前回の1400人から増加した。日本の参加者は約50人で、ほぼ2011年と変わっておらず、ワールドワイドでの熱狂ぶりに比べると、日本人の関心はやや落ち着いているのかもしれない。しかしながら中国人や韓国人をはじめとする、アジア人の姿は多く見受けられた。 会場はニューヨークのヒルトンホテルで、2010年

米Clouderaの日本法人Clouderaとネットアップは2012年12月6日、オープンソースの分散処理ソフト「Hadoop」をベースとしたソリューションで協業したと発表した。ClouderaのHadoopディストリビューションと、ネットアップのHadoop基盤製品を組み合わせた共同ソリューションの販売を同日から、新日鉄住金ソリューションズを通じて開始する。 共同ソリューションでは、Clouderaの「Cloudera’s Distribution including Apache Hadoop（CDH）」とネットアップのHadoop基盤製品「NetApp Open Solution for Hadoop（NOSH）」を組み合わせた。NOSHは、RAID5（またはRAID6）の外付けストレージ装置を採用しており、ディスク故障時もシステムを止めずにディスクが交換できるといった特徴を備える。

写真1●「社会の頭脳システム」について説明するNTTドコモ 先進技術研究所ネットワークシステム研究グループの田中 聡 主幹研究員 NTTドコモは2012年12月10日、分散処理ソフト「Apache Hadoop」の企業利用に関するセミナーにおいて、1000台を超えるIAサーバーで構成する社内向けHadoopシステムについて解説、Hadoopの有用性と運用時の課題を説明した。 NTTデータが主催したセミナー「Hadoopエンタープライズソリューションセミナー2012」において、NTTドコモ 先進技術研究所 ネットワークシステム研究グループの田中 聡 主幹研究員が『社会の頭脳システムの構築と運用』と題した講演で紹介した（写真1）。この「社会の頭脳システム」は、モバイル通信インフラを活用して社会の様々な課題解決を支援する新サービスを開発・実行する目的で、ドコモが2009年から取り組んでいる社内向

PRESS RELEASE 2012年12月5日 富士通株式会社 世界初！ Hadoopとの連携を実現したCOBOL「NetCOBOL V10.5」を販売開始 並列分散処理により、バッチ処理時間を従来の約18分の1に短縮 当社は、COBOLバッチアプリケーションをApache Hadoop（注1）で並列分散処理し、バッチ処理時間を大幅に短縮する機能を追加したCOBOL開発・運用ソフトウェア「NetCOBOL V10.5」を、本日より販売します。 本製品は、Hadoopとの連携を実現した世界初（注2）のCOBOL開発・運用ソフトウェアです。「NetCOBOL」で開発したバッチアプリケーションや他社のCOBOLで開発されたバッチアプリケーションを、再コンパイルによりHadoopで並列分散処理できるため、お客様は既存のCOBOLデータやアプリケーションに手を加えることなく、バッチ処理時間を大幅に

データを信頼し、AI を信頼する 信頼できるデータ、信頼できるモデル、信頼できる AI を実現するために、これほど多くのクラウドのさまざまなデータタイプを管理でき、オープンデータのイノベーションと大規模展開に対応できるプラットフォームは他にありません。

新日鉄ソリューションズ株式会社（本社：東京都中央区、代表取締役社長：謝敷　宗敬、以下 新日鉄ソリューションズ）は、株式会社ノーチラス・テクノロジーズ（本社：東京都品川区、代表取締役社長：神林　飛志、以下 ノーチラス・テクノロジーズ）と協業し、Hadoop、Asakusa Framework™によるバッチ処理高速化ソリューション・サービスを提供開始いたします。 ネットワークの進展による企業間連携・オンライン化の促進、ビジネス変化に伴う処理の短時間化ニーズや管理サイクルの高頻度化ニーズ等により、企業システムにおけるバッチ処理についても、対象データの増加、許容時間の縮小等を背景に、処理性能の要件がより厳しくなってくるケースが発生しています。 本ソリューション・サービスでは、数時間かかっているバッチ処理システムの高速化策として並列分散処理をベースとしたHadoopを採用したシステム導入・開発支援を