Apache Spark 2.0正式版がリリース。ANSI SQL標準サポート、10倍以上の高速化など 分散処理フレームワークの「Apache Spark 2.0」正式版のリリースが、開発元のDatabricksから発表されました。これまでApache Sparkはバージョン1.x（直前の最新版は1.6）でしたので、メジャーバージョンアップとなります。 Spark 2.0で最大の新機能は、新しいSQLパーサーを採用したことによるANSI SQL（SQL 2003）への対応です。ビッグデータのベンチマークの1つであるTPC-DSの99種類のクエリがそのまま実行可能と説明されており、プログラマが慣れ親しんだ一般的なSQL文はすべて実行可能になります。 また、DataFrameとDatasetは統合されたAPIとなりました。 こうしたAPIの変更や改善が行われた一方で、Spark 2.0ではパフ

Former Autonomy chief executive Mike Lynch issued a statement Thursday following his acquittal of criminal charges, ending a 13-year legal battle with Hewlett-Packard that became one of Silicon Valley’s biggest…

アルパインとクリエーションラインはSparkを使ったビッグデータ分析の実証実験を完了した。プロジェクトに関わった2人のキーパーソンに聞いた。 カーナビやカービジュアル製品を提供するアルパインは、近年ビッグデータ解析のオープンソースプロジェクトとして注目を集める「Apache Spark」を活用したビッグデータ分析の実証実験を、クリエーションラインと協業で行なった。 今回、この実証実験プロジェクトに参加したアルパインの黒田倫太郎氏と、Sparkのエンジニアとしてクリエーションラインから参加した木内満歳氏にインタビューを行った。 ―― 今回のプロジェクトはアルパインさんから木内さんに直接コンタクトがあったということですが、そのきっかけを教えてください。 木内：アルパインの研究部門でエンジニアをしていた黒田さんがクリエーションラインのグラフデータベースに関するブログ記事を読んでいて、あるセミナー

フィックスターズとノーチラス・テクノロジーズは2016年4月12日、並列分散フレームワーク「Asakusa on M3BP」、および実行基盤「M3 for Batch Processing（M3 for BP）」を発表。両社で共同開発したソフトをオープンソースとして公開した。MapReduceやSparkなど分散処理ソフトと同様の並列処理を、単一ノード上のマルチコア/マルチプロセッサで実現。「数ギガから数十ギガのデータを対象に、複数サーバーを用意しなくても並列処理によりスピードアップできる」（ノーチラス・テクノロジーズ 執行役員の目黒雄一氏）。 ノーチラス・テクノロジーズの「Asakusa Framework」は、バッチ処理を分散処理基盤で動かすための開発フレームワーク。Asakusa DSLと呼ぶ開発言語で開発し、コンパイルすることで、分散処理エンジンのためのコードを生成する。従来のMa

最近、話題のビッグデータ。これから注目のIoT、Fintech、Health Techではもちろん、セキュリティ、ゲーム、広告（アドテク）の分野でも、ビッグデータを扱うことが欠かせない。ビッグデータの解析を行うため、多くの起業ではApache Hadoopを用いたビッグデータの解析基盤を構築してきた。しかしこの従来の方法では、大量データをリアルタイムに処理することが難しい、という問題があった。ではより大量のデータをリアルタイムに解析するにはどんな基盤を構築すればいいのか。日本アイ・ビー・エム アナリティクス事業部 テクニカルリードの田中裕一氏がApache SparkとApache Kafkaを組み合わせて実現するリアルタイム処理基盤の概要とその活用例について紹介した。 日本アイ・ビー・エム アナリティクス事業部 テクニカルリード 田中裕一氏 講演資料：乗り遅れるな！KafkaとSpark

GMOインターネット株式会社 次世代システム研究室 アーキテクト　野田純一氏 （講演資料はSlideShareを参照してください） まず始めに野田氏は、「『つぶやきビッグデータ』ってご存知ですか？」と会場の参加者にアンケートを取りました。これはNHKのテレビ番組内の企画の一つとして放送されているもので、NTTデータ社が作成しています。野田氏はこれをSparkで作ってみよう！　と思い立ち、プロジェクトを進めていきました。 SparkおよびSpark Streamingについて 今回のシステムを構築する上で活用する「Spark」ですが、Hadoopエコシステムの一部として扱われるものの、直接Hadoopと関係しているわけではありません。Sparkについては、RDD（Resilient Distributed Dataset）という抽象化データセットを技術基盤とし、HadoopのMapReduc

Spark 1.6では、よく使われるデータフォーマットの1つであるParquetの読み込みに、新しいParquet Readerを導入。いくつかの処理のバイパスやコードの最適化を行った結果、ベンチマークでこれまで1秒あたり290万行の読み込み速度だったものを1秒あたり450万行まで、約50％改善したと説明されています。 また、1.6ではこれまで設定により固定されていた実行用のメモリ領域とキャッシュ用のメモリ領域の大きさを、新しいメモリマネージャの導入によって自動的に最適化できるように改善。手動での最適化を不要にし、実行速度の向上に貢献しました。 昨年導入された「DataFrame」とJavaVMのオーバーヘッドを改善する実行エンジンの「Project Tungsten」は、Sparkの実行速度の改善に寄与しました。Spark 1.6ではDataFrameを拡張したDataset APIが追

米グーグルがHadoop／Spark運用サービス「Cloud Dataproc」のベータ提供を開始：料金は1VM1時間1セント（あるいはそれ以下） 米グーグルは2015年9月23日（米国時間）、同社のクラウドサービス「Google Clooud Platform」で、Hadoop／Sparkクラスタ運用サービス、「Cloud Dataproc」のベータ提供を開始した。平均90秒というクラスタの迅速な展開と、1仮想インスタンス当たり1セント（あるいはそれ以下）という低料金が特徴。 米グーグルは2015年9月23日（米国時間）、同社のクラウドサービス「Google Clooud Platform」で、Hadoop／Sparkクラスタ運用サービス、「Cloud Dataproc」のベータ提供を開始した。 Dataprocは、Hadoop／Sparkクラスタの構築／立ち上げ、拡張／縮小、停止という

Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（前編） 最近ビッグデータ処理基盤として急速に注目を集めているのが「Apache Spark」です。 Sparkは、Hadoopと比較されることも多く、Hadoopよりも高速かつ高機能な分散処理基盤だと言われています。Sparkとはいったい、どのようなソフトウェアなのでしょうか？ 今年6月にSparkのコミッタに就任したNTTデータの猿田浩輔氏に聞きました。 以下は猿田氏から伺ったSparkの紹介をまとめたものです。また、後編では猿田氏がコミッタになった経緯などもインタビューしました。 Hadoopでは複雑な処理に時間がかかる Sparkとはなにかの前に、まずはHadoopの話から始めさせてください。 Hadoopとは、ざっくり言うと分散処理フレームワーク「

8. データ構造 8 • id: ad identifier • click: 0/1 for non-click/click • hour: YYMMDDHH • C1 -- anonymized categorical variable • banner_pos • site_id • site_domain • site_category • app_id • app_domain • app_category • device_id • device_ip • device_model • device_type • device_conn_type • C14-C21 -- anonymized categorical variables

ブレインズテクノロジーは2015年7月31日、オープンソースソフトウエア（OSS）の分散データ処理ソフト「Apache Spark」を活用したデータ分析基板「Impulse」の新版を発表した。 新版では機械学習による予測・異常検知のリアルタイム処理や、大規模データのバッチ処理、オンライン分析処理（OLAP）などの機能を統一し、リアルタイム予測分析プラットフォームとして提供する（図）。 ブレインズテクノロジーの濱中佐和子代表取締役によると、「主な用途はデータセンターなどでのシステムログ分析による障害予兆検知や、センサーデータ分析による設備予防保全などを想定している」という。 濱中氏はOSSを活用することで、リアルタイム予測分析を安価に実現できると語る。「例えば1万台規模のIoT（モノのインターネット）機器の異常検知をする場合、類似製品と比べて5分の1程度のコストで実現できる」（濱中氏）。 I

Apache Sparkに注力するIBM、目指すは「データ分析のOS」：Database Watch（2015年7月版） 北米トヨタ販売子会社での採用事例の発表などもあり、日本国内でも注目を集めつつある「Apache Spark」。具体的にはどんな特徴があって、何ができるのだろうか。Sparkへの大規模投資を発表したIBM（日本IBM）を取材した。 連載バックナンバー Apache Sparkとは何か？ 2015年7月8日、日本IBMは「Sparkプロジェクトへの取り組みに関する記者説明会」を行いました。Sparkとは「Apache Spark」（以下、Spark）のことで、分散環境で計算処理を並列実行するソフトウエアです。2015年6月に米国で開催された「Spark Summit 2015」で、米国におけるトヨタ自動車の販売子会社である米国トヨタ自動車販売（Toyota Motor Sa

オープンソースプロジェクト「Apache Spark」は、いまやカリフォルニア大学バークレー校のAMPLabが生んだ成果の中で、もっとも有名なものと言えるかもしれない。Sparkを生んだAMPLabは、機械学習、クラウドコンピューティング、クラウドソーシングという3つの大きなトレンドをテーマとしており、アルゴリズムと機械、そして人の力を組み合わせて、ビッグデータから意味を引き出すことに取り組んでいる。 Sparkはもともと、AMPLabの別のプロジェクトである「Apache Mesos」を拡張するために書かれたものだが、人気が集まったため、開発者たちは2013年にAndressen Horowitsから資金を獲得して、スタートアップ企業Databricksを立ち上げた。同社は、データ分析のプロフェッショナルが簡単にSparkを利用できる、ホスティング型のクラウドプラットフォームを提供してい

正式版の公開から1年しか経っていないにも関わらず、「Uber」や「Airbnb」といった注目の新興企業や、トヨタ自動車のような巨大企業がこぞって採用し、米IBMが「データ分野で今後10年間の最重要オープンソースソフトウエア（OSS）」と呼んで、3500人もの研究者や開発者を投入し始めたビッグデータ処理ソフトがある。「Spark（スパーク）」だ。 2015年6月15～17日（米国時間）には米国サンフランシスコ市でユーザーカンファレンス「Spark Summit 2015」が開催され、2000人ものユーザーが集まった（写真1）。 同カンファレンスでは、タクシー配車サービスの米Uber Technologies、民家をホテルとして貸し出す米Airbnb、トヨタ自動車の米国法人、中国Baidu、さらには米中央情報局（CIA）などが、Sparkの活用事例を公表。IBMもこのイベントに合わせて、350

NTTデータ 基盤システム事業本部の猿田浩輔氏（写真1）が2015年6月17日（米国時間）、米Apacheソフトウエアファウンデーション（ASF）が開発を主導するオープンソースソフトウエア（OSS）の分散データ処理ソフト「Spark」の開発の中心メンバーである「コミッタ」に就任した。日本企業からSparkのコミッタを輩出するのはこれが初めて。 Sparkは、OSSの分散データ処理ソフト「Hadoop」の機能を補完するソフトとして、近年急速に注目が集まっている。Hadoopが大量データのバッチ処理に向いているのに対して、Sparkは機械学習のような高度なデータ分析を高速処理するのに向く。Hadoopの標準ストレージである「HDFS」に格納したデータに対して高速なデータ分析処理が実行できるため、SparkとHadoopを併用するユーザーが多い。2015年6月15日から17日までサンフランシスコ

IBM、「Spark as a Service」を発表。Apache Sparkへのコミットで3500人の研究者やエンジニアを投入 米IBMはオープンソースの大規模分散処理基盤「Apache Spark」への本格的なコミットメントを数日前に発表し、3500人の研究者やエンジニアを投入すると宣言しました。 同社が合わせて発表したのが、Apache Sparkをクラウド上でサービスとして提供する「Spark as a Service」です。現在はまだサインナップしてもログインできず、最新情報のメールが届くようになっています。 Apache Sparkは、これまでHadoopが切り開いてきた大規模分散処理プラットフォームをさらに技術的に推し進めたものと言えます。 Hadoopは大量のデータをバッチ処理する非常に高い能力を備えていましたが、Apache Sparkではインメモリ処理などによってさら

あけましておめでとうございます。濱野 賢一朗です。 1年は早いものですね。本当にあっという間に過ぎ去ってしまうものです。しかし、いざ1年を振り返ってみると、いろんなことが起きていたのだと実感したりもします。ここでは「ビッグデータ（Big Data）活用」が2015年にどう変化していきそうか、Hadoopの話題を中心に紹介したいと思います。 2014年を振り返る まずは、昨年を振り返ってみましょう。急浮上したバズワードという印象の「ビッグデータ活用」も、すこし落ち着いてきました。まだまだ浮ついた話を耳にしましたが、一方で、具体的な事例や技術の話も増えてきた1年でした。 システム基盤の観点では「Hadoop」の変貌が始まりました。皆さんご存じのとおり、Hadoopは並列分散処理を実現するオープンソースソフトウェアです。技術的側面での変貌は2015年に本格化すると思いますが、その下準備が着実に行