Amazon Web Services ブログ Apache Airflow、Genie、および Amazon EMR でビッグデータワークフローのオーケストレーションを行う: Part 1 AWS 上でビッグデータの ETL ワークフローを実行している大企業は、多数の内部エンドユーザーにサービスを提供できるようなスケールで運用しており、何千もの同時パイプラインを実行しています。このことは、新しいフレームワークと、ビッグデータ処理フレームワークの最新のリリースに遅れずについていくため、ビッグデータプラットフォームを更新し、拡張する点での継続的なニーズと相まって、ビッグデータプラットフォームの管理を簡素化することと、ビッグデータアプリケーションへの容易なアクセスを促すことの両方を可能にする、効率的なアーキテクチャと組織構造を要求しています。 この投稿では、一元管理型のプラットフォームチームが

Amazon Web Services ブログ Amazon EMR で Apache Spark アプリケーションのメモリをうまく管理するためのベストプラクティス ビッグデータの世界における一般的なユースケースは、さまざまなデータソースからの大量のデータにおける抽出/変換 (ET) とデータ分析の実行です。多くの場合、この後でデータを分析してインサイトを取得します。このような大量のデータを処理するための最も人気のあるクラウドベースソリューションのひとつが Amazon EMR です。 Amazon EMR は、AWS での Apache Hadoop および Apache Spark などのビッグデータフレームワークの実行をシンプル化するマネージドクラスタープラットフォームです。Amazon EMR は、組織が複数のインスタンスを持つクラスターをほんの数分でスピンアップすることを可能にし

Amazon Web Services ブログ Amazon EMR の伸縮性と回復力を高めるための Spark の機能強化 お客様は Amazon EMR の伸縮性を利用して、ワークフローが完了したとき、またはより軽いジョブを実行するときにクラスターをスケールしてコストを節約しています。これは、低コストの Amazon EC2 スポットインスタンスでクラスターを起動する場合も同様です。 Amazon EMR の Automatic Scaling 機能により、お客様はクラスターの使用状況やその他のジョブ関連のメトリックスに基づいて、クラスターを動的にスケーリングできます。これらの機能は、リソースを効率的に使用するのに役立ちますが、実行中のジョブの途中で EC2 インスタンスがシャットダウンすることもあります。これにより、計算とデータが失われる可能性があり、それがジョブの安定性に影響を与え

AWS Big Data Blog Build a Concurrent Data Orchestration Pipeline Using Amazon EMR and Apache Livy Many customers use Amazon EMR and Apache Spark to build scalable big data pipelines. For large-scale production pipelines, a common use case is to read complex data originating from a variety of sources. This data must be transformed to make it useful to downstream applications, such as machine learni

小ネタです。今年の7月にAmazon EMRのリリース4.0.0がリリースされ、最近では4.2.0もリリースされました。このリリース4系と従来のバージョン2系および3系は基本的な利用法は変わっていませんが構築されるHadoopクラスタの中身が別物になっています。私も最初はその違いがよく分からなかったので、今回はその違いについて説明します。なお、今回説明する差分の一覧は公式ドキュメントにまとめて記述されています。 バージョンの言い方がEMR releaseに変わった まずEMRのバージョンの言い方が変わりました。2系および3系まではAMI Versionという言い方でしたが、4系からはEMR releaseという言い方に変わっています。実際にマネジメントコンソールで[Release]の一覧を表示すると以下のようになっています。 4系: EMR release - Hadoop2 3系: AM

Amazon Web Services ブログ Auto Scalingを利用して、Amazon EMRのアプリケーションを動的にスケールする Apache SparkやPresto、Apache Hadoopエコシステムを利用しているお客様は、ワークフローの完了次第クラスターを終了させることや、安価なAmazon EC2スポットインスタンスを利用してクラスターをリサイズをすることよってコスト節約するために、Amazon EMRの弾力性を活用しています。例えば、お客様は日次のETLや機械学習処理のためにクラスターを作成し、それらの処理が完了したらクラスターを終了させるということや、BI分析者がアドホックでレイテンシーの低いSQLをAmazon S3に置かれたデータに対して行えるよう、業務時間帯のみPrestoクラスターをスケールアウトする、ということが可能です。 Amazon EMRリリー

AWS Big Data Blogで Building a Recommendation Engine with Spark ML on Amazon EMR using Zeppelinというエントリーがあったので、そちらを実際に試してみたレポートになります。 内容としてはMovieLensのデータを使ってレコメンデーションエンジンを作るというものです。Spark Summit 2014にAdvanced Apache Spark Workshopというものがあったようで、そちらのMLlibのハンズオンをEMR上でZeppelinを使ってやってみるというものでした。 なお、Spark Summit 2014のハンズオンとAMP Camp 5 - big data bootcampをベースに日本語化したサイトがありました。今回のエントリーに対応するのは4. MLlib(機械学習)になります

Hue Meetup 2017-09-20 発表資料 https://connpass.com/event/65052/ Hadoop の 標準WebUI であるHue を Amazon EMR 上で運用する利点／欠点と、欠点を回避してより便利に使うための実例を紹介します 補足資料 ・Amazon EMR 上の WebUI群 ( Hue や Zeppelin ) をSSHトンネルなしでブラウザ表示する方法 https://qiita.com/yaiwase/items/907589155d90722533dc ・EMR 4->5 バージョン間で Hue データを移行する https://qiita.com/yaiwase/items/1a2da951e002ce8f612fRead less

本連載では、Sparkの概要や、ローカル環境でのSparkのクラスタの構築、Sparkの基本的な概念やプログラミングの方法を説明していきます。今回は、簡単な機械学習のSparkアプリケーションを作成し、Amazon EMRで実行するまでを説明します。

概要 DynamoDBのデータをData PipelineでS3にエクスポートしようとしたら失敗した話。 何故か TableBackupActivity コンポーネントの実行でコケる。ログを残すよう設定しているにも関わらず Logs not available が出る。 原因 AWSのデフォルトVPCを削除するとこの現象が起こるらしい。 対策としては、EMR Clusterのオプション (Edit Pipeline から変更可能) で インターネットゲートウェイが設定されたパブリックサブネット を指定してあげれば良い。 ちなみにデフォルト以外のVPCでEMRクラスタを利用する場合、VPCの DNS Resolution 、DNS Hostnames オプションをそれぞれ有効化しておかないといつまでたってもクラスタが起動しないので注意が必要。

今更といえば今更だが、意外と情報が少なかったので、Amazon EMRにて、CustomJarを作成して実行する方法をまとめてみる。 実装する処理は、みんな大好きWord Countです。 手順概要 MapReduceの処理を実装したjarファイルを作る 作成したJarファイルをAmazon S3へアップロードする ログファイル出力ディレクトリ、入力ファイルを用意する EMRクラスターを立ち上げる ジョブを実行する Hadoopの処理を実装したjarファイルを作る Jobの内容を設定するMainメソッド、Mapperクラス、Reducerクラスを実装し、Jarを作成する。 Jarを作るために、今回はMavenを使用する。 ポイントとなるのは、hadoop-core以外で追加で使用するJarがある場合には、「maven-assembly-plugin」などを使って、依存するJarを一つにまと

ようやく以前やりたかったことができた。 というのは、「S3バケットにおいたテキストファイルをDistributed Cacheとして使う」こと。 twasinkさんがGitHubに公開してくれているコードのおかげ。Thank you. Distributed Cacheを使いたいケースはままあって、例えば、１つの変量を基準として処理を分散したい場合がそれに当てはまる。目的変数に対して説明変数を対比させるなど。 Distributed Cacheについては、Amazon Elastic MapReduceにも説明がある（こちら）し、象本にも当然書いてある（こちらは純粋なDistributed Cacheに説明）のだが、S3をプログラム内で設定して使う、というサンプルを見つけられないでいた。 以下に、サンプルプログラムをメモしておく。 サンプルを探している間に、ToolRunnerをつかってJ

前々回の記事では、１変量の算術平均を計算した。 今回は、以下の形式（多変量データ）の「各列」、つまり「各変量」の平均値を計算する。前々回の記事で述べたように、「超多変量」＝「超高次元」がビッグデータの本質の１つである。 せっかくなので、自分の手元のMacBook Pro（Core i5）のRでは処理が厳しいくらいの大きさのデータを、Amazon Elastic MapReduceで処理し、処理時間とスケール・アウトさせたときの様子を見みようと思う。 後述するが、変量（特徴）の数は1,000,000、サンプルサイズは1,000とおく。多変量解析のテキストでは、サンプル・サイズ＞変量の数、となっているのが普通だが、ビッグデータの場合にはこれが逆転するケースが発生する。（例えば、１webページ中の語彙、1人の遺伝情報など） データ 以下に、データ構造とデータファイル（MapReduceに読ませる

前回の記事で作成したワードカウントをAmzon Elastic MapReduceで実行してみる。 まず、プログラムと入出力ファイルの置き場所、プログラムの実行方法を決めておく。 ここまでの検証で、プログラム（jarファイル）の置き場所は、 S3 マスタノード の２パターン、入出力ファイルの置き場所は、 S3 HDFS の２パターン。 実行方法は「色々あるのかな」と思うが、 マネージメントコンソールから、Custom Jarのステップを登録する。 Ruby Clientからステップを登録する。 マスタノードにログインして実行する。 といったところを押さえておけばいいだろう。 以下では、 AWSマネージメント・コンソールでクラスタを起動する（やり方は以前の記事） プログラムはS3に置く。 入出力もS3に置く。 AWSマネージメント・コンソールからCustom Jarステップとしてステップを登

前回に引き続き、使用するHadoopのバージョンは2.4。１年前の記事をもとに、Eclipseで開発環境を作る。 開発を行うクライアントは、MacBook Pro (OSX 10.9.3）。クライアントのJavaのバージョンは以下。 MacBook-Pro:~ tetsuya$ java -version java version "1.6.0_65" Java(TM) SE Runtime Environment (build 1.6.0_65-b14-462-11M4609) Java HotSpot(TM) 64-Bit Server VM (build 20.65-b04-462, mixed mode) ダウンロード hadoopのダウンロードページから、hadoop-2.4.0.tar.gzをダウンロードする。 クライアントの設定 ダウンロードしたhadoop-2.4.0.ta

前回の記事では、前々回に作成したワードカウントのサンプルをAWSマネージメントコンソールから実行した。 GUIから実行するのは簡単なのだが、回数が多くなってくると面倒くさい。なので、Elactic MapReduce Client Rubyでの実行方法と、SSHでログインして（Hadoopを生で使う）実行方法を以下にメモしておく。 Elastic MapReduce Ruby Clientで、ワードカウントを実行する。 Elastic MapReduce Ruby Clientの使い方については、 先日の記事にかいた。 プログラム（jarファイル:hadoopsample.jar）はS3に保管。 入力となるテキストファイルもS3に保管。 出力もS3に書き出し という、前回の記事と同じ条件で実行する。 この場合、クラスタが起動後、以下のコマンド１つでステップの追加と実行ができる。 elast