Spark 2.0 on EMR で Structured Streaming をやってみた
“Distributed computing (Apache Hadoop, Spark, …) Advent Calendar 2016” の 12/19 担当ということで、Spark 2.0 on EMR で Spark Streaming と Structured Streaming をやってみた結果を書きます。
mooapp
AWSやJava、iPhone App、OpenFlowなど、様々なトピックを扱う技術系ブログです。
カテゴリー : AWS
Data Pipelineで各種ログをRedshiftにロードする
AWSのログで遊ぼうシリーズ第4弾 – Data Pipeline x Redshift。
Redshiftは第1弾～第3弾で説明した通り、COPYコマンドでデータをロードすることができるので、単純にロードだけを考えるならRedshiftを単独で使うだけで十分です。
でも、Data Pipelineと連携して使うと、スケジューリングやエラー処理、通知など高度なデータ連携が可能です。
今回はData Pipelineを使って、ELB、S3、CloudFrontのログをRedshiftにロードします。
RDS for PostgreSQLを監視するコツ
この記事はPostgreSQL Advent Calendar 2014の12/15のエントリです。
今日15日目は、PostgreSQLといっても特にRDS for PostgreSQLをターゲットに、運用では欠かせない”監視”に焦点を当ててみます。
通常のサーバーで動作するPostgreSQLでは、サーバーのOSレベルの死活・パフォーマンスの監視に加え、RDBMSサービスとしての正常性の監視をするのが一般的かと思われます。
一方、RDS for PostgreSQLではサーバーのOSレベルのアクセスは制限されているため、RDSならではのちょっとしたコツが必要になります。
今回は、RDS for PostgreSQLならではの監視について考えていきます。
LambdaでS3上に出力されたログをCloudWatch Logsに取り込んで監視する
この記事はAWS Lambda Advent Calendar 2014の12/8のエントリです。
昨日7日目のエントリはmaroon1stさんの「今後のLambdaの機能拡張に対する要望を挙げてみた – AWS Lambda Advent Calendar 2014：7日目」でした。
今日8日目は、LambdaでS3上に出力されたログをCloudWatch Logsに取り込んで監視してみます。
CloudWatch Logsはログの蓄積や監視を実現するためのサービスとして、2014年7月にリリースされました。
現時点では、Linuxでは任意のログファイルの監視に、Windowsでは任意のログファイルに加えてWindows Eventlog・Event Tracing for Windowsの監視にも対応し、CloudWatch Logsは既にEC2インスタンス内部のログの大部分に対応していると言えるでしょう。
また、2014年11月にはCloudTrailで記録したAPI callのログ(Trail)をCloudWatch Logsに投入することができるようになりました。
でもAWSでは他にもログがあります。AWSのサービス自体が出力するログです。
ELBやS3、CloudFrontなど、AWSのサービス自体が出力するログの多くはS3上に出力されます。
今回はこれらのS3上に出力されるログをターゲットに、Lambdaを使ってCloudWatch Logsに取り込んで監視する方法を考えてみます。
CloudFrontのアクセスログをRedshiftにロードする
AWSのログで遊ぼうシリーズ第3弾 – CloudFront x Redshift。
今回はCloudFrontのアクセスログを対象に、Redshiftにロードしてみます。
S3のアクセスログをRedshiftにロードする
AWSのログで遊ぼうシリーズ第2弾 – S3 x Redshift。
今回はS3のアクセスログを対象に、Redshiftにロードしてみます。
ELBのアクセスログをRedshiftにロードする
AWSのログで遊ぼうシリーズ第1弾 – ELB x Redshift。
今回はELBのアクセスログを対象に、Redshiftにロードしてみます。
VMImportでVMware仮想マシンイメージをEC2インスタンスとしてインポートする
サーバー仮想化環境で利用中の仮想マシンをEC2に移行したいケースというのは非常に一般的です。
AWS VMImport/ExportではVMwareやHyper-V等の主要な仮想マシンイメージ形式に対応しているので、様々な環境の仮想マシンをインポートできます。
今回は、VMImportでVMImportでVMware仮想マシンイメージをEC2インスタンスとしてインポートしてみます。
OSごとのオフィシャルなAMIをまとめてみた
EC2では、Quick StartやAWS Marketplace、Community AMIsなど、様々なAMIからインスタンスを作成できます。
選択肢がたくさんあるのは素晴らしいですが、気をつけないと素性の知れないAMIを意図せず使ってしまうことになりかねません。
使いたいOSの、できるだけオフィシャルなAMIが欲しいというのが人情というもの。
（ここでいうオフィシャルというのは、Amazon公式に限りません。）
そこで、OSごとのEC2オフィシャルAMIを一覧にまとめてみました。
CloudWatch LogsでWindowsイベントログを監視する
CloudWatch LogsがWindowsに対応していたので、試しに検証してみます。
現状、監視できるのはWindowsイベントログ（アプリケーション、システム、セキュリティ）とIISのログとのことなので、今回はWindowsイベントログをターゲットにしてみます。
ちなみに、オフィシャルドキュメントはEC2 Configのページにマージされてました。
Configuring a Windows Instance Using the EC2Config Service
mooapp 