Amazon Web Services ブログ AWS Glue – 一般提供開始 本日、AWS Glue の一般提供開始がアナウンスされました。Glue はフルマネージドでサーバレス、そして、クラウド最適化された ETL(extract, transform, load) サービスです。Glue は他の ETL サービスやプラットフォームと、いくつかのとても重要な点で違いがあります。第1に、Glue はサーバレスです — リソースのプロビジョニングや管理を行う必要はありません。ジョブ、もしくは、クローリングを実行している間に Glue が使用したリソースに対する支払いのみで利用可能です(分単位課金) 。第2に、Glue のクローラです。 Glue のクローラは、複数のデータソース、データタイプ、そして、様々な種類のパーティションを跨いで、スキーマを自動的に検出・推測することができます。ク

先日の Black Beltオンラインセミナー「Amazon Athena」で、Athenaの想定ユースケースとして「開発者が、大規模でない生データに対して、低頻度でETL処理をする」という話を聞き、実際に Athena で ETL して Redshift にロードしてみることにしました。 サンプルデータ サンプルデータは下記データをダウンロードし、対象シートを[Orders]のみをS3ファイルに保存して、Athenaで orders_jp テーブルとして定義したものを利用します。 Superstoreサンプルデータ（不具合修正版） |Tableau Community シナリオ 日本国内の売上情報が含まれるデータファイルがS3上に存在する。データファイルから製品カテゴリ〜製品毎の売上と利益率のデータマートを作成して、BIツールから参照できるようにこのデータマートをRedshiftにロード

おはようございます。藤本です。 本日、うれしいアップデートがありました。ついに Amazon Athena が東京リージョンにやってきました。東京リージョンリリースを待っていた方も多いのではないでしょうか？ Amazon Athena is now available in Asia Pacific (Singapore) and Asia Pacific (Tokyo) Amazon Athena Amazon Athena は S3 にある CSV、JSONなどのテキストファイルから SQL によってデータの抽出や集計を行えるサービスです。弊社ブログでも色々なことを試していますので是非ご覧ください。 Athena – 特集カテゴリー – 東京リージョンにやってきたことで何が嬉しい？ 今までは US、ヨーロッパの 4リージョンでサービス提供されていました。Amazon Athena は別

この記事はTech KAYAC Advent Calendar 2016の21日目の記事です。 こんにちは、ソーシャルゲーム事業部のぼくらの甲子園！ポケットのサーバサイド開発・運用を担当しておりますマコピーことid:mackee_wです。 ↑のヘッダ画像の人物はワタクシ、という噂があります。みなさま答えはあっていましたでしょうか。 ぼくらの甲子園！ポケットとは 2014年9月にリリースされた共闘スポーツRPGのスマートフォン向けゲーム 現在3年目でございます！！！ 甲子園をモチーフにしてプレイヤーとプレイヤーが協力して別のチーム(CPUではない)と対戦して甲子園の頂点を目指す チーム(高校)の部員がプレイヤー9人揃わなければ試合が始まらない縛りとかも特徴です そんな感じで運営しておりますので興味を持たれましたらこちらからダウンロードのほどよろしくお願いしますm( )m。 ちなみにこの記事は

fluentdで集約したログをRedshiftに投入するのに、これまでは fluent-plugin-redshift を使っていたのですが、諸々の理由でこれを置き換えるツールをGoで書きました。 Rin - Redshift data Importer by SQS messaging. プロダクション環境に投入して、2週間ほど快調に動作しているので記事を書いておきます。 アーキテクチャと特徴 S3にデータが保存されたタイミングで、Amazon SNS または SQS にメッセージを飛ばすイベント通知機能がありますので、それを利用しています。 (何者か) S3 にデータを保存する (fluent-plugin-s3, その他どんな手段でも可) (S3) SQS に S3 の path 等が記述されたメッセージを通知する (Rin) SQS のメッセージを受信し、Redshift へ CO

最近、個人事業のお仕事で Redash を使ったデータ分析をやっています。データ分析は「10 年戦えるデータ分析入門」を読んで興味を持っていたので、とてもいい機会をいただきました。 今回は RDBMS の他に S3 にあるログデータも分析したいので Athena を使うつもりですが、ちょうど Redash が Athena を正式サポートしたので試してみました。 Amazon Athena + Redash = ♥ ちなみに、2 月 7 日時点で Athena が使えるのは Hosted 版だけです。自分のサーバにインストールする OSS 版は v1.0.0 で対応するようなので、もう少し待ちましょう（OSS 版は v1.0.0-rc.1 までリリースされています）。 If you run Redash on-premise, you can either wait for the v1.

こんにちは、データ分析部の阿部です。 作業中音楽は聞かない派ですが、ホワイトノイズを聞いていると集中できるという噂を聞いたことがあるので少し気になっています。 今回は、re:Invent2016で発表されたばかりのAthenaを紹介します。 Athenaとは データの準備 テーブル作成 速度測定 まとめ Athenaとは 本日、AWSのre:Invent中で、RedshiftやEMRに続くビッグデータサービスとして、Athenaというサービスがリリースされました。 Athenaは、S3上のデータ（CSV, JSON, その他フラットファイル）に対して、インタラクティブにSQLを実行することができます。 RedshiftやEMRに比べて、クラスタの構築や運用を必要とせず、シンプルにクエリを実行できるというメリットがあります。 課金形態も、クエリ&読み込んだデータ量に応じて課金という点で、Go

また、クラウドアーカイブサービス「Glacier」の取り出し料金体系も変更し、「Standard」「Expedited」「Bulk」の3つのプランになる。Standardが従来のプランで、Expeditedはデータ取り出し速度が1～5分と高速になる分、1GB当たり3セント、1リクエスト当たり1セント掛かる。Bulkは取り出し速度が5～12時間で1GB当たり0.25セント、1000リクエスト当たり2.5セント。Glacierの新しいプランも12月1日から有効になる。 関連記事 「VMware Cloud on AWS」──VMwareとAmazonがハイブリッドクラウドで提携 2月にIBMとのハイブリッドクラウドでの提携を発表したVMwareが、今度はAWSとの提携で「VMware Cloud on AWS」を発表した。AWS上にvSphereベースの環境を作り、オンプレミスの環境とシームレ

バケットのIPアドレスを適切なものに固定することで、期待値でいうと1.5倍、最大で4.5倍程度高速にダウンロードできます。 この方法は非常に効果が高いですが、非公式なものであり、ある日突然破綻する可能性もありますので自己責任でお願いします。 S3のバケットとエンドポイント まずは前提知識として、S3の名前解決について説明します。 S3のバケット "mybucket" というバケットを東京リージョンに持っているとします。するとそのバケットのドメイン名は mybucket.s3.amazonaws.comになります。これをエンドポイントと呼びます。このバケットの中にあるファイル "hello.txt" にアクセスする場合には、 http(s)://mybucket.s3.amazonaws.com/hello.txtというようなURLを用います。*1 エンドポイントのIPアドレス この myb

S3にアップロードしたCSVファイルをLambda経由でAmazon RedshiftにCOPYする – AWS Lambda Advent Calendar 2014：2日目 先日米国ラスベガスで開催された『re:Invent 2014』にて発表されたAWS Lambdaに関するエントリを12/01から12/25まで毎日1本ずつ書いていくアドベントカレンダー『AWS Lambda Advent Calendar 2014』。このエントリは2日目の内容となります。 AWS Lambda Advent Calendar 2014 - Qiita AWS Lambda 先日1日目のエントリはharuyoshさんの『Lambdaからhttpリクエスト』でした。 Lambdaからhttpリクエスト - Qiita 本日2日目のエントリは『S3にアップロードしたCSVファイルをLambda経由でAm

日本時間 2014/11/27 の AM9時〜AM11時頃まで、全世界的に Amazon CloudFront に障害がありました。 CDNとして CloudFront を利用しつつ、障害時にはフェイルオーバーする方法をまとめました。 S3 CloudFrontのOriginがS3でない場合は、この項の設定は関係ありません。 CloudFrontのOriginとしてS3を使う場合、以下のようにします。 file.example.jp のような、使いたいドメイン名で S3バケット を作る Static Website Hosting を有効にしておく ドメイン名のバケットで Static Website Hosting が有効になっていないと、後述の Route53 の Alias Target に設定できません。 Health Check Route53 の Health Checks を

日立ソリューションズは2014年3月5日、クラウドストレージの併用によってファイルサーバーの運用コストを削減するミドルウエア「活文Hybrid Storage Manager」（写真）を発表した。4月25日に提供開始する。アクセス頻度が低いファイルをAmazon S3に自動的に退避させる仕組み。エンドユーザーは、同ソフトを導入する以前と変わりなく、透過的にファイルサーバーにアクセスできる。 活文Hybrid Storage Managerは、ファイルサーバー上にあるファイルのうち、アクセス頻度が低いものを自動的にAmazon S3に移動させるソフトである。これにより、ファイルサーバーのストレージ使用量を削減する。データは暗号化してからAmazon S3に格納するため、セキュリティが保たれる。ソフトウエアは、ファイルサーバーにアクセス可能なWindows Serverの上で動作する。 専用ソ

Amazon Glacier 使ってバックアップ環境つくりたいなー でも rsync 的な使い方したいけどどうやってやったらいいかわからないなー と思っていたら、先日 AWS CLI 1.0 がリリースされて新しくsyncコマンドが使えるようになったので、これはチャンスと思い手を出してみた次第。 AWSまわりを軽く説明 知ってる人は読まなくていいです。 Amazon S3 Amazonのクラウドストレージ。 Dropboxのバックエンドなんかにも使われている、Web開発者にはお馴染みのアレ。 特筆すべきは 99.999999999%(イレブン・ナイン) の堅牢性。 なんだかよくわからないけどめっちゃ9が並んでるから多分すごい（小並感 Amazon Glacier 同じく、Amazonのクラウドストレージ。 価格が 1GBあたり1円/月(S3の約10分の1) とかなり安いが、データをダウンロ

CloudFrontなんかをなんか使っています Amazon CloudFrontはいわすと知れたコンテンツ配信サービス。Contents Delivery Networkってやつ。オリジナルファイルをAmazon S3などのストレージサーバー（オリジンサーバー）に格納すると、そこからデータを持ってきて、最良のパフォーマンスで配信できるようにしてくれる。まあなんか、いくつかのエッジロケーションを持ってて、ユーザーが最もストレスなくデータのやり取りができるところに自動的にルーティングしてくれたり、いい感じにやってくれる。リクエスト数がハンパないコンテンツ運用に便利！ってことらしい。転送量に応じて課金される。 詳しくはこちら。 Amazon CloudFront 私が運用しているサイトはAmazon S3とCloudFrontを組み合わせて使っていて、S3にオリジナルファイルをのっけると、Cl