Amazon Web Services（AWS）が2019年12月2日～6日（現地時間）、米国ラスベガスで開催した「AWS re:Invent 2019」。同社CEOのアンディ・ジャシー氏による3時間に及ぶ基調講演では、多数の新発表が行われた。 米国ラスベガスのサンズエキスポコンベンションセンターやMGMグランドカンファレンスセンターなど複数会場をまたいで開催。現地参加者は6万5000人を数えた 前回記事でお伝えしたIaaS関連領域（コンピュート、オンプレミス／エッジ領域）の主要な新発表に続いて、今回は「データレイク」や「データ分析（アナリティクス）」領域の新発表を、ジャシー氏が語った「狙い」と共に見ていきたい。「Amazon S3」や「Amazon Redshift」関連の発表だ。 ITのモダナイズ＝“引っ越し”で捨てていくべきものとは 前回記事でも触れたように、ジャシー氏基調講演の大き

Amazon Web Services ブログ Amazon Redshift を使用したレイクハウスアーキテクチャの ETL および ELT 設計パターン: パート 2  このマルチポストシリーズのパート 1、Amazon Redshift を使用したレイクハウスアーキテクチャの ETL および ELT 設計パターン: パート 1 では、Amazon Redshift Spectrum、同時実行スケーリング、および最近サポートされるようになったデータレイクエクスポートを使用して、データレイクアーキテクチャ用の ELT および ETL データ処理パイプラインを構築するための一般的なお客様のユースケースと設計のベストプラクティスについて説明しました。 この記事では、AWS サンプルデータセットを使用して、Amazon Redshift のいくつかの ETL および ELT デザインパターン

Amazon Web Services ブログ Amazon Redshift を使用したレイクハウスアーキテクチャの ETL および ELT 設計パターン: パート 1  このマルチポストシリーズのパート 1 では、プライマリおよび短期の Amazon Redshift クラスターの両方を使用して、スケーラブルな ETL (抽出、変換、ロード) と ELT (抽出、ロード、変換) データ処理パイプラインを構築するための設計のベストプラクティスについて説明します。また、Amazon Redshift Spectrum、Concurrency Scalingといった Amazon Redshift の主要な機能に関するユースケースや、最近開始したデータレイクエクスポートのサポートについても見ていきます。 このシリーズのパート 2、Amazon Redshift を使用したレイクハウスアーキ

Amazon Web Services ブログ AWS CloudFormation を使用して Amazon Redshift クラスターの作成を自動化する この投稿では、AWS アカウントで Amazon Redshift クラスターのデプロイを自動化する方法について説明します。セキュリティと高可用性に関する AWS のベストプラクティスに基づいてクラスターの設定を促進することで、AWS CloudFormation を使った設定を速やかに行うことができるようになります。 必要に応じてカスタマイズできる CloudFormation の一連のサンプルテンプレートを見ていきます。 Amazon Redshift は、高速かつスケーラブルで完全マネージド型の ACID と ANSI SQL に準拠したクラウドデータウェアハウスサービスです。新しいデータウェアハウスの設定とデプロイをほんの数

クラウド環境におけるDWHの選択肢として、Redshiftはもはや珍しいものではなくなりましたが、弊社内の採用実績はそれほど多くはありませんでした。 本記事は元々そのような社内向けに、Redshiftの基本的な仕様をなるべく網羅的に理解できるようまとめたものです。 筆者について新卒でフューチャーに入社し、今年で8年目になります。 入社後は一貫して技術畑、オンプレミスのインフラに始まり、直近ではアプリケーションまで含めたプロジェクトの技術統括を担当しています。 私もかつては社内有数のAWSエンジニアを自負していましたが、最近は別の仕事のため少し遠ざかっており、クラウドの世界は日進月歩なこともあり知識をアップデートする必要を感じています。 ※この記事の準備中にもElastic Resizeがリリースされました。 本記事は私のリハビリも兼ね、ドキュメントのまとめだけでなく、実際に手を動かして振る

実行時間はほぼ横ばい。コストはCOMPOUND SORT KEYが一番低く、ソートキーなしとINTERLEAVED SORT KEYは同じ結果に。 -- レコード数1億件未満のテーブル -- セカンダリキーでORDER BY SELECT eventid FROM sales ORDER BY eventid; -- EXPLAIN XN Merge (cost=1000000016724.67..1000000017155.81 rows=172456 width=4) Merge Key: eventid -> XN Network (cost=1000000016724.67..1000000017155.81 rows=172456 width=4) Send to leader -> XN Sort (cost=1000000016724.67..1000000017155.81

Amazon Web Services ブログ Amazon Redshift 用の AWS Step Functions を使用した ETL プロセスのオーケストレーション 現在のデータレイクは、大量の情報を使用可能なデータに変換する抽出、変換、ロード (ETL) 操作をベースとしています。この記事では、AWS Step Functions、AWS Lambda、AWS Batch を緩やかに結合して Amazon Redshift クラスターをターゲットにする ETLオーケストレーションプロセスの実装について詳しく説明します。 Amazon Redshift はカラムナストレージを使用するため、便利な ANSI SQL クエリを使用した迅速な分析的インサイトに最適です。Amazon Redshift クラスターを数分ですばやく増減して、エンドユーザーレポートとデータウェアハウスへのタイ

Redshiftで遅いSELECT文のパフォーマンス分析した時の手順等メモ。 1. 分析対象SQLの実行 -- このセッション中でクエリ結果キャッシュを無効にする SET enable_result_cache_for_session TO off; -- 分析対象SQLを実行 -- SQLのコンパイル時間を除くため、分析対象SQLを再度実行 -- 現在のセッションで最後に実行されたクエリのクエリIDを取得 SELECT pg_last_query_id(); -- アラートが出てないか -- https://docs.aws.amazon.com/ja_jp/redshift/latest/dg/r_STL_ALERT_EVENT_LOG.html SELECT * FROM stl_alert_event_log WHERE query = クエリID; -- 実行計画 -- http

はじめに 前々から社内で書く書くって言ってた、サクッと大量データを作成する方法を紹介します。（これで書く書く詐欺って言われない♪） 大量データを作成の共通点 大量データを作成の流れは、大量データ用テーブルに自らの空レコードをコピーすることで大量のレコードを作成します。作成したいレコード数に達すると、一気に乱数を用いてレコードに値を設定します。今回の例では、以下のバリエーションのデータに対して値を設定しています。 オートインクリメントの主キーであるid 可変長文字列であるnameとdescription 符号なしINTであるprice フラグであるdelete_flag 日時データであるcreated_atとupdated_at MySQL5.7 / Amazon Aurora(MySQL5.7互換) の場合 items テーブルのidカラムは、AUTO_INCREMENTを用いて自動採番し

はじめに 2018年の11月のCluster Version Historyに記載のあった『DISTSTYLE AUTO』がついに利用できるようになりました。分散スタイルにAUTOを指定すると最適な分散スタイルを自動的かつ動的に設定する新機能です。リリースバージョン 1.0.6754 以降で利用可能になりましたので、実際にテーブルを作成してどのように自動的かつ動的に設定が変化するかを確認したいと思います。 RedshiftのテーブルのDISTSTYLEに「AUTO」が追加され、東京リージョンでも使えるようになりました。今まではデフォルトはEVEN分散だったのですが、これからはデフォルトではじめはALL、件数が増えてくるとEVENというようにダイナミックに持ち方が変わる動きになります。https://t.co/UR8x2S2Qgi — Junpei Ozono (@jostandard) A

Amazon Web Services ブログ Okta を ID プロバイダーとして Amazon Redshift へのアクセスとフェデレーションする データベースのユーザーとアクセスを管理することは、気が遠くなるほど大変でエラーが発生しやすい作業です。これまで、データベース管理者は、ユーザーがどのグループに属しているのか、およびユーザー/グループがどのオブジェクトの使用を許可されているのかを判断する必要がありました。これらのリストはデータベース内で管理されており、社内ディレクトリから簡単に外れる可能性があります。 フェデレーションを使用すると、企業のアイデンティティプロバイダー (IdP) 内のユーザーおよびグループを管理し、それらをログイン時に Amazon Redshift に渡すことができます。前回の記事、「IAM と Amazon Redshift を使用して、データベースユ

Amazon Redshift では、8 時間ごと、またはノードあたり 5 G のデータ変更ごとにデータの増分スナップショット (バックアップ) が自動的に作成されます。このたび、自動スナップショットスケジュールの制御など、スナップショットに対してさらに詳細な情報取得とコントロールが可能になりました。 Amazon Redshift では、以下を実行できるようになりました。 不要なスナップショットを削除できるよう、どのクラスターにも関連付けられていないスナップショットを確認する スナップショットを一括で削除して、不要なスナップショットをすばやく削除し、必要な S3 ストレージを減らす スナップショットスケジューラを使用してクラスターの自動スナップショットスケジュールを制御する。スナップショットスケジュールは、API 経由で、または AWS マネジメントコンソールを使用して、cron スタイ

小ネタです。 Amazon Redshiftのメンテナンスアップデートにて、You can now use the ALTER TABLE command to increase the size of VARCHAR columns.(ALTER TABLEコマンドを使用してVARCHAR列のサイズを増やすことが出来るようになります)というものがありましたので試してみました。 AWS Developer Forums: Amazon Redshift Maintenance (February 20th - March 21st 2019) なお、検証は管理コンソールにて現時点でのクラスタ最新バージョンにアップグレードを行った上で行っています。 コマンド1つでVARCHAR型の桁数定義を変更(増分)可能に 検証用に、簡易ではありますが以下テーブルを用意しました。 $ CREATE TAB

Amazon Redshift テーブルで、バックグラウンドで分析オペレーションが自動で実行され、クエリパフォーマンスが向上し、システムリソースの使用が最適かされるようになりました。 Amazon Redshift の高度なクエリプランナーは、テーブルの統計メタデータを使用して、クエリパフォーマンスを向上させるための最適なクエリ実行プランを選択します。分析オペレーションにより、テーブル統計が生成または更新されます。このアップデートにより、明示的に ANALYZE コマンドを実行する必要がなくなりました。抽出、変換、ロード (ETL) ワークフローの一部として実行した場合、自動分析は最新の統計を持つテーブルをスキップします。同様に、明示的な ANALYZE は、最新のテーブル統計を持つテーブルをスキップします。

実行したクエリで何か問題やパフォーマンスの課題が発生した時に、実行しているクエリの状態や結果を知りたいときがあります。Redshiftではそんな時にクエリのプランや実行の各処理に要した時間を視覚化し、最適化すべき情報が素早く得られる Queries ビューが標準で提供されています。 Queries ビューにできること Queries ビューは、過去24時間（デフォルト）に実行されたクエリが表示されます。Queries ビューの各行が一つのクエリに相当し、最も新しく実行したクエリが一番上の行に表示されます。Queryの番号を選択するとクエリの詳細が表示されます。 一般的なクエリの参照（SELECT、INSERT、UPDATE、DELETE、UNLOAD） VACUUM、ANALYZEの過程で実行されるクエリの参照 実行したSQL、プラン、メトリックスの参照 実行中のクエリの停止 ※ 以前から

はじめに Redshiftには多くのシステムビューがあり、それらを使ってRedshiftの状態を確認することができます。同じSQLをよく実行することがあるので、自分用のメモとして書き溜めていたものをブログにまとめたいと思います。 ログ記録のための STL テーブル - Amazon Redshift システムビューの一覧 - Amazon Redshift システムカタログテーブル - Amazon Redshift SQL一覧 統計情報の鮮度とソートされていない行の割合を確認したい どの程度テーブルに削除マーク付きのレコードが含まれているかを確認したい VACUUMコマンドの進捗を確認したい SQLの開始時間と終了時間を確認したい SQLの開始時間と終了時間を確認したい。(全部入り) 実行中のクエリの進捗を確認したい どの程度ストレージサイズを使っているかを確認したい 分散キー、ソートキ