こんにちは！DA事業本部の石川です！ 本記事はAWS re:Invent 2019のセッションレポートとなります。先日（12/3）のキーノートで発表のあったRedshiftの次世代ノードタイプRA3とAQUA(Advanced Query Accelerator)について、急遽追加された最新セッションのレポートです。今日現在、次世代インスタンスRA3 と AQUA(Advanced Query Accelerator)に関する詳細情報はこのセッションの内容以外にないため、まめに書いてみました。 概要 Amazon Redshift continues to change the scale and economics of data warehousing. Learn more about announcements from the keynote and how they enabl

コンニチハ、千葉です。 RedshiftのルーティングをVPCルーティングにて制御できるようになってました。以前は、RedshiftのルーティングはVPCルートテーブルでは制御できませんでした。 例えば、Redshiftをプライベートサブネットに配置、インターネットに接続できない環境でも、S3とインターネット経由にて通信できました。また、VPCエンドポイントを設定しても反映されずに、インターネット経由での通信となっていました。 今回のアップデートは、「Enhanced VPC Routing」という設定項目が追加され、こちらを有効にすることでVPCにて設定しているルートテーブルに従った通信を行うようになります。このパラメータは、新規作成時にも、既存のクラスタに対しても設定できます。 注意事項 注意いただきたいのですが、Enhanced VPC Routingを有効にする前にルートテーブルが

Amazon Redshift 新機能：『Elastic Resize』で短時間でのノード数変更(リサイズ)が可能になりました 日本時間の2018年11月16日、下記ツイートにありますようにAmazon Redshiftにて『Elastic Resize』なる機能・仕組みが新たに導入されました。 Today's #AWSLaunches! 3/5 ⭐ AWS Cost & Usage Reports add Athena integration, Apache Parquet Output & Report Overwrite ⭐ Amazon Redshift announces Elastic resize, so you can add & remove nodes in minuteshttps://t.co/r8ekyCt1bR pic.twitter.com/6469grjiY

1. Amazon Redshiftの ご紹介 2013.04.10 アマゾンデータサービスジャパン 株式会社 © 2013 Amazon.com, Inc. and its affiliates. All rights reserved. May not be copied, modified or distributed in whole or in part without the express consent of Amazon.com, Inc. 2. クラウドコンピューティングとは？ 初期投資が不要 低額な利用価格 実際の使用分 のみ支払い セルフサービスな スケールアップ、 ビジネススピード インフラ ダウンが容易 の改善 Deploy © 2013 Amazon.com, Inc. and its affiliates. All rights reserved. May

2. 本日の登壇者紹介  山田 悦明 ( やまだ えつあき ) 株式会社リクルートテクノロジーズ ITソリューション部 ビッグデータグループ ・2008年リクルート入社。 ・広告配信サーバ導入や顧客企業の集客最適化などに従事。 ・『じゃらん』『ホットペッパービューティー』の会員分析 ・Hadoopを活用した『SUUMO』の集客モニタリング、アトリビューション 分析など 最近ではアクセスログを解析する独自のソリューション開発・展開を推進。 (C) Recruit Technologies Co.,Ltd. All rights reserved. 1 3. 本日のアジェンダ 1. はじめに～リクルートとリクルートテクノロジーズのご紹介～ 2. ビッグデータグループの取り組み 3. ビッグデータ解析におけるデータ基盤環境について 4. Redshift利用事例 1. 実装編 2. サービス活

今回のre:Inventに参加して、この勢いは止められないとつくづく感じます。オンプレミスとAWSのすり合わせもかなり進んでおり、スタートアップからはAWSをベースにした新たなクラウドソリューションが次々と出ています。ほかのクラウドベンダとの差は縮まるどころか、拡がる一方でしょうね。 既存のRDBMSからRedshiftにJOIN ─⁠─前回お話を伺ったときはRedshiftが出てまもないころでしたが、その後、Hapyrusのビジネスも含め、Redsiftの市場における認知度はどれくらい高まってきた感じですか。 藤川：ものすごく応用範囲が拡がってきていると実感します。現在AWSが公開している事例から紹介すると、英BBCがグローバルで展開するコンテンツの分析をRedshift経由でオンデマンドで行うなど、大規模環境での利用が増えてきています。米国では金融やアドテクの事例が多いですね。とくにト

まとめ RedShift移行後 RedShiftは 構築簡単、 開発簡単、 運用簡単、 そして、パワフルで実際導入していいことのほうが多いです。 大概の集計、分析はビッグデータに対して簡単なクエリを実行することで解決するかと思います。 そのような用途であれば絶対に効果を発揮してくれます。 もし、特に用途を決めていなくてもとりあえずログをS3にUploadして、RedShiftに取り込んでおくことだけ 始めても、何かいい意味で気付きがあるのではと思います。 Redshiftの世界へ（※注：背景全く関係ないす） 困った点、悪い点 安いんだけど、高い

目次 はじめに 環境構築 Amazon Redshift環境準備 Amazon Redshiftクラスタ作成 PostgreSQLクライアントツール接続確認 解析データの投入 Tableau Desktop経由で接続確認 まとめ はじめに 高速なデータ分析とわかりやすいビジネスダッシュボードを実現するビジネスインテリジェンス（BI）ソフトウェア | タブローソフトウェア Amazon Redshift （ペタバイト級の データウェアハウス サービス） | アマゾン ウェブ サービス（AWS 日本語） Amazon Redshift 以下エントリではAWS環境内のMySQLにTableau Desktopからの接続を試みるエントリを詳解しましたが、その第2弾としてVPC環境に構築したRedshiftにTableau Desktopからの接続を試みる内容を当エントリで詳しく見て行きたいと思いま

データベース設計を考える上で、あなたが下さなければならない重要な決定があります。その決定はクエリパフォーマンス全体に影響を与える可能性があります。これら設計に関する決定はまた、I/Oオペレーションの数を削減したりクエリを処理するのに必要なメモリを最小化する事でクエリのパフォーマンスに影響を与えるストレージ要件に大きな影響を及ぼします。 テーブル作成の際にクエリのパフォーマンスに最も大きな影響を与えるであろう決定次項は以下のとおりです。 最善のソートキー(sort key)を選択する 最善の分散キー(distribution key)を選択する 最善の圧縮戦略(compression strategy)を選択する 制約を定義する あなたが下す決定は、データベースが行なっている作業の種類に依存して来ます。全ての状況に効果的な『最高のソートキー』は無いのです。 このセクションでは最も重要な設計上

前回は、Amazon Redshiftの起動から、ローカルマシンでAmazon Redshiftクラスタへ接続するまでの説明を行いました。今回は、Amazon Redshiftを実際に運用する上で重要となるデータのロードを中心に、例を交えて説明していきます。なお、チュートリアルの中で利用するデータはAmazon Redshift Getting Started Guideで紹介されているデータを利用しています。 本連載のチュートリアルは、AWSアカウント、起動中のAmazon Redshiftクラスタ、また接続するクライアントツールがすでに準備されていることを前提としています（※⁠）⁠。実際に試される方は、前回の記事を参考に環境準備をしておいてください。 ※） Hapyrusでは、RedshiftとFlyDataをお試しいただけるSandbox環境を無料で提供しています。また、ブラウザ上か

お盆真っ盛り＆暑さ最高潮＆夏休みムード漂う今日この頃ですが皆様いかがお過ごしでしょうか。 最近はAmazon Redshiftに関して色々調査実践等を行なっているのですが、Amazon Redshiftで収集したビッグデータを扱う『分析ツール』もまた欠かせないものであると思います。今回、BI(ビジネス・インテリジェンス)ツールとして『Tableau』という企業の製品が良い感じですよ、という情報を得たのでトライアル版を導入し、動作確認やRedshiftとの連携等を試してみました。 目次 Tableau Softwareとは Tableau Softwareの製品一覧 Tableau Desktopを試しに使ってみる Tableau Desktop: オンライン無料入門トレーニング Tableau製品に関する各種ドキュメント Amazon Redshiftとの連携 まとめ Tableau So

DB開発者ガイドと合わせて、『管理ガイド』(Management Guide)の方も攻めて行こうと思います。同様にTOPのページから。こちらのドキュメントでは管理の側面から、どういう事が出来るのか、どういう手段(GUI、SDK等)で出来るのか、と言った観点から解説を行なっています。 Amazon Redshiftとは何か？ Amazon Redshiftクラスタ管理ガイドへようこそ。Amazon Redshiftは、クラウド内で完全に管理された、ペタバイト規模のデータウェアハウスサービスです。 あなたが普段使っているものと同じ、SQLベースのツールやビジネス・インテリジェンス(BI)アプリケーションを使って、Amazon Redshiftは事実上、どんなサイズのデータ分析であっても高速なクエリパフォーマンスを提供します。AWS管理コンソールで数回クリックするだけで、あなたは数百ギガバイトの

『Amazon Redshiftを始めてみよう』の後編です。前編コンテンツはこちら。 Amazon Redshiftを始めてみよう(入門ガイド翻訳＆実践：前編) (クラスタ作成・接続設定等) Amazon Redshiftを始めてみよう(入門ガイド翻訳＆実践：後編) (クラスタ接続・各種操作) また、Redshiftは利用料金もお高めなのでこちらの注意書きも再掲。 あなたが起動しようとしているクラスタは、Sandbox内でお試し的に動かせるものではなく、 実際に稼働し、終了させるまでAmazon Redshiftのクラスタ利用料金が発生し続けます。 ここに記載されている実践作業が終了したら、費用を最小限に抑える為に速やかに クラスタを終了・削除するようにしてください。 なお進行をより簡易にさせる為に、ここでは『VPCの外側に(VPCを利用せず)クラスタを作成した場合』で進める事にします。

今年6月のAWS Summit Tokyo 2013で東京リージョンでも使えるようになったRedshift。その流れを受けて、国内でもより一層注目度が高まっている今日この頃皆様如何お過ごしでしょうか。 そんなRedshiftについて、この機会に自分も触れてみようと思います。私自身、これまで超大規模データやデータウェアハウスに関しては触れて来ておらず、この分野に関しては専門的な知識は有してはいませんが、そんな感じのスタートでRedshiftの巨大な山を登り始め、自分自身徐々に理解を深めていければ、またエントリを御覧の皆様にも同様に読み進めて行く事で理解を深めていって頂ければ幸いです。よろしくお願いします。 ※文字も画像も多目な分、ひとまとめにするとボリューム的にスクロールバーの長さがエラい事になりそうなので前後編に分けてお届けします。:-) 目次 RedShiftとは はじめに / Gett

Amazon Redshiftデータウェアハウスは、エンタープライズクラスのリレーショナル・データベースクエリと管理システムです。 Amazon Redshiftはビジネス・インテリジェンス(BI)、レポート、データ、分析ツール等を含む多くの種類・タイプのアプリケーションを用いてのクライアント接続をサポートしています。分析クエリを実行する際は、取得や比較、及び最終結果を生成する為に複数段階操作で大量のデータを評価しています。 Amazon Redshiftは、効率的なストレージと超並列処理、柱状データストレージ、及び非常に効率的な、ターゲットを絞ったデータの圧縮符号化方式の組み合わせにより、最適なクエリのパフォーマンスを実現します。このセクションでは、Amazon Redshiftのシステムアーキテクチャの概要を提示し、データベースの設計、パフォーマンスを最大化するためのアーキテクチャを活

第5回Amazon Redshiftのアーキテクチャ ～スケーリングとリストアを試してみよう 宮崎真，藤川幸一 2013-06-10

はじめに Amazon Redshiftは、Amazon Web Services（AWS）が提供するデータウェアハウス（DWH）サービスで、2013年2月に正式リリースされ、同6月4日には東京リージョンでも利用可能になりました。既存のDWHと比較しても安価で、PostgreSQLベースで容易に高速なデータ分析が可能であることなどが知られており、注目も高まっています。 ところが、日本国内では「使ってみた」という情報は非常に少ないです。幸運にも筆者は、限定プレビューの段階からRedshiftに触れる機会に恵まれました。そこで、今回は「こんな使い方をしてみました」「こんなところでつまずいた」といったことを中心に紹介したいと思います。 なお、本記事は限定プレビュー～サービス開始当初の米国東部リージョンでの使用結果を元に執筆しており、当時のAPIバージョンは2012-12-01です。東京リージョン