Improving Amazon Redshift Performance: Our Data Warehouse Story
Credit: pixabay.comIt is challenging to manage an optimized Amazon Redshift cluster. Scaling the cluster to meet your growing storage and computation needs while maintaining optimized performance is a downright daunting task. Bad queries, poor distribution style and sort key selections, stale statistics and row cruft, insufficient resources, and concurrency and queue configuration issues all affec
ã€AWS Redshift】導入å‰ã«çŸ¥ã£ã¦ãŠãã¹ãã“㨠- packpak’s diary
AWS Redshiftã‚’å°Žå…¥ã™ã‚‹å‰ã«çŸ¥ã£ã¦ãŠãã¹ãã€AWS Redshift ã®ç‰¹æ€§ã€é•·æ‰€ã€ä»–所を開発・é‹ç”¨ã—ã¦ããŸä¸ã§è¦æ‰€ã£ã½ã„ã¨ã“ã‚ã‚’ã„ãã¤ã‹Tipsçš„ã«ã¾ã¨ã‚ãŸã€‚ å—é‡ãŒéžå¸¸ã«å¤šãã¦ç”³ã—訳ãªã„ãŒã€å‚考ã«ãªã‚Œã°ã€‚ RDBã«æ¯”ã¹ã¦æœ‰ç”¨ãªã‚±ãƒ¼ã‚¹/苦手ãªã‚±ãƒ¼ã‚¹ 下記ã®ã‚±ãƒ¼ã‚¹ã«åˆè‡´ã™ã‚‹ã€‚ SQL文をベースã¨ã—ãŸã€è¤‡é›‘ã§æ¼”算コストã®é«˜ã„ETL（分æžç”¨é€”用ã®ãƒ‡ãƒ¼ã‚¿åŠ 工処ç†ã®é€šç§°ï¼‰ã®å®Ÿè¡Œ BIツールã®ã‚ˆã†ãªã€3～5列程度ã®åˆ—を利用ã—ãŸå‚照クエリã®å®Ÿè¡Œã€‚ 下記ã®ã‚±ãƒ¼ã‚¹ã¯å‘ã‹ãªã„。 çŸæ™‚é–“ã§éžå¸¸ã«å¤šãã®ã‚¯ã‚¨ãƒªã‚’実行ã™ã‚‹ã‚¢ãƒ—リケーション（1秒ã«5～10クエリãªã©ï¼‰ã®ãƒãƒƒã‚¯ã‚¨ãƒ³ãƒ‰ çŸæ™‚é–“ã§éžå¸¸ã«å¤šãã®Commitを実行ã™ã‚‹ã‚¢ãƒ—リケーション（WebフレームワークãŒå‹æ‰‹ã«ï¼‰ã®ãƒãƒƒã‚¯ã‚¨ãƒ³ãƒ‰ 一度ã«å¤šãã®åˆ—ã‚’å–å¾—ã™ã‚‹ã‚¯ã‚¨ãƒªã‚’発行ã™ã‚‹ã‚¢ãƒ—リケーション（CSV出力ãªã©ï¼‰ã®ãƒãƒƒã‚¯ã‚¨ãƒ³ãƒ‰ 性能ã«ã¤ã„㦠クエリã®æ€§èƒ½ 1ã¤
Redshiftを数百人ã§ä½¿ã†ãŸã‚ã®ã‚³ãƒ„（クラスター構æˆç·¨ï¼‰ — HACK The Nikkei
日経ã§ã¯ã‚¢ã‚¯ã‚»ã‚¹ãƒã‚°ã€æ‰€è¬‚クリックストリームデータを用途ã«åˆã‚ã›ãŸè¤‡æ•°ã®ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã«æ ¼ç´ã—ã€ã‚µãƒ¼ãƒ“ス開発やマーケティングã«æºã‚る社員ãŒè‡ªèº«ã§ãƒ‡ãƒ¼ã‚¿åˆ†æžãŒã§ãるよã†ã€ã‚»ãƒ«ãƒ•ã‚µãƒ¼ãƒ“ス化を進ã‚ã¦ã„ã¾ã™ã€‚ セルフサービス化を進ã‚ã¦ã„る背景ã¨ã—ã¦ã€ãƒ‡ãƒ¼ã‚¿ã®é›†è¨ˆã‚„分æžã®ãƒ‹ãƒ¼ã‚ºã¯æ—¥ã€…増ãˆç¶šã‘る一方ã§ã€ã‚¢ãƒŠãƒªã‚¹ãƒˆã‚„データサイエンティストã®ãƒªã‚½ãƒ¼ã‚¹ã¯ã‚ªãƒ³ãƒ‡ãƒžãƒ³ãƒ‰ã«å¢—ã‚„ã›ãªã„ãŸã‚ã€ã„ã‹ã«ã—ã¦ãƒ‡ãƒ¼ã‚¿ã®ã‚¢ã‚¦ãƒˆãƒ—ットをスケールã•ã›ã‚‹ã‹ã¨ã„ã†èª²é¡ŒãŒã‚ã‚Šã¾ã™ã€‚ã“ã®èª²é¡Œã«å¯¾ã™ã‚‹ã‚½ãƒªãƒ¥ãƒ¼ã‚·ãƒ§ãƒ³ã¨ã—ã¦ã€ãƒ‡ãƒ¼ã‚¿å°‚é–€ãƒãƒ¼ãƒ ã®è¨ç«‹ã‚„オフショアã®ã‚ˆã†ãªäººã®ãƒªã‚½ãƒ¼ã‚¹ã‚’æ‹¡å¼µã™ã‚‹æ–½ç–ã«åŠ ãˆã€ãƒ„ールã®æ•´å‚™ã¨æ•™è‚²ã«ã‚ˆã‚‹ã‚»ãƒ«ãƒ•ã‚µãƒ¼ãƒ“ス化ã«åŠ›ã‚’入れã¦ã„ã¾ã™ã€‚ データã®é›†è¨ˆã‚„分æžã®ã‚»ãƒ«ãƒ•ã‚µãƒ¼ãƒ“ス化ã«ãŠã„ã¦ã€ç‰¹ã«å¤§ããªèª²é¡ŒãŒã‚¯ã‚¨ãƒªãƒ¼ã®è² è·ã§ã™ã€‚ç¾åœ¨ã€ãŠã‚ˆã 200 人㌠BI ツールã«ãƒã‚°ã‚¤ãƒ³ã—㦠Redshift ã§ã‚¯ã‚¨ãƒªãƒ¼ã‚’実行ã§ãる権é™ã‚’ä¿æœ‰
Amazon Redshiftã®ä»•æ§˜ã‚’調ã¹ã¦ã¿ãŸ | フューãƒãƒ£ãƒ¼æŠ€è¡“ブãƒã‚°
クラウド環境ã«ãŠã‘ã‚‹DWHã®é¸æŠžè‚¢ã¨ã—ã¦ã€Redshiftã¯ã‚‚ã¯ã‚„çã—ã„ã‚‚ã®ã§ã¯ãªããªã‚Šã¾ã—ãŸãŒã€å¼Šç¤¾å†…ã®æŽ¡ç”¨å®Ÿç¸¾ã¯ãã‚Œã»ã©å¤šãã¯ã‚ã‚Šã¾ã›ã‚“ã§ã—ãŸã€‚ 本記事ã¯å…ƒã€…ãã®ã‚ˆã†ãªç¤¾å†…å‘ã‘ã«ã€Redshiftã®åŸºæœ¬çš„ãªä»•æ§˜ã‚’ãªã‚‹ã¹ã網羅的ã«ç†è§£ã§ãるよã†ã¾ã¨ã‚ãŸã‚‚ã®ã§ã™ã€‚ ç†è€…ã«ã¤ã„ã¦æ–°å’ã§ãƒ•ãƒ¥ãƒ¼ãƒãƒ£ãƒ¼ã«å…¥ç¤¾ã—ã€ä»Šå¹´ã§8å¹´ç›®ã«ãªã‚Šã¾ã™ã€‚ 入社後ã¯ä¸€è²«ã—ã¦æŠ€è¡“ç•‘ã€ã‚ªãƒ³ãƒ—レミスã®ã‚¤ãƒ³ãƒ•ãƒ©ã«å§‹ã¾ã‚Šã€ç›´è¿‘ã§ã¯ã‚¢ãƒ—リケーションã¾ã§å«ã‚ãŸãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆã®æŠ€è¡“統括を担当ã—ã¦ã„ã¾ã™ã€‚ ç§ã‚‚ã‹ã¤ã¦ã¯ç¤¾å†…有数ã®AWSã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ã‚’è‡ªè² ã—ã¦ã„ã¾ã—ãŸãŒã€æœ€è¿‘ã¯åˆ¥ã®ä»•äº‹ã®ãŸã‚å°‘ã—é ã–ã‹ã£ã¦ãŠã‚Šã€ã‚¯ãƒ©ã‚¦ãƒ‰ã®ä¸–ç•Œã¯æ—¥é€²æœˆæ©ãªã“ã¨ã‚‚ã‚り知è˜ã‚’アップデートã™ã‚‹å¿…è¦ã‚’æ„Ÿã˜ã¦ã„ã¾ã™ã€‚ ※ã“ã®è¨˜äº‹ã®æº–å‚™ä¸ã«ã‚‚Elastic ResizeãŒãƒªãƒªãƒ¼ã‚¹ã•ã‚Œã¾ã—ãŸã€‚ 本記事ã¯ç§ã®ãƒªãƒãƒ“リも兼ãã€ãƒ‰ã‚ュメントã®ã¾ã¨ã‚ã ã‘ã§ãªãã€å®Ÿéš›ã«æ‰‹ã‚’å‹•ã‹ã—ã¦æŒ¯ã‚‹
PowerPoint Presentation
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved. 仲谷 岳志 シニアインフラストラクãƒãƒ£ãƒ¼ã‚¢ãƒ¼ã‚テクト プãƒãƒ•ã‚§ãƒƒã‚·ãƒ§ãƒŠãƒ«ã‚µãƒ¼ãƒ“ス本部 ã‚¢ãƒžã‚¾ãƒ³ã‚¦ã‚§ãƒ–ã‚µãƒ¼ãƒ“ã‚¹ã‚¸ãƒ£ãƒ‘ãƒ³æ ªå¼ä¼šç¤¾ 2-H1-3-14 Amazon Redshift ã®è¨è¨ˆãƒ»é‹ç”¨å¤§åŽŸå‰‡ © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved. 仲谷 岳志（Takeshi Nakatani） Senior Infrastructure Architect, AWS Professional Services ç•¥æ´ â€¢ エンタープライズ分野ã§20å¹´ã®æ¥ç•ŒçµŒé¨“ • ã“ã“10å¹´ã»ã©ã¯ã‚¤ãƒ³ãƒ•ãƒ©ã‚¢ãƒ¼ã‚テクトã¨ã—ã¦è¨è¨ˆï½žãƒªãƒªãƒ¼ã‚¹æ”¯æ´ã«å¾“事 • ç›´è¿‘ã§ã¯Ama
AWS Solutions Architect ブãƒã‚°
Amazon Redshift テーブルè¨è¨ˆè©³ç´°ã‚¬ã‚¤ãƒ‰:Part 3 Compound and Interleaved Sort Keys（Compound 㨠Interleaved ソートã‚ー） 著者Zach Christopherson ã¯Amazon Redshiftãƒãƒ¼ãƒ ã®ã‚·ãƒ‹ã‚¢ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ã§ã™ã€‚ Part 1: Preamble, Prerequisites, and Prioritization（åºæ–‡ã€äº‹å‰æº–å‚™ã€å„ªå…ˆé †ä½ä»˜ã‘） Part 2: Distribution Styles and Distribution Keys（分散スタイルã¨åˆ†æ•£ã‚ー） Part 3: Compound and Interleaved Sort Keys（Compound 㨠Interleaved ソートã‚ー）（本稿） Part 4: Compression Encodings（圧縮
SVL_QUERY_SUMMARY ビューã®ä½¿ç”¨ - Amazon Redshift
select query, elapsed, substring from svl_qlog order by query desc limit 5; substring フィールドã®åˆ‡ã‚Šæ¨ã¦ã‚‰ã‚ŒãŸã‚¯ã‚¨ãƒªãƒ†ã‚ストを調ã¹ã€ã©ã® query 値ãŒã‚¯ã‚¨ãƒªã‚’表ã—ã¦ã„ã‚‹ã‹ã‚’確èªã—ã¾ã™ã€‚クエリを複数回実行ã—ãŸå ´åˆã€query値ãŒå°ã•ã„行㮠elapsed 値を使用ã—ã¾ã™ã€‚ã“ã‚Œã¯ã€ã‚³ãƒ³ãƒ‘イル済ã¿ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã®è¡Œã§ã™ã€‚多ãã®ã‚¯ã‚¨ãƒªã‚’実行ã—ã¦ã„ã‚‹å ´åˆã€ã‚¯ã‚¨ãƒªãŒç¢ºå®Ÿã«å«ã‚られるよã†ã«ã€LIMIT å¥ã«ã‚ˆã‚Šä½¿ç”¨ã•ã‚Œã‚‹å€¤ã‚’大ããã™ã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚ クエリ㮠SVL_QUERY_SUMMARY ã‹ã‚‰è¡Œã‚’é¸æŠžã—ã¾ã™ã€‚çµæžœã‚’ストリームã€ã‚»ã‚°ãƒ¡ãƒ³ãƒˆã€ã‚¹ãƒ†ãƒƒãƒ—é †ã«ä¸¦ã¹æ›¿ãˆã¾ã™ã€‚ select * from svl_query_summary where query = MyQueryID order by stm, seg
ムック「データベース徹底攻略〠- MySQL/Redis/MongoDB/Redshift
最近発売ã•ã‚ŒãŸæŠ€è¡“評論社ã®ãƒ ック「データベース徹底攻略ã€ã«å¯„稿ã—ã¾ã—ãŸã€‚ ã“ã®æœ¬ã¯ã€ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã®ãŸã‚ã®æœ¬ã¨ã„ã†ã“ã¨ã§ã€ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹è¨è¨ˆã€SQLã€MySQLã€Redisã€MongoDBã€Redshiftã¨ã„ã†ä»£è¡¨çš„ãªè¦ç´ 技術ã«ã¤ã„ã¦ã®ã¾ã¨ã‚ã¨ãªã£ã¦ã„ã¾ã™ã€‚å„プãƒãƒ€ã‚¯ãƒˆ(MySQLã€Redisã€MongoDBã€Redshift)ã«ã¤ã„ã¦ã¯ã€ç¾å ´ã§å®Ÿéš›ã«æœ¬æ ¼çš„ã«ä½¿ã‚ã‚Œã¦ã„る方々ã«ã‚ˆã‚‹è¨˜äº‹ãªã®ã§å¤§ã„ã«å‚考ã«ãªã‚‹ã¨æ€ã„ã¾ã™ã€‚ ç§ã¯å†’é ã®ã¾ã¨ã‚記事を寄稿ã—ã¾ã—ãŸã€‚詳細ã¯ãœã²ãŠæ‰‹ã«å–ã£ã¦èªã‚“ã§ãã ã•ã‚Œã°ã¨æ€ã„ã¾ã™ã€‚ã“ã“ã§ã‚‚自分ãŒå„技術をç¾æ™‚点ã§ã©ã®ã‚ˆã†ã«ã¨ã‚‰ãˆã¦ã„ã‚‹ã‹ã€æœ¬ã§ã¯ã„ã•ã•ã‹æ›¸ãã¥ã‚‰ã„内容ã«ã¤ã„ã¦ã€æœ€è¿‘æµè¡Œã‚Šã®è¨€è‘‰ã§ã‚‚ã‚ã‚‹ã€ŒæŠ€è¡“çš„è² å‚µã€ã¨ã„ã†è¦³ç‚¹ã‚‚è¸ã¾ãˆã¦æ›¸ã„ã¦ãŠã“ã†ã¨æ€ã„ã¾ã™ã€‚ ・MySQL (RDBMS) ç§ã¯MySQLã®ä¸ã®äººã§ã‚‚ã‚ã‚Šã¾ã—ãŸã—ã€ã“ã‚Œã¾ã§è‡³ã‚‹ã¨ã“ã‚ã§è©±ã—ã¦ããŸã®ã§çœç•¥ã—ã¾ã™
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
{{#tags}}- {{label}}
{{/tags}}