Expanding JSON arrays to rows with SQL on RedShift
Amazon's RedShift is a really neat product that solves a lot of our problems at work. However, its SQL dialect has some limitations when compared to Hive or PostgresSQL. I hit a limit when I needed table-generating functions but found a work-around. Some of the data we store in RedShift contains JSON arrays. However, when running analytical queries, there is no out-of-the box way to join on "neste
Redshiftã¯ãƒ“ューã®å‚照先テーブルをrenameã™ã‚‹ã¨è¿½è·¡ã™ã‚‹ - é’木ブãƒã‚°
ã¾ãŸã‚¿ã‚¤ãƒˆãƒ«ã ã‘ã§è¨€ã„ãŸã„ã“ã¨çµ‚ã‚ã£ãŸâ€¦ => create table t (x int); CREATE TABLE => insert into t values (777); INSERT 0 1 => create view v as select * from t; CREATE VIEW => alter table t rename to t2; ALTER TABLE => select * from v; x ----- 777 (1 row) ã“ã®ä»•æ§˜ã€ä¾¿åˆ©ãªã‚ˆã†ã§è¶…ä¸ä¾¿â€¦â€¦ã€‚ drop - create ã§ä½œã‚Šç›´ã™æ–¹æ³•ã¨ã‚ã£ã¡ã‚ƒç›¸æ€§æ‚ªã„。
Amazon Redshift ã®ãƒ†ãƒ¼ãƒ–ルãƒãƒƒã‚¯ã‚’ç†è§£ã™ã‚‹ | DevelopersIO
アプリケーション/データベースエンジニアã§ã‚ã‚Œã°ã€ä¸€åº¦ã¯DeadLockã¨ã„ã†å¿Œã¾ã‚ã—ã„出æ¥äº‹ã«éé‡ã—ãŸã“ã¨ãŒã‚ã‚‹ã“ã¨ã§ã—ょã†ã€‚Redshiftã®ãƒãƒƒã‚¯ã«ã¤ã„ã¦ã¯ã‚ã¾ã‚Šè©³ç´°ãªä»•æ§˜ãŒå…¬é–‹ã•ã‚Œã¦ã„ã¾ã›ã‚“ãŒã€ãƒãƒƒã‚¯ã‚„デットãƒãƒƒã‚¯ã®å‹•ä½œã«ã¤ã„ã¦æ¤œè¨¼ã—ãŸçµæžœã«ã¤ã„ã¦å ±å‘Šã—ã¾ã™ã€‚ トランザクション分離レベルã¯ã€ã€ŒSERIALIZABLE〠大é‡ãƒ‡ãƒ¼ã‚¿ã®ãƒ‡ãƒ¼ã‚¿ã®ãƒãƒ¼ãƒ‰ï¼ˆLOAD）ã¨å‚照（SELECT）ã«æœ€é©åŒ–ã•ã‚ŒãŸRDBã¨ã„ãˆã¾ã™ã€‚ãã®ã‚ˆã†ãªãƒ¦ãƒ¼ã‚¹ã‚±ãƒ¼ã‚¹ã‚’想定ã—ã¦ã€ãƒˆãƒ©ãƒ³ã‚¶ã‚¯ã‚·ãƒ§ãƒ³ã‚’開始（BEGIN）ã™ã‚‹ã¨ãã®ãƒ‡ãƒ•ã‚©ãƒ«ãƒˆã®ãƒˆãƒ©ãƒ³ã‚¶ã‚¯ã‚·ãƒ§ãƒ³éš”離レベルãŒã€ã€ŒSERIALIZABLE〠ã«è¨è¨ˆã•ã‚Œã¦ã„ã‚‹ã®ã§ã¯ãªã„ã‹ã¨è€ƒãˆã¦ã„ã¾ã™ã€‚「SERIALIZABLE〠ãªã®ã§ã€ãƒ‡ãƒ•ã‚©ãƒ«ãƒˆå‹•ä½œã§ã¯ã€ãƒ€ãƒ¼ãƒ†ã‚£ãƒªãƒ¼ãƒ‰ã€ãƒ•ã‚¡ã‚¸ãƒ¼ãƒªãƒ¼ãƒ‰ã€ãƒ•ã‚¡ãƒ³ãƒˆãƒ リード ã¯ç™ºç”Ÿã—ã¾ã›ã‚“。 BEGIN トランザクション分離レベルã«ã¤ã„ã¦æ¥µåŠ›åˆ†ã‹ã‚Š
ã€AWS】Redshiftã®åˆ†æ•£ã‚ーã¨ã‚½ãƒ¼ãƒˆã‚ー - TASK NOTES
Redshiftã®ãƒ‘フォーマンスã§é‡è¦ã«ãªã‚‹åˆ†æ•£ã‚ーã¨ã‚½ãƒ¼ãƒˆã‚ーã«ã¤ã„ã¦ã¾ã¨ã‚ã¾ã—ãŸã€‚ 分散ã‚ー（DISTKEY） テーブルã«ãƒ‡ãƒ¼ã‚¿ã‚’ãƒãƒ¼ãƒ‰ã™ã‚‹ã¨ã€ãã®ãƒ†ãƒ¼ãƒ–ルã®åˆ†æ•£ã‚¹ã‚¿ã‚¤ãƒ«ã«å¾“ã£ã¦ã€ãƒ†ãƒ¼ãƒ–ルã®è¡ŒãŒå„ノードスライスã«åˆ†æ•£ã•ã‚Œã¾ã™ã€‚Redshift ã§ã¯1ノードã®ä¸ã§å®Ÿéš›ã«å‡¦ç†ã‚’è¡Œã†ãƒ—ãƒã‚»ã‚¹ãŒè¤‡æ•°å‹•ã„ã¦ãŠã‚Šã€ã“ã®ãƒ—ãƒã‚»ã‚¹ã‚’ノードスライスã¨ã„ã„ã¾ã™ã€‚並列処ç†ã®å˜ä½ã¯ãƒŽãƒ¼ãƒ‰ã§ã¯ãªãノードスライスå˜ä½ã§ã™ã€‚スライスã®æ•°ã¯ã€æ¬¡ã®ã‚ˆã†ã«ãƒŽãƒ¼ãƒ‰ä¸Šã®ãƒ—ãƒã‚»ãƒƒã‚µã‚³ã‚¢ã®æ•°ã¨åŒã˜ã«ãªã‚Šã¾ã™ã€‚ å‡ç‰åˆ†æ•£ å‡ç‰åˆ†æ•£ã¯ãƒ‡ãƒ•ã‚©ãƒ«ãƒˆã®åˆ†æ•£ã‚¹ã‚¿ã‚¤ãƒ«ã§ã™ã€‚リーダーノードã¯ã€ç‰¹å®šã®åˆ—ã®å€¤ã«å«ã¾ã‚Œã¦ã„る値ã«ã‹ã‹ã‚らãšã€ãƒ©ã‚¦ãƒ³ãƒ‰ãƒãƒ“ン方å¼ã«ã‚ˆã£ã¦è¤‡æ•°ã®ã‚¹ãƒ©ã‚¤ã‚¹é–“ã§è¡Œã‚’分散ã•ã›ã¾ã™ã€‚例ãˆã° 8スライスã®ãƒ†ãƒ¼ãƒ–ル㫠8è¡Œ insert ã—ãŸå ´åˆã€å„ノードスライスã¸é †ç•ªã« 1è¡Œãšã¤é…布ã•ã‚Œã¾ã™ã€‚å‡ç‰åˆ†æ•£ã¯ã€ãƒ†ãƒ¼ãƒ–ルãŒçµåˆã«é–¢ä¸Žã—ã¦ã„ãªã„
Amazon Redshift便利ツール『amazon-redshift-utilsã€ã®ä¾¿åˆ©SQLスクリプト紹介(AdminScriptsç·¨) ｜ DevelopersIO
Amazon Redshiftã§ã¯æ—¥ã€…ã®ä½œæ¥ã‚’è¡Œã†ä¸Šã§æ§˜ã€…ãªæƒ…å ±ã‚’å¿…è¦ã¨ã—ã€ãã®éŽç¨‹ã§ã€Žã“ã†ã„ã†æƒ…å ±ãŒæ¬²ã—ã„ã€ã¨ã„ã†å±€é¢ãŒå¤šã€…ã‚ã‚Šã¾ã™ã€‚当ブãƒã‚°ã§ã‚‚é©å®œã€Žä¾¿åˆ©ç³»SQLã€ã¨ã—ã¦å¿…è¦ãªæƒ…å ±ã‚’å–å¾—ã™ã‚‹ç‚ºã®SQLã‚’ã”紹介ã—ã¦æ¥ã¾ã—ãŸãŒã€ä»¥ä¸‹ã®GitHub上ã§å±•é–‹ã•ã‚Œã¦ã„ã‚‹å„種スクリプトãŒã¨ã¦ã‚‚有用ãã†ã§ã—ãŸã®ã§2回ã«åˆ†ã‘ã¦ä¸èº«ã‚’見ã¦ã¿ãŸã„ã¨æ€ã„ã¾ã™ã€‚当エントリã¯ã€Žç®¡ç†ç³»ã‚¹ã‚¯ãƒªãƒ—ト(AdminScripts)ã€ã«é–¢ã™ã‚‹å†…容ã¨ãªã‚Šã¾ã™ã€‚ awslabs/amazon-redshift-utils · GitHub amazon-redshift-utils/src/AdminScripts at master · awslabs/amazon-redshift-utils · GitHub 目次 commit_stats.sql current_session_info.sql filter_used
Amazon Redshift ã®æ¦‚è¦ - Amazon Redshift
Amazon Redshift データベースデベãƒãƒƒãƒ‘ーガイドã«ã‚ˆã†ã“ã。ã“ã®ã‚¬ã‚¤ãƒ‰ã§ã¯ã€Amazon Redshift を使用ã—ã¦ãƒ‡ãƒ¼ã‚¿ã‚¦ã‚§ã‚¢ãƒã‚¦ã‚¹ã‚’作æˆãŠã‚ˆã³ç®¡ç†ã™ã‚‹æ–¹æ³•ã‚’ç†è§£ã™ã‚‹ã“ã¨ã«é‡ç‚¹ã‚’ç½®ã„ã¦ã„ã¾ã™ã€‚ã“ã®ã‚¬ã‚¤ãƒ‰ã¯ã€ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã«å¯¾ã—ã¦è¨è¨ˆè€…ã€ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢é–‹ç™ºè€…ã€ã¾ãŸã¯ç®¡ç†è€…ã¨ã—ã¦ä½œæ¥ã™ã‚‹æ–¹ã‚’対象ã¨ã—ã¦ã€ãƒ‡ãƒ¼ã‚¿ã‚¦ã‚§ã‚¢ãƒã‚¦ã‚¹ã®è¨è¨ˆã€æ§‹ç¯‰ã€ã‚¯ã‚¨ãƒªã€ãŠã‚ˆã³ä¿å®ˆã«å¿…è¦ã¨ãªã‚‹æƒ…å ±ã‚’ç¤ºã—ã¦ã„ã¾ã™ã€‚ Amazon Redshift ã¯ã€ クラウド内ã§ã®ãƒ•ãƒ«ãƒžãƒãƒ¼ã‚¸ãƒ‰åž‹ã€ãƒšã‚¿ãƒã‚¤ãƒˆè¦æ¨¡ã®ãƒ‡ãƒ¼ã‚¿ã‚¦ã‚§ã‚¢ãƒã‚¦ã‚¹ã‚µãƒ¼ãƒ“スã§ã™ã€‚Amazon Redshift Serverless を使用ã™ã‚‹ã¨ã€ãƒ—ãƒãƒ“ジョニングã•ã‚ŒãŸãƒ‡ãƒ¼ã‚¿ã‚¦ã‚§ã‚¢ãƒã‚¦ã‚¹ã®é€šå¸¸ã®è¨å®šãŒãªãã¦ã‚‚ã€ãƒ‡ãƒ¼ã‚¿ã«ã‚¢ã‚¯ã‚»ã‚¹ã—ã¦åˆ†æžã™ã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚リソースã¯è‡ªå‹•çš„ã«ãƒ—ãƒãƒ“ジョニングã•ã‚Œã¦ã€ãƒ‡ãƒ¼ã‚¿ã‚¦ã‚§ã‚¢ãƒã‚¦ã‚¹å®¹é‡ã¯ã‚¤ãƒ³ãƒ†ãƒªã‚¸ã‚§ãƒ³ãƒˆã«ã‚¹ã‚±ãƒ¼ãƒªãƒ³ã‚°ã•ã‚Œã€è¦æ±‚ãŒ
Amazon Redshiftã§è‰¯ã使ã„ãã†ãªä¾¿åˆ©ç³»SQLã‚’ã¾ã¨ã‚ã¦ã¿ãŸ | DevelopersIO
Redshiftã§è‰²ã€…環境構築や調査を進ã‚ã¦è¡Œãã¨ã€å‰²ã¨ã¡ã‚‡ã„ã¡ã‚‡ã„良ã使ã†SQLç‰ã‚‚出ã¦æ¥ã¾ã™ã€‚ãã“ã§ã“ã®ã‚¨ãƒ³ãƒˆãƒªã§ã¯ã€æ™®æ®µä½¿ã£ã¦ã„る便利系SQLã€éƒ½åº¦ã‚¢ã‚¯ã‚»ã‚¹ã—ã¦ã¯ã‚³ãƒ”ペã—ã¦ä½¿ã£ã¦ã‚‹ã‚ˆã†ãªSQLã€æ›´ã«ã¯ãれらã«ã¡ã‚‡ã£ã¨ä¸€æ‰‹é–“åŠ ãˆãŸSQLç‰ã‚’集約ã—一覧ã¨ã—ã¦ã¿ã‚‹äº‹ã«ã—ã¾ã—ãŸã€‚ å¿…é ˆãªã‚‚ã®ã€ã¾ãŸã€Žã“れも使ãˆã‚‹ãã€ã¨ã„ã†ã‚ˆã†ãªã‚‚ã®ã«ã¤ã„ã¦ã¯é©å®œè¿½åŠ æ›´æ–°ã‚’è¡Œã£ã¦ã„ã“ã†ã¨æ€ã£ã¦ã¾ã™ã®ã§ã€ã‚ªã‚¹ã‚¹ãƒ¡ã®SQLæ–‡ãŒã‚ã‚Œã°æ˜¯éžæ•™ãˆã¦é ‚ã‘ã‚‹ã¨å¹¸ã„ã§ã™ã€‚ 目次 S3ã‹ã‚‰ã®COPY処ç†ã‚¨ãƒ©ãƒ¼ã«é–¢ã™ã‚‹ãƒã‚°ã‚’確èªã™ã‚‹ COPY処ç†æ™‚ã«å‡ºåŠ›ã•ã›ã‚‹ã‚¨ãƒ©ãƒ¼ä»¶æ•°é‡ã‚’制御ã™ã‚‹ 指定テーブルã®ãƒ†ãƒ¼ãƒ–ル定義を確èªã™ã‚‹(type1:psqlコマンドã§ç°¡æ˜“表示) 指定テーブルã®ãƒ†ãƒ¼ãƒ–ル定義を確èªã™ã‚‹(type2:distkey,sortkeyç‰ã‚‚表示) 指定テーブルã®ãƒ†ãƒ¼ãƒ–ル定義を確èªã™ã‚‹(type3:コメント文も併ã›ã¦è¡¨ç¤º) テー
Amazon Redshift DB開発者ガイド – クエリパフォーマンスãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°(1).実行計画ã®åˆ†æž | DevelopersIO
Amazon Redshift DB開発者ガイド – クエリパフォーマンスãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°(1).実行計画ã®åˆ†æž å‹¢ã„ä½™ã£ã¦ã—ã¾ã„本日3本目ã®ã‚¨ãƒ³ãƒˆãƒªæŠ•ä¸‹ã¨ãªã£ã¦ã—ã¾ã„ã¾ã—ãŸw Amazon Redshift DB開発者ガイドã€å½“エントリã¯ãƒ‡ãƒ¼ã‚¿ã®ãƒãƒ¼ãƒ‰å‡¦ç†ã‹ã‚‰é›¢ã‚Œã¦ã€Žå®Ÿè¡Œè¨ˆç”»ã®åˆ†æžã€ã¨ã„ã†ãƒ†ãƒ¼ãƒžã«ã¤ã„ã¦ã€‚掘り下ã’ã¦è¡Œãã¾ã™ã€‚ 目次 実行計画ã®åˆ†æž シンプルãªEXPLAINã®å®Ÿè¡Œä¾‹ EXPLAINオペレータ Joinã®ä¾‹ システムビューã«å¯¾ã—ã¦ã‚¯ã‚¨ãƒªãƒ—ランをマッピング 実行計画ã®åˆ†æž プãƒã‚»ã‚¹ã«ç•°å¸¸ã«é•·ã„時間ãŒæŽ›ã‹ã‚‹å ´åˆã¯ã€å®Ÿè¡Œè¨ˆç”»ã‚’調ã¹ã‚‹äº‹ã«ã‚ˆã£ã¦ãã®æ€§èƒ½ã‚’å‘上出æ¥ã‚‹æ©Ÿä¼šã‚’発見ã™ã‚‹äº‹ãŒå‡ºæ¥ã‚‹ã‹ã‚‚知れã¾ã›ã‚“。ã“ã®ã‚»ã‚¯ã‚·ãƒ§ãƒ³ã§ã¯ã€Amazon Redshiftã®ã‚¯ã‚¨ãƒªã‚’最é©åŒ–ã™ã‚‹æ©Ÿä¼šã‚’見ã¤ã‘る為ã«ã€ã©ã®ã‚ˆã†ã«å®Ÿè¡Œè¨ˆç”»ã‚’表示ã—ã€åˆ©ç”¨ã—ã¦ã„ãã‹ã«ã¤ã„ã¦èª¬æ˜Žã—ã¾ã™ã€‚ 実行計画を作æˆã™ã‚‹ã«ã¯ã€ä»¥ä¸‹ä¾‹ã®ã‚ˆ
Amazon Redshiftã®UNLOADコマンド: PARALLELオプションã§å‡ºåŠ›ãƒ•ã‚¡ã‚¤ãƒ«ã‚’一括化 | DevelopersIO
先日5/6ã«ã€Amazon Redshiftã®UNLOADコマンドã«é–¢ã™ã‚‹æ©Ÿèƒ½æ”¹å–„ãŒç™ºè¡¨ã•ã‚Œã¾ã—ãŸã€‚UNLOADコマンドã¨ã¯ã€Redshiftクラスタ内ã®ãƒ†ãƒ¼ãƒ–ルã«æ ¼ç´ã•ã‚Œã¦ã„るレコードをエクスãƒãƒ¼ãƒˆã™ã‚‹éš›ã«ç”¨ã„るコマンドã«ãªã‚Šã¾ã™ã€‚ Release: Amazon Redshift on 2014-05-06 : Release Notes : Amazon Web Services UNLOAD - Amazon Redshift ã“ã®ã‚¨ãƒ³ãƒˆãƒªã§ã¯ã€ãã®UNLOADコマンドã«è¿½åŠ ã•ã‚ŒãŸã‚ªãƒ—ション機能『PARALLELã€ã«ã¤ã„ã¦ãã®å†…容を確èªã—ã¦ã¿ãŸã„ã¨æ€ã„ã¾ã™ã€‚ UNLOADコマンドã§PARALLEL OFFコマンドを使ã†äº‹ã«ã‚ˆã£ã¦å‡ºåŠ›ãƒ•ã‚¡ã‚¤ãƒ«ã‚’1ã¤ã«ã¾ã¨ã‚る事ãŒå‡ºæ¥ã‚‹ã‚ˆã†ã«ãªã£ãŸ You can unload table data serially to a single file
Amazon Redshiftã«ã‚ˆã‚‹ãƒ“ッグデータ分æžç’°å¢ƒã®æ§‹ç¯‰æ‰‹é †
CodeZine編集部ã§ã¯ã€ç¾å ´ã§æ´»èºã™ã‚‹ãƒ‡ãƒ™ãƒãƒƒãƒ‘ーをスターã«ã™ã‚‹ãŸã‚ã®ã‚«ãƒ³ãƒ•ã‚¡ãƒ¬ãƒ³ã‚¹ã€ŒDevelopers Summitã€ã‚„ã€ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ã®ç”Ÿãã–ã¾ã‚’ブーストã™ã‚‹ãŸã‚ã®ã‚¤ãƒ™ãƒ³ãƒˆã€ŒDevelopers Boostã€ãªã©ã€ã•ã¾ã–ã¾ãªã‚«ãƒ³ãƒ•ã‚¡ãƒ¬ãƒ³ã‚¹ã‚’ä¼ç”»ãƒ»é‹å–¶ã—ã¦ã„ã¾ã™ã€‚
ã™ã‹ã„らーããŒRedshift＋Tableauã§å®Ÿç¾ã—ãŸã€Œå£²ã‚‹ãŸã‚ã®IT〠(1/2)
日本を代表ã™ã‚‹å¤–食産æ¥ä¼æ¥ã§ã‚る「ã™ã‹ã„らーãグループã€ã¯ã€æ•°å億件ã«ãŠã‚ˆã¶POSデータをリアルタイムã§åˆ†æžã™ã‚‹åŸºç›¤ã‚’Amazon Web Services （以下ã€AWS）ã®ãƒ‡ãƒ¼ã‚¿ã‚¦ã‚§ã‚¢ãƒã‚¦ã‚¹ï¼ˆDWH）サービスã§ã‚ã‚‹Redshift上ã«æ§‹ç¯‰ã—ãŸã€‚ã‚らゆる点ã§åž‹ç ´ã‚Šãªäº‹ä¾‹ã®è£å´ã«ã¤ã„ã¦ã€ãƒžãƒ¼ã‚±ãƒ†ã‚£ãƒ³ã‚°éƒ¨ã¨æƒ…å ±ã‚·ã‚¹ãƒ†ãƒ éƒ¨ã®2人ã«èžã„ãŸã€‚ æ–½ç–ã®å¤‰æ›´ã§ã‚ャンペーンã®åˆ©ç›ŠãŒ4å€å¢— 「ガストã€ã‚„「ãƒãƒ¼ãƒŸãƒ¤ãƒ³ã€ã€Œã‚¸ãƒ§ãƒŠã‚µãƒ³ã€ãªã©å¹´é–“4億人ãŒåˆ©ç”¨ã™ã‚‹ãƒ•ã‚¡ãƒŸãƒªãƒ¼ãƒ¬ã‚¹ãƒˆãƒ©ãƒ³ã‚’手ãŒã‘ã‚‹ã™ã‹ã„らーãグループ。日本国内ã«3000店舗を展開ã™ã‚‹åŒç¤¾ãŒã‚¯ãƒ©ã‚¦ãƒ‰ãƒ™ãƒ¼ã‚¹ã®ãƒ‡ãƒ¼ã‚¿åˆ†æžåŸºç›¤ã‚’構築ã—ãŸã¨ã„ã†ãƒ‹ãƒ¥ãƒ¼ã‚¹ã¯ã€æ¥ç•Œã«å¤§ããªã‚¤ãƒ³ãƒ‘クトを与ãˆã¦ã„る。ã—ã‹ã‚‚ã€AWSã®ä¸ã§ã‚‚æ–°ã—ã„サービスã§ã‚ã‚‹Redshiftや利用者ã®è©•ä¾¡ãŒé«˜ã„Tableauã®æŽ¡ç”¨ã€ç›¸è«‡ã‹ã‚‰1ヶ月ã§ã®æ§‹ç¯‰ãƒ»é‹ç”¨ã€ãã—ã¦å¹´é–“4億人分ã¨ã„ã†è†¨å¤§ãªãƒ‡ãƒ¼ã‚¿è¦æ¨¡ãªã©
1
ランã‚ング
ãŠçŸ¥ã‚‰ã›
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
conma.me
playstudy.net
{{#tags}}- {{label}}
{{/tags}}