ãµã¤ã†ã®Redshiftパフォーマンスãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚° @ AWS Casual 02, 2014-04-18Read less
AWS Casual 02: ãµã¤ã†ã®Redshiftパフォーマンスãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°
ãµã¤ã†ã®Redshiftパフォーマンスãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚° @ AWS Casual 02, 2014-04-18Read less
日本ã®ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ç³»ã®ã‚³ãƒŸãƒ¥ãƒ‹ãƒ†ã‚£ã€ãªãœã‚¤ãƒžã‚¤ãƒç››ã‚Šä¸ŠãŒã‚‰ãªã„ã®ã‹ - kuenishi's blog
11月ã®19,20æ—¥ã«é–‹å‚¬ã•ã‚ŒãŸWebDB Forumã«å‚åŠ ã—ã¦ããŸã€‚カンファレンスãã®ã‚‚ã®ã¯ã€ã„ã‚ã‚“ãªäººã«ä¹…ã—ã¶ã‚Šã«ä¼šãˆãŸã‚Šã€ãƒãƒƒãƒˆä¸Šã§ãªã‚“ã¨ãªã知ã£ã¦ã„ã¦ã‚‚話ã—ãŸã“ã¨ãªã‹ã£ãŸäººã¨è©±ã—ãŸã‚Šã€æ„外ãªäººã®æ„外ãªä¸€é¢ã‚’ã¿ã‚‹ã“ã¨ãŒã§ããŸã‚Šã¨ã€ã¨ã¦ã‚‚楽ã—ã‚€ã“ã¨ãŒã§ããŸã€‚ç«‹å ´ã¨ã—ã¦ã¯æ‰€å±žã—ã¦ã„る会社ã®ã‚¹ãƒãƒ³ã‚µãƒ¼æž ã§å‚åŠ ã—ã¦ç›®çš„ã‚‚ã‚ã£ã¦ç™ºè¡¨ã‚‚ã—ã¦ããŸã‚ã‘ã ãŒã€ã„ãã¤ã‹æ€ã†ã¨ã“ã‚ãŒã‚ã‚‹ã®ã§ã“ã“ã«ã¾ã¨ã‚ã¦ãŠããŸã„。 ç¾å®Ÿã«ã‚¢ã‚«ãƒ‡ãƒŸãƒƒã‚¯ã§èµ·ãã¦ã„ã‚‹ã“㨠WebDB Forumã¨éŠ˜æ‰“ã£ã¦ã¯ã„ã‚‹ã‚‚ã®ã®ã€ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã«é–¢ã™ã‚‹ç ”究発表ã¯éžå¸¸ã«å°‘ãªã„。OSã‚„ãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ã€ã‚·ã‚¹ãƒ†ãƒ ç³»ã®ç ”究ã¨ä½µã›ã¦ã‚‚ã€æ©Ÿæ¢°å¦ç¿’ã‚„NLPã€Webãªã©ã®æŠ€è¡“ã«æ„Ÿå¿ƒã‚’æŒã¤äººã¯å¤šãæ•°ã§åœ§å€’ã•ã‚Œã¦ã„る。体感ã§ã¯ 90% ã 。ãれをã„ãˆã°åˆ¥ã« VLDB ã‚„ SIGMOD ãªã©ã®ãƒˆãƒƒãƒ—カンファレンスもデータベースã®æŠ€è¡“を直接扱ã†ã“ã¨ã¯å°‘ãªã„ã—ã€ãƒ‡ãƒ¼ã‚¿ãƒ™
YappoLogs: ãªãœ SQL_CALC_FOUND_ROWS ã‚„ LIMIT OFFSET ã®ãƒšãƒ¼ã‚¸ãƒ³ã‚°ãŒè‰¯ãç„¡ã„ã®ã‹
ãªãœ SQL_CALC_FOUND_ROWS ã‚„ LIMIT OFFSET ã®ãƒšãƒ¼ã‚¸ãƒ³ã‚°ãŒè‰¯ãç„¡ã„ã®ã‹ ã“ã“最近ã®å¤§è¦æ¨¡ã‚µãƒ¼ãƒ“ス関連ã—ãŸãƒ‡ãƒ¼ã‚¿ãƒšãƒ¼ã‚¸ãƒ³ã‚°è€ƒã§ã™ã€‚ mysql 5.5.34 ã§è©¦ã—ã¦è¨˜äº‹æ›¸ã„ã¦ã¾ã™ã€‚ bigdata テーブル㯠id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT, PRIMARY KEY (id) ãªã‚«ãƒ©ãƒ ãŒã‚ã‚‹å‰æã§ã™ã€‚ã‚‚ã¡ã‚ã‚“ InnoDB ã§ã™ã€‚ 2014å¹´ãªã‚“ã ã‹ã‚‰COUNT(*)ã¨ã‹SQL_CALC_FOUND_ROWSã¨ã‹LIMIT OFFSETã®ãƒšãƒ¼ã‚¸ãƒ³ã‚°ã¯ã‚„ã‚よã†ãœ - Togetterã¾ã¨ã‚ãŒç™ºç«¯ã«ã¿ãˆã‚‹ã‘ã©ã€ã‚ã‚Šã¨æ˜”ã‹ã‚‰è©±ã•ã‚Œã¦ã‚‹äº‹ãªã‚“ã ã‘ã©ã€ã€Œnippondanji SQL_CALC_FOUND_ROWSã€ã§ã‚°ã‚°ã£ã¦ã‚‚有用ãªæƒ…å ±ãªã„ã—文書化ã•ã‚Œã¦ãªã„ã‹ã‚‰ã—ã¨ã。 ページング処ç†ã§ä½¿ã‚ã‚ŒãŒã¡ãªæ©Ÿèƒ½ã§ã™ã€‚ S
リレーショナルモデルã®ãƒ‰ãƒ¡ã‚¤ãƒ³è¨è¨ˆã«ã¤ã„ã¦ã®è°è«–
リレーショナルモデルを実践ã™ã‚‹ã«ã¯ã€ãƒ‰ãƒ¡ã‚¤ãƒ³ï¼ˆâ‰’データ型）を如何ã«æ£ã—ãè¨è¨ˆã™ã‚‹ã‹ã¨ã„ã†ã“ã¨ãŒæ¥µã‚ã¦é‡è¦ã«ãªã‚‹ã€‚ã—ã‹ã—ãªãŒã‚‰ã€ãƒ‰ãƒ¡ã‚¤ãƒ³ã‚’ã©ã†è¨è¨ˆã™ã¹ãã‹ã¨ã„ã†è°è«–ã¯ã‚ã¾ã‚Šã•ã‚Œã¦ã„ãªã„よã†ã«æ€ã†ã€‚ãã®çµæžœã€ãƒ‰ãƒ¡ã‚¤ãƒ³ã«ã¤ã„ã¦ã®ç†è§£ã¯ã‚ã¾ã‚Šé€²ã¾ãšã€ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹è¨è¨ˆã«å¤±æ•—ã—ã¦ã„るパターンãŒå¤šã„よã†ã«æ€ã‚れる。 ã¨ã„ã†ã‚ã‘ã§ä»Šæ—¥ã®ãƒ†ãƒ¼ãƒžã¯ãƒ‰ãƒ¡ã‚¤ãƒ³ã§ã‚る。 集åˆã‚’定義ã™ã‚‹ãƒªãƒ¬ãƒ¼ã‚·ãƒ§ãƒŠãƒ«ãƒ¢ãƒ‡ãƒ«ã«ãŠã‘るデータ型ã¨ã¯ä½•ã‹ã€‚リレーショナルモデルを実践ã™ã‚‹ã«ã¯ã¾ãšãã®ç‚¹ã‹ã‚‰ç†è§£ã™ã‚‹å¿…è¦ãŒã‚る。 リレーショナルモデルã§ã¯ã€ãƒ‡ãƒ¼ã‚¿åž‹ã¯ãƒ‰ãƒ¡ã‚¤ãƒ³ã¨å‘¼ã°ã‚Œã‚‹ã€‚ドメインã¨ã¯ã€ãã®å±žæ€§ï¼ˆâ‰’カラム）ã«å…¥ã‚‹ã¹ã値ã¯ã©ã†ã„ã£ãŸã‚‚ã®ã‹ã‚’集åˆã¨ã—ã¦å®šç¾©ã—ãŸã‚‚ã®ã 。言ã„æ›ãˆã‚‹ã¨ã€å±žæ€§å€¤ã¨ã¯ã‚る集åˆã®è¦ç´ ã®ä¸€ã¤ã§ã‚ã‚‹ã¨è¨€ãˆã‚‹ã€‚従ã£ã¦ã€ãƒ‰ãƒ¡ã‚¤ãƒ³ã‚’è¨è¨ˆã™ã‚‹éš›ã«ã¯ã€SQLã§è¨€ã†ã¨ã“ã‚ã®ãƒ‡ãƒ¼ã‚¿åž‹ã€ã¤ã¾ã‚ŠINTã‚„CHARã¨ã„ã£ãŸã‚‚ã®ã ã‘ã§ãªãã€ãã®
Djangoã‹ã‚‰MySQLã«COMMITã—ãŸãƒ‡ãƒ¼ã‚¿ãŒåˆ¥ã®ãƒˆãƒ©ãƒ³ã‚¶ã‚¯ã‚·ãƒ§ãƒ³ã‹ã‚‰è¦‹ãˆãªã„ - orangain flavor
ã¯ã˜ã‚ã« Djangoを使ã£ãŸã‚¢ãƒ—リケーションã§ã€2ã¤ã®ãƒãƒƒãƒå‡¦ç†ç”¨ãƒ—ãƒã‚»ã‚¹Aã€Bã‚’åŒæ™‚ã«ç«‹ã¡ä¸Šã’ãŸã¨ãã«ã€Aã®ãƒˆãƒ©ãƒ³ã‚¶ã‚¯ã‚·ãƒ§ãƒ³ã§save & commitã—ãŸå€¤ã‚’Bã§ã¯èªã¿å–ã‚Œãªã„ã¨ã„ã†å•é¡Œã«ç›´é¢ã—ã¾ã—ãŸã€‚ å•é¡Œã®ç®‡æ‰€ã®ã‚½ãƒ¼ã‚¹ã‚³ãƒ¼ãƒ‰ã¯ã“ã®ã‚ˆã†ãªæ„Ÿã˜ã§ã™ã€‚ å®Ÿè¡Œé † プãƒã‚»ã‚¹A プãƒã‚»ã‚¹B 1 with commit_on_success(): p = Post(id=1) p.save() 2 # saveã—ãŸãƒ‡ãƒ¼ã‚¿ãŒè¦‹ãˆã‚‹ Post.objects.get(id=1) 3 with commit_on_success(): p = Post(id=2) p.save() 4 # saveã—ãŸãƒ‡ãƒ¼ã‚¿ãŒè¦‹ãˆãšä¾‹å¤–発生 Post.objects.get(id=2) Djangoã§ã¯ãƒ‡ãƒ•ã‚©ãƒ«ãƒˆã§è‡ªå‹•ã‚³ãƒŸãƒƒãƒˆãŒæœ‰åŠ¹ãªã®ã§ã€Aã§ã‚³ãƒŸãƒƒãƒˆã—ãŸå€¤ã‚’Bã§èªã¿å–れるã¯ãšã¨æ€ã£ã¦ã„ãŸã®ã§ã™ãŒã€ã“ã‚Œã¯é–“é•ã„ã§ã—
RDBMSã§ã‚³ãƒã‚¯ã‚·ãƒ§ãƒ³ãƒ—ールãŒå¿…è¦ãªç†ç”±ã€ã‚ã‹ã‚‰ãªã„。
Takayuki Shimizukawa @shimizukawa @masa_edw コãƒã‚¯ã‚·ãƒ§ãƒ³ãƒ—ールãŒç„¡ã„å ´åˆã€ä½¿ã„終ã‚ã£ãŸã‚³ãƒã‚¯ã‚·ãƒ§ãƒ³ãŒå³è§£æ”¾ã•ã‚Œãªã„（解放ã¾ã§å¤šå°‘é…延ã™ã‚‹ï¼‰ã®ã§å®Ÿéš›ã«ä½¿ã£ã¦ã„るコãƒã‚¯ã‚·ãƒ§ãƒ³ã®æ•°ã‚ˆã‚Šå¤šãå˜åœ¨ã™ã‚‹ã€‚ãã®åˆ†ãƒ¡ãƒ¢ãƒªã‚’圧迫ã—ã¦åŠ¹çŽ‡ãŒæ‚ªã„。ã£ã¦ã„ã†è©±ã¯èžã„ãŸã“ã¨ãŒã‚るよ（è¦å‡ºå…¸ 2013-09-04 09:27:28 ãƒã‚¤ãƒ‘ーむã¨ã† @masa_edw @voluntas ç¾çŠ¶ã§å¿…è¦ãªçŠ¶æ³ã¯ç†è§£ã—ã¦ã„ã¾ã™ãŒã€ãªãœãã†ãªã‚‹ã®ã‹ç†è§£ã—ã¦ã„ãªã„ã¨ã„ã†ã“ã¨ã§ã™ã€‚ä»–ã«ã‚‚ãŸã¨ãˆã°ã€bitlyã®å‘¼ã³å‡ºã—ã¯ã‚³ãƒã‚¯ã‚·ãƒ§ãƒ³ãƒ—ールを使ã†ã¹ãã‹ï¼Ÿãªãœ(ã¹ãã€ã¹ãã§ãªã„)ã®ã‹ï¼Ÿã©ã†ã„ã†è¦è«‹ã§ãã†ãªã®ã‹ï¼Ÿã¨è¨€ã†å•ã„ã«åƒ•ã¯ç”ãˆã‚‰ã‚Œã¾ã›ã‚“。 2013-09-04 09:31:22
DBã®ä¸–ç•Œã«èµ·ã“ã‚‹å¤‰é© | エンタープライズエンジニアã®ç‹¬ã‚Šè¨€
エンタープライズシステムã®ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ã‚’ã‚„ã£ã¦ï¼‘ï¼å¹´ä»¥ä¸Šã€‚æ€ã†ã¨ã“ã‚を書ã„ã¦ã„ãã¾ã™ã€‚ãã®ä»–趣味を少々。。。 DBã®ä¸–ç•Œã«èµ·ããŸå¤§ããªæ³¢ ç¾åœ¨ã€ã©ã®è£½å“を使ã£ãŸã¨ã—ã¦ã‚‚RDBã®æ€§èƒ½å•é¡Œã¯å¿…ãšã¨ã„ã£ã¦ã„ã„ã»ã©ç™ºç”Ÿã™ã‚‹ã€‚ç†ç”±ã¯ç°¡å˜ã§ã€CPUã€ãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ãŒé«˜é€ŸåŒ–（CPUã¯ãƒžãƒ«ãƒã‚³ã‚¢åŒ–ã€ãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ã¯10G-Ethernetã®ä¸€èˆ¬åŒ–ã‚„InfiniBandãªã©ï¼‰ã™ã‚‹ã®ã«ãƒ‡ã‚£ã‚¹ã‚¯ï¼ˆã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸ï¼‰ãŒé«˜é€ŸåŒ–ã«è¿½ã„ã¤ã„ã¦ã„ãªã„ã‹ã‚‰ã 。ãã®å·®ã‚’埋ã‚る役割ã¨ã—ã¦ã€RDBãŒæ‹…ã£ã¦ã„るケースãŒå¤šãã€æ€§èƒ½å•é¡Œã«ãªã‚‹ã‚±ãƒ¼ã‚¹ãŒæ•£è¦‹ã•ã‚Œã‚‹ã€‚ ã ãŒã€ãã†ã„ã†æ™‚代ã®æµã‚Œã«å¯¾ã—ã¦å¤§ããªå¤‰é©ãŒèµ·ãよã†ã¨ã—ã¦ã„る。SSDã¯ã‹ãªã‚Šã‚³ãƒ¢ãƒ‡ã‚£ãƒ†ã‚£åŒ–ã—ã¦ããŸã®ã§è¨€ã†ã«åŠã°ãšã¨ã„ã£ãŸæ„Ÿã˜ã ãŒã€å€‹äººçš„ã«ã¯é€Ÿã„ã‚‚ã®ã®ãƒ‡ã‚£ã‚¹ã‚¯ã®ç½®ãæ›ãˆã«ã™ãŽãªã„ã¨æ€ã£ã¦ã„る。ã¤ã¾ã‚Šã€SSDã¯é€Ÿã„ãŒDBã®ã‚¢ãƒ¼ã‚テクãƒãƒ£ã«å¤§ããªå¤‰é©ã‚’ã‚‚ãŸã‚‰ã™ã‚‚ã®ã§ã¯ãªã„。ãŒã€ã“ã“ã«ãã¦
pixivã®ãƒ‡ãƒ¼ã‚¿ã‚¹ãƒˆã‚¢/ã‚ャッシュ戦略 ãã®1 - pixiv engineering blog
Zoff PCã®ã‚«ãƒ©ãƒ¼ã‚¿ã‚¤ãƒ—眼é¡ã‚’愛用ã—ã¦ã„るインフラ兼ソフトウェアエンジニアã®bokkoã§ã™ã€‚ å¤ä¼‘ã¿ã¯å±±ç™»ã‚Š -> 温泉ã§æ‚ 々自é©ã«éŽã”ã—ã¦ã¾ã—ãŸãŒã€ä¼‘ã¿æ˜Žã‘ã‹ã‚‰ç‹è‚‰ç—›ã§ä½“ã®ã‚ã¡ã“ã¡ãŒç—›ã„ã§ã™(><)。 今回ã¯pixivã§æ´»ç”¨ã—ã¦ã„るデータストアやãã®å‘¨è¾ºãƒŸãƒ‰ãƒ«ã‚¦ã‚§ã‚¢ã®è©±ã‚’3回ãらã„ã«åˆ†ã‘ã¦ã—よã†ã¨æ€ã„ã¾ã™ã€‚ pixivを支ãˆã‚‹ãƒ‡ãƒ¼ã‚¿ã‚¹ãƒˆã‚¢ pixivã§ã¯ä¸»ã«ä»¥ä¸‹ã®2ã¤ã‚’データストアã¨ã—ã¦æ´»ç”¨ã—ã¦ã„ã¾ã™ã€‚ MySQL KyotoTycoon MySQL pixivã§ã¯ãƒ¦ãƒ¼ã‚¶ã‚„イラストã€ãƒ–ックマークã€ã‚ã‚‹ã„ã¯ãれらã«é–¢é€£ã—ãŸæƒ…å ±ã¨ã„ã£ãŸã‚µãƒ¼ãƒ“スã®æ ¹å¹¹ã«é–¢ã‚るデータã¯MySQLã«ä¿å˜ã—ã¦ã„ã¾ã™ã€‚ ã“ã‚Œã¯MySQLã®é«˜ã„ä¿¡é ¼æ€§ã®ã»ã‹ã«ã€ãƒ”クシブ社内ã§MySQLã®é‹ç”¨ã«é–¢ã™ã‚‹ãƒŽã‚¦ãƒã‚¦ãŒè“„ç©ã•ã‚Œã¦ã„ãŸã‚Šã€è‡ªä½œã®é‹ç”¨ãƒ„ール群ãŒå……実ã—ã¦ã„ã‚‹ã¨ã„ã†ã®ãŒå¤§ããªç†ç”±ã§ã™ã€‚ KyotoTycoon Kyot
スã‚ーマレスã«ã¤ã„ã¦ã¡ã‚‡ã£ã¨è€ƒãˆã¦ã¿ãŸ - As a Futurist...
ã“ã®ã‚¨ãƒ³ãƒˆãƒªã¯ãŸã¶ã‚“ã«ç…½ã‚Šè¦ç´ ã‚’å«ã‚ã¦ã„ã¾ã™ãŒã€æ„図的ãªã‚‚ã®ã§ã™ã€‚僕㯠NoSQL ã¯ç´ 晴らã—ã„ã¨æ€ã„ã¾ã™ã€‚ ã•ã¦ã€NoSQL ãªã‚“ã¦è¨€è‘‰ã«è¸Šã‚‰ã•ã‚Œã¦ã‚‹äººã¯ç½®ã„ã¨ã„ã¦ã€æœ€è¿‘ RDBMS 以外ã®ãƒ‡ãƒ¼ã‚¿ã‚¹ãƒˆã‚¢ã¨ã„ã†ã®ãŒè‰²ã€…ã§ã¦ãã¦ã¾ã™ã€‚今時点ã§è¦‹æ¸¡ã™é™ã‚Šã«ãŠã„ã¦ã¯ã€å®‰å®šæ€§ã€è€éšœå®³æ€§ã€ãƒ‘フォーマンスã€æƒ…å ±é‡ã€é–‹ç™ºè€…ã®æ…£ã‚Œã€å…¨ä½“ã®ãƒãƒ©ãƒ³ã‚¹ã§è¨€ãˆã° RDBMS ã«ã‹ãªã†ã‚‚ã®ã¯ãªã„ã‚ã‘ã§ã™ãŒã€ä»Šå¾Œã©ã†ãªã£ã¦ã„ãã‹ã¯ã¾ã分ã‹ã‚Šã¾ã›ã‚“。 一方ã§ã€RDBMS ãŒã©ã†ã—ã¦ã‚‚苦手ã¨ã™ã‚‹åˆ†é‡Žã¨ã„ã†ã®ã¯å˜åœ¨ã—ã¾ã™ã€‚例ãˆã° 1 サーãƒã«åŽã¾ã‚Šãらãªã„様ãªå¤§å®¹é‡ãƒ‡ãƒ¼ã‚¿ã«å¯¾ã™ã‚‹ãƒãƒƒãƒå‡¦ç†ã€ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ ãªãƒ©ãƒ³ã‚ングã€ã‚¢ã‚¯ãƒ†ã‚£ãƒ“ティãªã©ã®ãƒ•ã‚£ãƒ¼ãƒ‰æƒ…å ±ã€ãã—ã¦æ§‹é€ 化ã•ã‚ŒãŸãƒ‡ãƒ¼ã‚¿ã®å–り扱ã„。何ã§ã‚‚ã‹ã‚“ã§ã‚‚ NoSQL ã«ç½®ãæ›ãˆã‚Œã°ã„ã„ãªã‚“ã¦è€ƒãˆã¯ç¾æ™‚点ã§ã¯åˆ°åº•å—ã‘入れãŒãŸã„ã§ã™ãŒã€ä¾‹ã¨ã—ã¦æŒ™ã’ãŸæ§˜ãªãƒ”ンãƒã‚¤ãƒ³ãƒˆãªéƒ¨åˆ†ã§ã¯ãã‚Œã«
1
ランã‚ング
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
Amazon Redshiftã«ã‚ˆã‚‹ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ 分æžã‚µãƒ¼ãƒ“スã®æ§‹ç¯‰
{{#tags}}- {{label}}
{{/tags}}