数百GBã®ãƒ‡ãƒ¼ã‚¿ã‚’MySQLã‹ã‚‰BigQueryã¸åŒæœŸã™ã‚‹ | メルカリエンジニアリングSRE所属㮠@siroken3 ã§ã™ã€‚最近ã¯ã‚‚ã£ã±ã‚‰ãƒ‘ートナー会社様ã¨ã®ãƒ‡ãƒ¼ã‚¿é€£æºç’°å¢ƒæ§‹ç¯‰ã‚’主ã«ã€æ™‚々プãƒãƒ€ã‚¯ã‚·ãƒ§ãƒ³ã®MySQL環境ã¨åˆ†æžåŸºç›¤ã¨ã®é€£æºã‚¤ãƒ³ãƒ•ãƒ©ã®æ§‹ç¯‰ãŒå¤šã„ã§ã™ã€‚ 本記事ã¯ã€ãƒ¡ãƒ«ã‚«ãƒªã«å‡ºå“ã•ã‚ŒãŸéŽåŽ»ã™ã¹ã¦ã®å•†å“ã‚’BigQueryã¸åŒæœŸã™ã‚‹ã«ã‚ãŸã£ã¦å–り組んã 時ã®ãŠè©±ã§ã™ã€‚ 背景 当社ã§ã¯åˆ†æžç›®çš„ãªã©ã§BigQueryを以å‰ã‹ã‚‰ä½¿ç”¨ã—ã¦ãŠã‚Šã€ãƒ—ãƒãƒ€ã‚¯ã‚·ãƒ§ãƒ³ã®MySQLã‹ã‚‰BigQueryã¸ãƒ‡ãƒ¼ã‚¿ã‚’åŒæœŸã—ã¦åˆ†æžã«æ´»ç”¨ã—ã¦ãã¾ã—ãŸã€‚特ã«å•†å“を表ã™ãƒ†ãƒ¼ãƒ–ルã¯é‡è¦ã§ã™ã€‚ ã—ã‹ã—ã€å¾Œè¿°ã™ã‚‹èª²é¡Œã«ã‚ˆã‚ŠBigQueryã«ã‚¢ãƒƒãƒ—ãƒãƒ¼ãƒ‰ã™ã‚‹ã“ã¨ãŒã§ããªã‹ã£ãŸãŸã‚ã€åˆ†æžç”¨ã®MySQLDBã®ã‚¹ãƒ¬ãƒ¼ãƒ–ã¨BigQueryを併用ã›ã–ã‚‹ã‚’å¾—ã¾ã›ã‚“ã§ã—ãŸã€‚ã¨ã¯ã„ãˆä¸ä¾¿ãªã®ã§ä»¥å‰ã‹ã‚‰BigQueryã®ã¿ã§å•†å“テーブルも分æžå¯¾è±¡ã¨ã—ãŸã„è¦æœ›ãŒã‚ã‚Šã¾ã—ãŸã€‚ 課題 メルカリã§ã¯è²©å£²æ¸ˆã¿å•†å“を物ç†å‰Šé™¤ã—ã¦ã„ãªã„ãŸã‚ã€
Embulkを利用ã—ãŸãƒ‡ãƒ¼ã‚¿è»¢é€åŸºç›¤ã®æ§‹ç¯‰ - ZOZO TECH BLOG
Digdagã¨Embulkを利用ã—ã¦BigQueryã«RDS（Auroraã€MySQL）ã®ãƒžã‚¹ã‚¿ãƒ‡ãƒ¼ã‚¿ã‚’åŒæœŸã™ã‚‹ - ZOZO TECH BLOG
{{#tags}}- {{label}}
{{/tags}}