数百GBã®ãƒ‡ãƒ¼ã‚¿ã‚’MySQLã‹ã‚‰BigQueryã¸åŒæœŸã™ã‚‹ | メルカリエンジニアリング
SRE所属㮠@siroken3 ã§ã™ã€‚最近ã¯ã‚‚ã£ã±ã‚‰ãƒ‘ートナー会社様ã¨ã®ãƒ‡ãƒ¼ã‚¿é€£æºç’°å¢ƒæ§‹ç¯‰ã‚’主ã«ã€æ™‚々プãƒãƒ€ã‚¯ã‚·ãƒ§ãƒ³ã®MySQL環境ã¨åˆ†æžåŸºç›¤ã¨ã®é€£æºã‚¤ãƒ³ãƒ•ãƒ©ã®æ§‹ç¯‰ãŒå¤šã„ã§ã™ã€‚ 本記事ã¯ã€ãƒ¡ãƒ«ã‚«ãƒªã«å‡ºå“ã•ã‚ŒãŸéŽåŽ»ã™ã¹ã¦ã®å•†å“ã‚’BigQueryã¸åŒæœŸã™ã‚‹ã«ã‚ãŸã£ã¦å–り組んã 時ã®ãŠè©±ã§ã™ã€‚ 背景 当社ã§ã¯åˆ†æžç›®çš„ãªã©ã§BigQueryを以å‰ã‹ã‚‰ä½¿ç”¨ã—ã¦ãŠã‚Šã€ãƒ—ãƒãƒ€ã‚¯ã‚·ãƒ§ãƒ³ã®MySQLã‹ã‚‰BigQueryã¸ãƒ‡ãƒ¼ã‚¿ã‚’åŒæœŸã—ã¦åˆ†æžã«æ´»ç”¨ã—ã¦ãã¾ã—ãŸã€‚特ã«å•†å“を表ã™ãƒ†ãƒ¼ãƒ–ルã¯é‡è¦ã§ã™ã€‚ ã—ã‹ã—ã€å¾Œè¿°ã™ã‚‹èª²é¡Œã«ã‚ˆã‚ŠBigQueryã«ã‚¢ãƒƒãƒ—ãƒãƒ¼ãƒ‰ã™ã‚‹ã“ã¨ãŒã§ããªã‹ã£ãŸãŸã‚ã€åˆ†æžç”¨ã®MySQLDBã®ã‚¹ãƒ¬ãƒ¼ãƒ–ã¨BigQueryを併用ã›ã–ã‚‹ã‚’å¾—ã¾ã›ã‚“ã§ã—ãŸã€‚ã¨ã¯ã„ãˆä¸ä¾¿ãªã®ã§ä»¥å‰ã‹ã‚‰BigQueryã®ã¿ã§å•†å“テーブルも分æžå¯¾è±¡ã¨ã—ãŸã„è¦æœ›ãŒã‚ã‚Šã¾ã—ãŸã€‚ 課題 メルカリã§ã¯è²©å£²æ¸ˆã¿å•†å“を物ç†å‰Šé™¤ã—ã¦ã„ãªã„ãŸã‚ã€
Embulkã§ã‚„ã‚ŠãŸã„ã“ã¨ãƒªã‚¹ãƒˆï¼ˆ2015å¹´7月版） - Blog by Sadayuki Furuhashi
ãƒãƒ«ã‚¯ãƒãƒ¼ãƒ‰æ©Ÿèƒ½ 1ã¤ã®è¨å®šãƒ•ã‚¡ã‚¤ãƒ«ã§è¤‡æ•°ã‚¸ãƒ§ãƒ–を実行ã™ã‚‹ Running multiple jobs using one config file · Issue #167 · embulk/embulk · GitHub 例ãˆã° users.csv 㨠histories.csv ã®2ã¤ã®ãƒ•ã‚¡ã‚¤ãƒ«ã‚’ã€ãã‚Œãžã‚ŒPostgreSQLã«ã‚ã‚‹ users 㨠histories ã®2ã¤ã®ãƒ†ãƒ¼ãƒ–ル ã«ãƒãƒ¼ãƒ‰ã—ãŸã„ã¨ã„ã†ã‚ˆã†ãªãƒ¦ãƒ¼ã‚¹ã‚±ãƒ¼ã‚¹ã«å¯¾å¿œã™ã‚‹æ©Ÿèƒ½ã€‚ è¨å®šãƒ•ã‚¡ã‚¤ãƒ«ã®æ§‹æ–‡ã¯issueã«æ›¸ã„ã¦ã‚るよã†ã«ã€default: ã«æ›¸ã並ã¹ãŸè¨å®šã«å¯¾ã—ã¦ã€jobs: ã«æ›¸ã„ãŸè¨å®šã‚’マージã—ãŸã‚‚ã®ã‚’実際ã®è¨å®šãƒ•ã‚¡ã‚¤ãƒ«ã¨ã—ã¦å®Ÿè¡Œã—ã¦ã„ã方法ã§è‰¯ã•ãã†ã€‚ã—ã‹ã—ã€fliters: ã¯é…列ãªã®ã§ã€default: ã«æ›¸ã‹ã‚ŒãŸ filters: ã« jobs: ã«æ›¸ã‹ã‚ŒãŸ filters: ã‚’ã©ã†ãƒžãƒ¼ã‚¸ã™ã‚‹ã‹ã€ã‚ã¾ã‚Šè‰¯
Embulk: Docs
Built-in Plugins Configuration Embulk configuration file format Local file input plugin CSV parser plugin JSON parser plugin Gzip decoder plugin BZip2 decoder plugin File output plugin CSV formatter plugin Gzip encoder plugin BZip2 encoder plugin Rename filter plugin Remove columns filter plugin Local executor plugin Guess executor Preview executor Logo Images Logo Square Horizontal Icon Customiza
並列データ転é€ãƒ„ール『Embulkã€ãƒªãƒªãƒ¼ã‚¹ï¼ - Blog by Sadayuki Furuhashi
ã“ã‚“ã«ã¡ã¯ã€‚å¤æ©‹ã§ã™ã€‚ 先日ã®*1 データ転é€ãƒŸãƒ‰ãƒ«ã‚¦ã‚§ã‚¢å‹‰å¼·ä¼šã§ã€æ–°ã—ã„オープンソースツール Embulk をリリースã—ã¾ã—ãŸã€‚ Embulk, an open-source plugin-based parallel bulk data loader from Sadayuki Furuhashi Embulk ã¯ã€ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ ãªãƒã‚°åŽé›†ã§ã¯å¸¸è˜ã¨ãªã£ãŸ fluentd ã®ãƒãƒƒãƒç‰ˆã®ã‚ˆã†ãªãƒ„ールã§ã€ãƒ•ã‚¡ã‚¤ãƒ«ã‚„データベースã‹ã‚‰ãƒ‡ãƒ¼ã‚¿ã‚’å¸ã„出ã—ã€åˆ¥ã®ã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸ã‚„データベースã«ãƒãƒ¼ãƒ‰ã™ã‚‹ãŸã‚ã®ã‚³ãƒ³ãƒ‘クトãªãƒ„ールã§ã™ã€‚ fluentd ã¨åŒæ§˜ã«ãƒ—ラグイン型ã®ã‚¢ãƒ¼ã‚テクãƒãƒ£ã‚’採用 ã—ã¦ã„ã‚‹ãŸã‚ã€Rubyã‚„Javaã§ç°¡å˜ãªã‚³ãƒ¼ãƒ‰ã‚’書ãã“ã¨ã§ã€æ§˜ã€…ãªãƒ•ã‚¡ã‚¤ãƒ«ãƒ•ã‚©ãƒ¼ãƒžãƒƒãƒˆã‚„ストレージã«å¯¾å¿œã™ã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚一方㧠fluentd ã¨ã¯ç•°ãªã‚Šã€é«˜é€Ÿæ€§ã‚„トランザクション制御ã€ã‚¹ã‚ーマを使ã£ãŸãƒ‡ãƒ¼ã‚¿ã®ãƒãƒª
オープンソースã®ãƒãƒ«ã‚¯ãƒ‡ãƒ¼ã‚¿ãƒãƒ¼ãƒ€ãƒ¼ã€ŒEmbulkã€ç™»å ´ã€‚fluentdã®ãƒãƒƒãƒç‰ˆã€ãƒˆãƒ¬ã‚¸ãƒ£ãƒ¼ãƒ‡ãƒ¼ã‚¿ãŒæ”¯æ´
オープンソースã®ãƒãƒ«ã‚¯ãƒ‡ãƒ¼ã‚¿ãƒãƒ¼ãƒ€ãƒ¼ã€ŒEmbulkã€ç™»å ´ã€‚fluentdã®ãƒãƒƒãƒç‰ˆã€ãƒˆãƒ¬ã‚¸ãƒ£ãƒ¼ãƒ‡ãƒ¼ã‚¿ãŒæ”¯æ´ 何ギガãƒã‚¤ãƒˆã‚‚ã‚ã‚‹CSVをデータベースã«èªã¿è¾¼ã¾ã›ã‚‹ã‚ˆã†ãªãƒãƒ«ã‚¯ãƒ‡ãƒ¼ã‚¿ã‚’ãƒãƒƒãƒå‡¦ç†ã™ã‚‹ãŸã‚ã®ãƒ„ール「Embulkã€ãŒã‚ªãƒ¼ãƒ—ンソースã§å…¬é–‹ã•ã‚Œã¾ã—ãŸã€‚ コミッターã¨ã—ã¦é–‹ç™ºã—ã¦ã„ã‚‹ã®ã¯ã€ãƒã‚°åŽé›†ãƒ„ールã¨ã—ã¦çŸ¥ã‚‰ã‚Œã‚‹fluentdãªã©ã®é–‹ç™ºè€…ã¨ã—ã¦çŸ¥ã‚‰ã‚Œã‚‹å¤æ©‹è²žä¹‹æ°ã€è¥¿æ¾¤ç„¡æˆ‘æ°ã€ä¸æ‘浩士æ°ã‚‰ã§ã€3人ãŒæ‰€å±žã™ã‚‹Treasure Dataも開発を支æ´ã—ã¦ã„ã¾ã™ã€‚ å¤æ©‹æ°ã¯Embulkã«ã¤ã„ã¦ã€Œç°¡å˜ã«è¨€ã†ã¨fluentdã®ãƒãƒƒãƒç‰ˆã§ã™ã€ã¨èª¬æ˜Žã€‚1月27æ—¥ã«è¡Œã‚ã‚ŒãŸã€Œãƒ‡ãƒ¼ã‚¿è»¢é€ãƒŸãƒ‰ãƒ«ã‚¦ã‚§ã‚¢å‹‰å¼·ä¼šã€ã§ã€Embulkã®ç´¹ä»‹ã‚’è¡Œã„ã¾ã—ãŸã€‚ Embulkã¯ãƒ—ラグインベースã®ãƒãƒ«ã‚¯ãƒ‡ãƒ¼ã‚¿ãƒãƒ¼ãƒ€ãƒ¼ å¤æ©‹æ°ã¯ã¾ãšã€ä¾‹ãˆã°CSVファイルをPostgreSQLã«èªã¿è¾¼ã¾ã›ã‚ˆã†ã¨ã™ã‚‹ã¨ã€CSVã®æ—¥ä»˜ã®ãƒ•ã‚©ãƒ¼ãƒžãƒƒãƒˆãŒ
1
ランã‚ング
ランã‚ング
ãŠçŸ¥ã‚‰ã›
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
More detailed plan of Embulk v0.10, v0.11, and v1 -- Meetup!
{{#tags}}- {{label}}
{{/tags}}