Embulkã®coreã®ã‚½ãƒ¼ã‚¹ã‚³ãƒ¼ãƒ‰ã‹ã‚‰ç´è§£ãデータ転é€ã®ã—ãã¿ã“ã®è¨˜äº‹ã¯ trocco Advent Calendar 2023 ã®6日目ã®è¨˜äº‹ã¨ãªã‚Šã¾ã™ã€‚ ã¯ã˜ã‚㫠今回ã¯troccoã®å†…部ã§ã‚‚利用ã•ã‚Œã¦ã„ã‚‹ETLã®ãŸã‚ã®OSSã§ã‚ã‚‹Embulkã«ã¤ã„ã¦ã€core部分ã®ã‚½ãƒ¼ã‚¹ã‚³ãƒ¼ãƒ‰ãƒªãƒ¼ãƒ‡ã‚£ãƒ³ã‚°ã‚’通ã—ã¦ã€ãã®ã—ãã¿ã‚’ç´è§£ã„ã¦ã„ããŸã„ã¨æ€ã„ã¾ã™ã€‚ ãŠã“ã¨ã‚ã‚Š Embulkã®åŸºæœ¬çš„ãªä½¿ã„æ–¹ãªã©ã«ã¤ã„ã¦ã¯è§£èª¬ã—ã¾ã›ã‚“。 ç†è€…ã¯embulk-coreã«ã‚³ãƒ³ãƒˆãƒªãƒ“ュートã—ã¦ã„ã‚‹ã‚ã‘ã§ã¯ãªã„ã®ã§ã€é–“é•ã„ãªã©ãŒã‚ã‚Œã°ãŠæ°—軽ã«ã”指摘ãã ã•ã„。 今回見ã¦ã„ãcoreã®å®Ÿè£…自体ã¯ã€æ¯”較的変更ãŒå°‘ãªã„ã¨ã•ã‚Œã‚‹å„種プラグインãŒå¾“ã†ã¹ãインターフェース部分(embulk-spi)ã‹ã‚‰éš 蔽ã•ã‚Œã¦ã„ã‚‹ãŸã‚ã€ä»Šå¾Œã“ã®è¨˜äº‹ã®å†…容ãŒæ£ã—ããªããªã‚‹å¯èƒ½æ€§ã¯å®¹æ˜“ã«ã‚ã‚Šã¾ã™ã€‚ Embulkã«ã¯guessã‚„previewã‚„resumeã¨ã„ã£ãŸæ©Ÿèƒ½ã‚‚å«ã¾ã‚Œã¦ã„ã¾ã™ãŒã€ä»Šå›žã¯å˜ç´”ãªembulk r
Embulkã‚’æ¥å‹™ã‚·ã‚¹ãƒ†ãƒ ã§ä½¿ã£ãŸè©± - 今日もプãƒã‚°ãƒ©ãƒŸãƒ³ã‚°
83億レコードを移行ã—ã€æ—¥ã€…2,500万レコードã®ã‚¢ã‚¯ã‚»ã‚¹ãƒã‚°ã‚’BigQueryã«è¨˜éŒ²ã—ã¦ã„る話（インフラ編） - Money Forward Developers Blog
Digdag + embulk + BigQuery + Re:dash ã§ãƒ‡ãƒ¼ã‚¿åˆ†æžåŸºç›¤æ§‹ç¯‰ã®å¤¢ã‚’見る - 雑ãªãƒ¡ãƒ¢
Embulkã§MySQLã‹ã‚‰BigQueryã«å…¥ã‚Œåã«ãªã£ãŸJSONファイルを直接インãƒãƒ¼ãƒˆã™ã‚‹æ–¹æ³• - Qiita
embulk 㧠pure java 㨠jruby ã§ãƒ—ラグインを作ã£ãŸã¨ãã®é€Ÿåº¦æ¯”較 - Qiita
Embulkを使ã£ã¦JSONデータをGoogle BigQueryã«æŠ•å…¥ã™ã‚‹
Scheduled bulk data loading to Elasticsearch + Kibana 4 from CSV files — Embulk 0.4 documentation
『Embulkã€ã«è¦‹ã‚‹ãƒ¢ãƒ€ãƒ³Javaã®å®Ÿè·µçš„テクニック ～並列分散処ç†ã‚·ã‚¹ãƒ†ãƒ ã®å®Ÿè£…手法～
ERRORãƒã‚°ãŒå¤šã™ãŽã‚‹Webアプリã«å‡ºä¼šã£ãŸã‚‰ - GMOインターãƒãƒƒãƒˆã‚°ãƒ«ãƒ¼ãƒ— ã‚°ãƒ«ãƒ¼ãƒ—ç ”ç©¶é–‹ç™ºæœ¬éƒ¨
並列データ転é€ãƒ„ール『Embulkã€ãƒªãƒªãƒ¼ã‚¹ï¼ - Blog by Sadayuki Furuhashi
GitHub - mattn/embulk-plugin-vim
「データ転é€ãƒŸãƒ‰ãƒ«ã‚¦ã‚§ã‚¢å‹‰å¼·ä¼šã€ãƒ¬ãƒãƒ¼ãƒˆ #dtm_meetup | DevelopersIO
Embulk, an open-source plugin-based parallel bulk data loader
GitHub - embulk/embulk: Embulk: Pluggable Bulk Data Loader.
データ転é€ãƒŸãƒ‰ãƒ«ã‚¦ã‚§ã‚¢å‹‰å¼·ä¼š - Blog by Sadayuki Furuhashi
{{#tags}}- {{label}}
{{/tags}}