Embulkを利用ã—ãŸãƒ‡ãƒ¼ã‚¿çµ±åˆSaaSã®æ§‹ç¯‰ã¨é‹ç”¨2020/07/09 Embulk & Digdag Online Meetup 2020
Embulk & Digdag Online Meetup 2020 - YouTube
トークã«é–¢ã™ã‚‹è³ªå•ã¯Slidoã§å—ã‘付ã‘ã¦ã„ã¾ã™ï¼ https://app.sli.do/event/rmpbrfsv [目次] 00:00 準備ä¸ã®ãŸã‚スã‚ップã—ã¦ãã ã•ã„。 46:18 オープニング 48:26 Embulkプラグインをスクリプトã§æ›¸ã‘るよã†ã«ã—ã¦ã¿ãŸ by å¤æ©‹è²žä¹‹ Arm TreasureData(ç¾Treasure Data) 1:09:31 Plan and incompatibility toward Embulk v1.0 by 三廻部大　Arm TreasureData (ç¾Treasure Data) 1:50:22 Embulk を利用ã—ãŸãƒ‡ãƒ¼ã‚¿çµ±åˆSaaSã®æ§‹ç¯‰ã¨é‹ç”¨ by 鈴木å¥å¤ª æ ªå¼ä¼šç¤¾primeNumber 2:36:43 Digdag updates 山縣 陽 Arm TreasureData(ç¾Treasure Data) 3:09:
Embulk & Digdag Online Meetup 2020 振り返り - Secret Ninja Blog
techplay.jp コãƒãƒŠã®å½±éŸ¿ã§å»¶æœŸã—ãŸEmbulk & Digdag Online Meetup 2020をオンライン開催ã—ã¾ã—ãŸã€‚ 今回ã¯ã€Zoom Webniarモードã¨youtube連æºã§ã®ãƒ©ã‚¤ãƒ–é…信＋sli.doã«ã‚ˆã‚‹QAã‚’åˆã‚ã¦è©¦ã¿ã¾ã—ãŸã€‚ãã®ãŸã‚ã€æ…£ã‚Œãªã„ã“ã¨ã‚‚多々ã‚ã‚Šã¾ã—ãŸãŒã€ Youtube経由ã®æ–¹ãŒé…ä¿¡ã®æ˜ åƒã‚„音質ãªã©ã®ã‚¯ã‚ªãƒªãƒ†ã‚£ã‚‚高ãã€ã‚ˆã‹ã£ãŸã®ã§ã¯ãªã„ã‹ã¨æ€ã„ã¾ã™ã€‚ イベントã«ã¯124åã®æ–¹ã«ç”³ã—è¾¼ã¿ãŒã‚ã‚Šã¾ã—ãŸï¼ ã¾ãŸã€youtubeã§ã®æœ€å¤§åŒæ™‚接続数ã¯143ã«ãªã£ãŸã®ã§ã€ã¾ãšã¾ãšå¤šãã®æ–¹ã«å‚åŠ ã„ãŸã ã‘ãŸã®ã§ã¯ãªã„ã‹ãªã¨æ€ã„ã¾ã™ã€‚ アンケートçµæžœ イベントã®å‚åŠ ç™»éŒ²æ™‚ã«ä¸‹è¨˜ã‚¢ãƒ³ã‚±ãƒ¼ãƒˆã‚’ã¨ã‚Šã¾ã—ãŸã€‚ãã‚Œãžã‚Œã®çµæžœã«ã¤ã„ã¦å…±æœ‰ã—ã¾ã™ã€‚ Embulkã¨Digdagã®ã©ã¡ã‚‰ã«ä¸»ã«èˆˆå‘³ãŒã‚ã£ã¦å‚åŠ ã•ã‚Œã¾ã™ã‹ï¼Ÿ Embulkã¨Digdagを本番環境ã«ã¦é‹ç”¨ã—ã¦ã„ã¾ã™ã‹ï¼Ÿ
embulk-plugin-input-randomを作ã£ãŸ - ãã¾ãƒ¡ãƒ¢
データベースを使ã£ã¦ä½•ã‹ã™ã‚‹éš›ã«ã€ãƒ€ãƒŸãƒ¼ãƒ‡ãƒ¼ã‚¿ãŒè¶…大é‡ã«æ¬²ã—ããªã‚‹ã“ã¨ãŒã‚ã‚‹ã®ã§embulkã®input-pluginを作ã£ã¦ã¿ãŸã€‚ githubã®ãƒªãƒ³ã‚¯ 何もãªã„環境ã‹ã‚‰ãªã‚‰ $ wget https://bintray.com/artifact/download/embulk/maven/embulk-0.2.1.jar -O embulk.jar ã§embulk本体ã®ãŒé™ã£ã¦ãã‚‹ã®ã§ãれを使ã£ã¦ $ java -jar embulk.jar gem install embulk-plugin-input-random ã¨ã™ã‚Œã°ãƒ—ラグインãŒé™ã£ã¦ãる。 exec: {} in: type: random rows: 100 schema: id: primary_key name: string score: integer out: type: stdout ã“ã‚“ãªæ„Ÿã˜ã®config
Digdagã¨Embulkを利用ã—ã¦BigQueryã«RDS（Auroraã€MySQL）ã®ãƒžã‚¹ã‚¿ãƒ‡ãƒ¼ã‚¿ã‚’åŒæœŸã™ã‚‹ - ZOZO TECH BLOG
ã“ã‚“ã«ã¡ã¯ã€ãƒãƒƒã‚¯ã‚¨ãƒ³ãƒ‰ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ã®å¡©å´Žã§ã™ã€‚ 先日ã€ä¼šç¤¾ã®åºƒå ±ã®ãŸã‚ã®ã‚¤ãƒ³ã‚¿ãƒ¼ãƒ³ç”Ÿç´¹ä»‹è¨˜äº‹ã«ãƒ¡ãƒ³ã‚¿ãƒ¼ã¨ã—ã¦æŽ²è¼‰ã—ã¦ã„ãŸã ãã¾ã—ãŸã€‚ 大å¦å››å¹´ç”Ÿã®ã‚¤ãƒ³ã‚¿ãƒ¼ãƒ³ç”Ÿã¨ä¸€ç·’ã«å†™çœŸæ’®å½±ã‚’è¡Œã£ãŸã®ã§ã™ãŒã€è¦‹ãŸç›®ã ã‘ã§ã¯ã©ã¡ã‚‰ãŒå¹´ä¸Šã‹ã‚ã‹ã‚‰ãªã‹ã£ãŸã®ã§ã€ã€Œãƒ¡ãƒ³ã‚¿ãƒ¼ã®å¡©å´Žï¼ˆå³ï¼‰ã€ã¨ã„ã†è¡¨è¨˜ã‚’ã•ã‚Œã¦ã—ã¾ã„ã¾ã—ãŸï¼ˆç¬‘） インターンã§ã‚‚実際ã®ã‚µãƒ¼ãƒ“スã«è§¦ã‚Œã€èª²é¡Œã‚’解決ï¼ã€œVASILY DEVELOPERS BLOGãŒå…¬é–‹ã•ã‚Œã¾ã—ãŸã€œ ã•ã¦ã€VASILYã§ã¯Data Warehouseã¨ã—ã¦Google BigQuery（BigQuery）を利用ã—ã¦ã„ã¾ã™ã€‚ BigQuery内ã«ã¯ãƒ—ãƒãƒ€ã‚¯ãƒˆã®ãƒžã‚¹ã‚¿ãƒ‡ãƒ¼ã‚¿ã¨ãƒ¦ãƒ¼ã‚¶ãƒ¼ã®è¡Œå‹•ãƒã‚°ãŒæ ¼ç´ã•ã‚Œã¦ã„ã¾ã™ã€‚ ãã—ã¦ã€ãれらã«å¯¾ã™ã‚‹æ¨ªæ–çš„ãªã‚¯ã‚¨ãƒªã‚’発行ã™ã‚‹ã“ã¨ã§ãƒ—ãƒãƒ€ã‚¯ãƒˆã®æˆé•·ã®ãŸã‚ã®KPIをモニタリングã—ã¦ã„ã¾ã™ã€‚ ãã®ãŸã‚Amazon Relational Database
Procを制ã™ã‚‹è€…ãŒRubyを制ã™ï¼ˆå˜˜ï¼‰
Rubyã®Procã®èª¬æ˜Žã¯å··ã«æº¢ã‚Œã¦ã„ã‚‹ã‹ã‚‰ä»Šæ›´æ„ŸãŒã‚ã‚‹ã‘ã©ã“ã“数回Procを使ã£ãŸãƒã‚¿ã‚’書ã„ã¦ã„ãŸã‚‰ProcãŒã‹ã‚ã„ããªã£ã¡ã‚ƒã£ã¦ã‚‚ã£ã¨ã¿ã‚“ãªã«ã‚‚Procã®ã“ã¨çŸ¥ã£ã¦ã‚‚らã„ãŸã„ã¨ã„ã†æ¬²æ±‚ãŒç”Ÿã¾ã‚Œã¦ããŸã‹ã‚‰Procã«ã¤ã„ã¦ã®åŸºæœ¬çš„ãªã“ã¨ã‚’僕ãªã‚Šã®ã‚„ã‚Šæ–¹ã§ã“ã“ã«æ›¸ãよ。長ã„よ。 Rubyã®é–¢æ•°ï¼ˆãƒ¡ã‚½ãƒƒãƒ‰ï¼‰ Rubyã«ãŠã„ã¦é–¢æ•°ï¼ˆãƒ¡ã‚½ãƒƒãƒ‰ï¼‰ã¯ãƒ•ã‚¡ãƒ¼ã‚¹ãƒˆã‚¯ãƒ©ã‚¹ï¼ˆã‚ªãƒ–ジェクト）ã§ã¯ã‚ã‚Šã¾ã›ã‚“。ã¤ã¾ã‚Šæ–‡å—列や数å—ã‚„é…列ãªã©ã®ä»–ã®ã‚ªãƒ–ジェクトã¨ã¯ç•°ãªã£ã¦ã€Rubyã§ã¯ãれを直接変数ã«ä»£å…¥ã—ãŸã‚Šã€ä»–ã®é–¢æ•°ã«æ¸¡ã—ãŸã‚Šã™ã‚‹ã“ã¨ã¯ã§ãã¾ã›ã‚“。 def square(n) n * n end sq = square # squareメソッドを変数sqã«ä»£å…¥ã—ã¦ã¿ã‚‹ # ~> -:1:in `square': wrong number of arguments (0 for 1) (ArgumentError)
PLAZMA Data Engineer Day: TD Tech Talk 2018 (2018.5.23 虎ノ門)
詳細 https://techplay.jp/event/669346 0:01:10 TreasureDataã®ã‚¨ã‚³ã‚·ã‚¹ãƒ†ãƒ ã§ä½œã‚‹ãƒãƒã‚¹ãƒˆãªETLデータ処ç†åŸºç›¤ã®ã¤ãã‚Šã‹ãŸ 0:43:13 オイシックスã«ãŠã‘るデータ基盤å†æ§‹ç¯‰ã¨æ´»ç”¨äº‹ä¾‹ 1:39:45 AudienceOneã«ãŠã‘ã‚‹TreasureData活用方法 2:09:39 TDã§è¦‹ã‚‹ä»Šã¨æ˜Žæ—¥
Embulk v0.9 @ PLAZMA OSS Day / TD Tech Talk 2018-02
ã“ã®ãƒ–ラウザ ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã®ã‚µãƒãƒ¼ãƒˆã¯çµ‚了ã—ã¾ã—ãŸã€‚サãƒãƒ¼ãƒˆã•ã‚Œã¦ã„るブラウザã«ã‚¢ãƒƒãƒ—グレードã—ã¦ãã ã•ã„。
大é‡ãƒ‡ãƒ¼ã‚¿ã®è»¢é€ã«Embulkを使ã£ã¦ã¿ãŸã‚‰æœ¬å½“ã«æ¥½ã ã£ãŸ - CARTA TECH BLOG
ã¯ã˜ã‚ã¾ã—ã¦ã€‚Zucks Affiliateã§ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ã‚’ã—ã¦ã„る宗岡ã§ã™ã€‚ 今回ã¯ã€ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ 性ã¯æ±‚ã‚ãªã„ã‘ã©ã€ç°¡å˜ã«å¤§é‡ã®ãƒ‡ãƒ¼ã‚¿ã‚’ã©ã“ã‹åˆ¥ã®å ´æ‰€ã«è»¢é€ã—ãŸã„。 ã¨ã„ã†è¦æœ›ã«ç”ãˆã¦ãれるEmbulkを紹介ã—ãŸã„ã¨æ€ã„ã¾ã™ã€‚ 実際ã«å°Žå…¥ã«è‡³ã£ãŸãã£ã‹ã‘ã‚„ã€é‹ç”¨ä¸Šã‚ˆãã‚る課題ãªã©ã‚‚触れã¦ã„ããŸã„ã¨æ€ã„ã¾ã™ã€‚ åŒã˜å¢ƒé‡ã®äººãŒã€Œç°¡å˜ãã†ã ã—Embulk使ã£ã¦ã¿ã‚ˆã†ã‹ãªã€ã¨ãªã£ã¦ã„ãŸã ã‘ã‚Œã°å¹¸ã„ã§ã™ã€‚ 目次 目次 背景 Embulk以外ã«ã‚‚出ã¦ããŸæ¡ˆ 実際ã®Embulkã®å°Žå…¥ã¨ä½¿ã„æ–¹ 1. Embulkã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ã¨ã‚»ãƒƒãƒˆã‚¢ãƒƒãƒ— 2. å¿…è¦ãªãƒ—ラグインã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ« 3. è¨å®šãƒ•ã‚¡ã‚¤ãƒ«ã‚’書ã 実務ã§codecommitを使ã£ãŸä¾‹ è¨å®šãƒ•ã‚¡ã‚¤ãƒ«ã®æ›¸ãæ–¹ 4. ã¾ãšã¯previewã§å•é¡Œãªã•ãã†ã‹ç¢ºèª 5. å•é¡Œãªã•ãã†ãªã®ã§runã—ã¦å®Ÿè¡Œ Embulkã®é‹ç”¨ä¸Šã€ã‚ˆãã¶ã¤ã‹ã‚‹èª²é¡Œ 1. é‡è¤‡ã«æ°—付
Embulk YAMLメモ(Hishidama's Embulk YAML Memo)
コãƒãƒ³ã€Œ:ã€ã®ç›´å¾Œã®ç©ºç™½ã¯å¿…é ˆã®ã‚ˆã†ã 。[2015-10-31] è¡Œé ã«ãƒã‚¤ãƒ•ãƒ³ã€Œ-ã€ãŒã‚ã‚‹ã®ã¯ã€é…列（ã®å„è¦ç´ ）。 値ã®ãƒªã‚¹ãƒˆï¼ˆä¸€è¦§ï¼‰ã‚’記述ã™ã‚‹ã‚‚ã®ã®ã‚ˆã†ã 。 一行ã§è¨˜è¼‰ã—ãŸã„å ´åˆã¯è§’括弧ã§å›²ã‚€ã€‚[2015-10-31] 角括弧ã§å›²ã‚€æ–¹æ³• 複数行ã«åˆ†ã‘ã¦è¨˜è¿°ã™ã‚‹æ–¹æ³• Embulkã®YAMLファイルã®æ§‹é€ Embulkã®YAMLファイル（よãconfig.ymlã¨ã„ã†ãƒ•ã‚¡ã‚¤ãƒ«åã§ä¾‹ãŒæŒ™ã’られã¦ã„る）ã ã¨ã€ã¾ãšã€ã‚ーãŒã€Œinã€ã‚„「outã€ã¨ãªã£ã¦ã„ã‚‹ãƒãƒƒã‚·ãƒ¥ã‚’指定ã™ã‚‹ã€‚ config.yml： in: ～ out: ～ inã‚„outã®å€¤ã¯ã•ã‚‰ã«ãƒãƒƒã‚·ãƒ¥ãªã®ã§ã€æ³¢æ‹¬å¼§ã§å›²ã‚“ã ブãƒãƒƒã‚¯ã«ã—ã¦ã‚‚ã„ã„ã ã‚ã†ãŒã€æ•°ãŒå¤šã„ã®ã§ã€è¤‡æ•°è¡Œã«åˆ†ã‘ã¦è¨˜è¿°ã—ã¦ã„ã‚‹ã®ã ã‚ã†ã€‚ 複数行ã«ã™ã‚‹å ´åˆã¯ã€ã‚¤ãƒ³ãƒ‡ãƒ³ãƒˆã‚’増やã—ã€å„è¡Œã®ã‚¤ãƒ³ãƒ‡ãƒ³ãƒˆï¼ˆæ¡ä½ç½®ï¼‰ã¯çµ±ä¸€ã™ã‚‹ã€‚ config.yml： in: {type: file, p
Embulk, an open-source plugin-based parallel bulk data loader
1. Sadayuki Furuhashi Founder & Software Architect Treasure Data, inc. EmbulkAn open-source plugin-based parallel bulk data loader that makes painful data integration work relaxed. Sharing our knowledge on RubyGems to manage arbitrary ï¬les. 2. A little about me... > Sadayuki Furuhashi > github/twitter: @frsyuki > Treasure Data, Inc. > Founder & Software Architect > Open-source hacker > MessagePack
Re:dash ã®PostgreSQL 㸠CSVファイルを Digdag * Embulk 経由ã§ç™»éŒ²ã™ã‚‹ - Qiita
0.ã¯ã˜ã‚ã« ã“ã¡ã‚‰ã¯re:dash Advent Calendar 2016ã®22日目ã®è¨˜äº‹ã§ã™ã€‚ Advent Calendarã«ã¤ã„ã¦å‡ºé…ã‚ŒãŸã¨æ€ã£ã¦ã„ãŸã¨ã“ã‚ã€ã€ã€ ã“ã¡ã‚‰ã¯ã¾ã 空ãæž ãŒã‚ã‚Šã¾ã—ãŸã®ã§å‚åŠ ã—ã¾ã—ãŸã€‚ Mac上ã§ä»¥ä¸‹ã®ã‚ˆã†ãªæ„Ÿã˜ã§ CSVファイルを digdag -> embulk ->　(Re:dashã®)PostgreSQLã¸æ ¼ç´ã—ã¦Re：dashã‹ã‚‰è¦‹ã‚‹ã¨ã“ã‚ã¾ã§ã‚’記事ã«ã—ã¾ã™ã€‚ ãƒ‡ãƒ¢ã‚„ç´ æŒ¯ã‚Šç”¨ãªã©ã®å‚考ã«ã—ã¦é ‚ã‘ã‚Œã°ã¨æ€ã„ã¾ã™ã€‚ 以下ã¯ä»Šå›žæœ¬è¨˜äº‹ã§ã¯å–り扱ã„ã¾ã›ã‚“ãŒä»¥å‰æ›¸ãã¾ã—ãŸã“ã¡ã‚‰ã®è¨˜äº‹ã‚„ã€ã“ã¡ã‚‰ã®è¨˜äº‹ã‚’å‚考ã«å¿œç”¨ã™ã‚‹ã¨ChatOpsçš„ãªæ„Ÿã˜ã§ãƒ‡ãƒ¼ã‚¿ç™»éŒ²ãŒå¯èƒ½ã§ã™ã€‚ 1.環境 OSX Yosemite Docker version 1.13.0-rc3, build 4d92237 docker-compose version 1.9.0, build 2
Embulk界隈ã§è©±é¡Œã«ãªã£ã¦ã„る分散ワークフãƒãƒ¼ã‚¨ãƒ³ã‚¸ãƒ³ã€ŒDigDagã€ã«ã¤ã„ã¦èª¿ã¹ã¦ã¿ãŸ #digdag | DevelopersIO
ã“ã‚“ã«ã¡ã¯ã€æœ€è¿‘Embulk（エンãƒãƒ«ã‚¯ï¼‰ã‚’調ã¹ã¦ã„ã‚‹å·å´Žã§ã™ã€‚ タイトルã®ã€ŒDigDagã€ï¼ˆãƒ‡ã‚£ã‚°ãƒ€ã‚°ï¼‰ *1ã¨èžã„ã¦â—‹ã‚¡ãƒŸã‚³ãƒ³ã‚„○ムコをæ€ã„æµ®ã‹ã¹ãŸæ–¹ã¯ãã£ã¨ã‚¢ãƒ©ã‚µãƒ¼ä»¥ä¸Šã§ã™ãï¼ ä»Šå›žã¯Embulkを使ã„始ã‚ã‚‹ã¨ç›´é¢ã™ã‚‹ã§ã‚ã‚ã†èª²é¡Œã«ã¤ã„ã¦æ›¸ã„ã¦ã„ããŸã„ã¨æ€ã„ã¾ã™ã€‚ ã“ã‚Œã¾ã§ã«æ›¸ã„ãŸEmbulkエントリー [Embulk] Embulkã«ã¤ã„ã¦ã®å€‹äººçš„ãªã¾ã¨ã‚ [Embulk] guess機能を試ã—ã¦ã¿ãŸã€è¿½è¨˜ã€‘ã‚ã‚Š [Embulk] guess機能を試ã—ã¦ã¿ãŸ Redshiftç·¨ [Embulk] タイムスタンプã®ã‚«ãƒ©ãƒ ã‚’è¿½åŠ ã™ã‚‹ [Embulk] タイムスタンプã®ã‚«ãƒ©ãƒ ã‚’è¿½åŠ ã™ã‚‹ add_timeプラグイン編 [Embulk] guess機能を試ã—ã¦ã¿ãŸ (テーブルãŒå˜åœ¨ã™ã‚‹å ´åˆ) Embulkを使ã„ã¯ã˜ã‚ã‚‹ã¨... Embulkã¯ãƒ‡ãƒ¼ã‚¿ãƒ•ã‚¡ã‚¤ãƒ«ã®ä¸èº«ã‚’DBã«ãƒãƒ¼ãƒ‰ã™ã‚‹ã‚ˆã†ãªç”¨é€”ã§
Embulkã¨Digdagã¨ãƒ‡ãƒ¼ã‚¿åˆ†æžåŸºç›¤ã¨
2. WHO AM I ? • Toru Takahashi (@nora96o) • Treasure Data, Inc. • Support Engineering Manager • メールã«ãƒãƒ£ãƒƒãƒˆã«ã€ãƒ–ãƒã‚°æ›¸ã„ãŸã‚Šã€ã‚³ãƒ¼ãƒ‰ã‚’書ã„ãŸã‚Šã€ • http://qiita.com/toru-takahashi • æ°—ã¥ãã¨ã€ç¤¾ä¼šäººï¼”å¹´ç›®ã«çªå…¥ãƒ»ãƒ»ãƒ» 2 3. 質å•ã§ã™ï¼ • Treasure Data ã‚’ 知ã£ã¦ã„る人㯠？ • Fluentd ã‚’ 知ã£ã¦ã„る人㯠？ • Embulkを知ã£ã¦ã„る人ã¯ï¼Ÿ • Digdagã‚’èžã„ãŸã“ã¨ãŒã‚る人ã¯ï¼Ÿ • インフラ / 分æžåŸºç›¤ を普段ã‹ã‚‰é‹ç”¨ã‚„開発をã—ã¦ã„る人ã¯ï¼Ÿ • iOS / Android / Unity / フãƒãƒ³ãƒˆã‚¨ãƒ³ãƒ‰ã®äººã¯ï¼Ÿ 3
Embulk: Docs
Built-in Plugins Configuration Embulk configuration file format Local file input plugin CSV parser plugin JSON parser plugin Gzip decoder plugin BZip2 decoder plugin File output plugin CSV formatter plugin Gzip encoder plugin BZip2 encoder plugin Rename filter plugin Remove columns filter plugin Local executor plugin Guess executor Preview executor Logo Images Logo Square Horizontal Icon Customiza
並列データ転é€ãƒ„ール『Embulkã€ãƒªãƒªãƒ¼ã‚¹ï¼ - Blog by Sadayuki Furuhashi
ã“ã‚“ã«ã¡ã¯ã€‚å¤æ©‹ã§ã™ã€‚ 先日ã®*1 データ転é€ãƒŸãƒ‰ãƒ«ã‚¦ã‚§ã‚¢å‹‰å¼·ä¼šã§ã€æ–°ã—ã„オープンソースツール Embulk をリリースã—ã¾ã—ãŸã€‚ Embulk, an open-source plugin-based parallel bulk data loader from Sadayuki Furuhashi Embulk ã¯ã€ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ ãªãƒã‚°åŽé›†ã§ã¯å¸¸è˜ã¨ãªã£ãŸ fluentd ã®ãƒãƒƒãƒç‰ˆã®ã‚ˆã†ãªãƒ„ールã§ã€ãƒ•ã‚¡ã‚¤ãƒ«ã‚„データベースã‹ã‚‰ãƒ‡ãƒ¼ã‚¿ã‚’å¸ã„出ã—ã€åˆ¥ã®ã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸ã‚„データベースã«ãƒãƒ¼ãƒ‰ã™ã‚‹ãŸã‚ã®ã‚³ãƒ³ãƒ‘クトãªãƒ„ールã§ã™ã€‚ fluentd ã¨åŒæ§˜ã«ãƒ—ラグイン型ã®ã‚¢ãƒ¼ã‚テクãƒãƒ£ã‚’採用 ã—ã¦ã„ã‚‹ãŸã‚ã€Rubyã‚„Javaã§ç°¡å˜ãªã‚³ãƒ¼ãƒ‰ã‚’書ãã“ã¨ã§ã€æ§˜ã€…ãªãƒ•ã‚¡ã‚¤ãƒ«ãƒ•ã‚©ãƒ¼ãƒžãƒƒãƒˆã‚„ストレージã«å¯¾å¿œã™ã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚一方㧠fluentd ã¨ã¯ç•°ãªã‚Šã€é«˜é€Ÿæ€§ã‚„トランザクション制御ã€ã‚¹ã‚ーマを使ã£ãŸãƒ‡ãƒ¼ã‚¿ã®ãƒãƒª
1
ãŠçŸ¥ã‚‰ã›
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
embulk 0.9.0 㧠embulk gem ãŒãƒªãƒªãƒ¼ã‚¹ã•ã‚Œãªããªã£ãŸä»¶ã«ã¤ã„㦠- Qiita
GitHub - yuokada/embulk-input-randomj: Embulk plugin for generating dummy records by Java.
ã€Embulk】embulk-filter-evalã¨embulk-filter-ruby_proc速度比較 - Qiita
{{#tags}}- {{label}}
{{/tags}}