embulk java-filter plugin ã®ãƒ†ã‚¹ãƒˆã®æ›¸ãæ–¹ - Qiita
ã“ã‚“ã«ã¡ã¯ã€‚@Civitaspo ã§ã™ã€‚先日12/15 ã® Embulk Meetup Tokyo#2 ã§ã¯ã€ã€ŽEmbulkã«è¶³ã‚Šãªã„5ã¤ã®ã‚³ãƒˆã€ã¨ã„ã†å–§å˜©è…°ãªã‚¿ã‚¤ãƒˆãƒ«ã§ç™ºè¡¨ã•ã›ã¦ã„ãŸã ãã¾ã—ãŸã€‚ãŠã‹ã’ã§è‰²ã‚“ãªæ–¹ã¨embulkã«ã¤ã„ã¦è°è«–ã§ããŸè‰¯ã„Meetupã«ãªã‚Šã¾ã—ãŸã€‚呼んã§ãã ã•ã£ãŸ @frsyuki ã¨ã€è£ã‹ã‚‰æ”¯ãˆã¦ä¸‹ã•ã£ãŸ @sonots ã«ã¯ã“ã®å ´ã‚’ãŠå€Ÿã‚Šã—ã¦æ„Ÿè¬ã®æ„ã‚’ä¼ãˆãŸã„ã¨æ€ã„ã¾ã™ã€‚ã‚ã‚ŠãŒã¨ã†ã”ã–ã„ã¾ã—ãŸã€‚ ã•ã¦ã€ä»Šæ—¥ã¯ embulk java-filter plugin ã®ãƒ†ã‚¹ãƒˆã®æ›¸ãæ–¹ ã«ã¤ã„ã¦è¨˜äº‹ã‚’書ã“ã†ã¨æ€ã„ã¾ã™ã€‚ ãŠã“ã¨ã‚ã‚Š 話を簡å˜ã«ã™ã‚‹ãŸã‚ã«java-filter pluginã®ãƒ†ã‚¹ãƒˆã®æ›¸ãæ–¹ã«focusã—ã¦ã„ã¾ã™ãŒã€ä»–ã®typeã®java pluginã§ã‚‚応用ã§ãる内容ã ã¨æ€ã£ã¦ã„ã¾ã™ã€‚ EmbulkEmbedを使ã£ãŸãƒ†ã‚¹ãƒˆã‚‚書ã‘ã¾ã™ãŒä»Šå›žã¯ç´¹ä»‹ã—ã¾ã›ã‚“。
ãƒã‚°åŽé›†åŸºç›¤ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ 「Fluentdã€ã€ã€ŒEmbulkã€ã‚’通信ã‚ャリアå‘ã‘ソリューションã¨ã—ã¦ã€ä¸‰è±é›»æ©Ÿã‚¤ãƒ³ãƒ•ã‚©ãƒ¡ãƒ¼ã‚·ãƒ§ãƒ³ã‚·ã‚¹ãƒ†ãƒ ã‚ºæ ªå¼ä¼šç¤¾ã«æä¾› - Treasure Data
ãƒã‚°åŽé›†åŸºç›¤ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ 「Fluentdã€ã€ã€ŒEmbulkã€ã‚’通信ã‚ャリアå‘ã‘ソリューションã¨ã—ã¦ã€ä¸‰è±é›»æ©Ÿã‚¤ãƒ³ãƒ•ã‚©ãƒ¡ãƒ¼ã‚·ãƒ§ãƒ³ã‚·ã‚¹ãƒ†ãƒ ã‚ºæ ªå¼ä¼šç¤¾ã«æä¾› 米国トレジャーデータ社(以下「トレジャーデータã€)ã¯ã€é€šä¿¡ã‚ャリアå‘ã‘ã®ãƒã‚°åŽé›†åŸºç›¤ã‚½ãƒ•ãƒˆã‚¦ã‚¨ã‚¢ã€ŒFluentdã€ãŠã‚ˆã³ã€ŒEmbulkã€ã®å°Žå…¥ãƒ»é‹ç”¨ã‚µãƒãƒ¼ãƒˆã‚’三è±é›»æ©Ÿã‚¤ãƒ³ãƒ•ã‚©ãƒ¡ãƒ¼ã‚·ãƒ§ãƒ³ã‚·ã‚¹ãƒ†ãƒ ã‚ºæ ªå¼ä¼šç¤¾ï¼ˆæ³¨1ã€ä»¥ä¸‹ã€ŒMDISã€ï¼‰ã«æä¾›ã—ã¦ã¾ã„ã‚Šã¾ã™ã®ã§ã€ãŠçŸ¥ã‚‰ã›ã„ãŸã—ã¾ã™ã€‚ 「Fluentdã€ãŠã‚ˆã³ã€ŒEmbulkã€ã¯ã€ãƒˆãƒ¬ã‚¸ãƒ£ãƒ¼ãƒ‡ãƒ¼ã‚¿ãŒé–‹ç™ºã—ãŸã‚ªãƒ¼ãƒ—ンソースã®ãƒã‚°åŽé›†åŸºç›¤ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã§ã™ã€‚「Fluentdã€ã¯ã€ãƒã‚°ãƒ‡ãƒ¼ã‚¿ã‚’ストリーミングã§ã‚¢ãƒƒãƒ—ãƒãƒ¼ãƒ‰ã™ã‚‹æ©Ÿèƒ½ã‚’有ã—ã€ã€ŒEmbulkã€ã¯ä»–ã®ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã«ã‚るデータãªã©ã‚’ãƒãƒƒãƒã§å–り込むソフトウェアã§ã™ã€‚ã„ãšã‚Œã‚‚ã€ä¼æ¥ãŒä¿æœ‰ã™ã‚‹å¤§é‡ã®ãƒ‡ãƒ¼ã‚¿ã‚’効率よãåŽé›†ãƒ»ç®¡ç†ã™ã‚‹ã“ã¨ãŒã§ãã‚‹ã“ã¨ã‹ã‚‰ã€å¤§è¦æ¨¡W
83億レコードを移行ã—ã€æ—¥ã€…2,500万レコードã®ã‚¢ã‚¯ã‚»ã‚¹ãƒã‚°ã‚’BigQueryã«è¨˜éŒ²ã—ã¦ã„る話（インフラ編） - Money Forward Developers Blog
ã“ã‚“ã«ã¡ã¯ã€‚ インフラエンジニアã®æ‘上ã§ã™ã€‚ マãƒãƒ¼ãƒ•ã‚©ãƒ¯ãƒ¼ãƒ‰ã®ã‚¤ãƒ³ãƒ•ãƒ©ãƒãƒ¼ãƒ ã¯ã€ã‚µãƒ¼ãƒ“スã«é–¢ã‚るインフラã‹ã‚‰ã€è‡ªç¤¾ã®ä½œæ¥ç’°å¢ƒã€é–‹ç™ºç’°å¢ƒã€ã•ã‚‰ã«ã¯ã‚µãƒ¼ãƒ“スã®ã‚¤ãƒ³ãƒ•ãƒ©ã®ä¸ã§ã‚‚物ç†çš„ãªã‚‚ã®ã‹ã‚‰OS・ミドルウェア・アプリケーションã®ãƒ¡ãƒ³ãƒ†ãƒŠãƒ³ã‚¹ãƒ»ãƒ“ルド・リリース・é‹ç”¨ã¾ã§å¹…広ã関与ã—ã¦ã„ã¾ã™ã€‚ 今回ã¯Google Cloud Platformã®BigQueryを活用ã—ã¦ã‚¢ã‚¯ã‚»ã‚¹ãƒã‚°ã®åˆ†æžç’°å¢ƒã‚’構築ã—ãŸæ™‚ã®è©±ã‚’紹介ã—ã¾ã™ã€‚ ã“ã®è¨˜äº‹ã«æ›¸ã‹ã‚Œã‚‹äº‹ データ分æžåŸºç›¤ã¨ã—ã¦BigQueryを使用ã—ãŸè©±ã¨ データé‡ã‚’例示ã—ãªãŒã‚‰ä½¿ç”¨ã‚’開始ã—ãŸæ™‚ã®ãƒˆãƒ©ãƒ–ルシュートã¨ãƒ‘フォーマンスã«ã¤ã„ã¦ç´¹ä»‹ã™ã‚‹ã€‚ データ移行ã®ã‚³ãƒ„ã‚‚ã†ã¾ãå«ã‚ãªãŒã‚‰æ›¸ã„ã¦ã„ã。 BigQueryを採用ã—ãŸè¨³ マãƒãƒ¼ãƒ•ã‚©ãƒ¯ãƒ¼ãƒ‰ã®å®¶è¨ˆç°¿ã¯350万人以上ã®ãŠå®¢æ§˜ã«åˆ©ç”¨ã„ãŸã ã〠アクセスãƒã‚°ã¯æ—¥ã€…2.500万件程度増ãˆã¦ãŠã‚Šã¾ã™ã€‚ サービス開始ã‹ã‚‰
Digdag + embulk + BigQuery + Re:dash ã§ãƒ‡ãƒ¼ã‚¿åˆ†æžåŸºç›¤æ§‹ç¯‰ã®å¤¢ã‚’見る - 雑ãªãƒ¡ãƒ¢
Digdag ㌠Apache License 2.0 ã®å…ƒã§ã‚ªãƒ¼ãƒ—ンソース化ã•ã‚Œã¾ã—ãŸã‚ˆï¼ ã•ã試ã™ã‚“ã â€¦ï¼ ä»Šã™ãã«ã§ã‚‚ï¼ https://t.co/Uzc4a5GLCe ドã‚ュメント：https://t.co/PF8wy5KHln— Sadayuki Furuhashi (@frsyuki) 2016å¹´6月15æ—¥ DigdagãŒå…ˆæ—¥ãƒªãƒªãƒ¼ã‚¹ã•ã‚ŒãŸã®ã‚’ãã£ã‹ã‘ã«ãƒ‡ãƒ¼ã‚¿åˆ†æžåŸºç›¤æ§‹ç¯‰ã®å¤¢ã‚’見ãŸã€‚ 今回ã¯ã€Google Cloud Platform（以下ã€GCP）ã®ã‚³ã‚¹ãƒˆã‚’å¯è¦–化ã‹ã¤åˆ†æžå¯èƒ½ã«ã—ã¦ã¿ã¦ã€ã¾ãšã¯Digdagã®ä½¿ç”¨æ„Ÿã‚’試ã—ã¦ã¿ã‚‹ã“ã¨ã«ã™ã‚‹ã€‚ 事å‰çŸ¥è˜ Digdagã¨ã¯ Workload Automation Systemã§ã‚る。以下ã®è¨˜äº‹ãŒè©³ã—ã„。 Embulkã¨Digdagã¨ãƒ‡ãƒ¼ã‚¿åˆ†æžåŸºç›¤ã¨ 分散ワークフãƒãƒ¼ã‚¨ãƒ³ã‚¸ãƒ³ã€ŽDigDagã€ã®å®Ÿè£… at Tokyo RubyKaigi
Embulkã¨Digdagã¨ãƒ‡ãƒ¼ã‚¿åˆ†æžåŸºç›¤ã¨
2. WHO AM I ? • Toru Takahashi (@nora96o) • Treasure Data, Inc. • Support Engineering Manager • メールã«ãƒãƒ£ãƒƒãƒˆã«ã€ãƒ–ãƒã‚°æ›¸ã„ãŸã‚Šã€ã‚³ãƒ¼ãƒ‰ã‚’書ã„ãŸã‚Šã€ • http://qiita.com/toru-takahashi • æ°—ã¥ãã¨ã€ç¤¾ä¼šäººï¼”å¹´ç›®ã«çªå…¥ãƒ»ãƒ»ãƒ» 2 3. 質å•ã§ã™ï¼ • Treasure Data ã‚’ 知ã£ã¦ã„る人㯠？ • Fluentd ã‚’ 知ã£ã¦ã„る人㯠？ • Embulkを知ã£ã¦ã„る人ã¯ï¼Ÿ • Digdagã‚’èžã„ãŸã“ã¨ãŒã‚る人ã¯ï¼Ÿ • インフラ / 分æžåŸºç›¤ を普段ã‹ã‚‰é‹ç”¨ã‚„開発をã—ã¦ã„る人ã¯ï¼Ÿ • iOS / Android / Unity / フãƒãƒ³ãƒˆã‚¨ãƒ³ãƒ‰ã®äººã¯ï¼Ÿ 3
Embulk界隈ã§è©±é¡Œã«ãªã£ã¦ã„る分散ワークフãƒãƒ¼ã‚¨ãƒ³ã‚¸ãƒ³ã€ŒDigDagã€ã«ã¤ã„ã¦èª¿ã¹ã¦ã¿ãŸ #digdag | DevelopersIO
ã“ã‚“ã«ã¡ã¯ã€æœ€è¿‘Embulk（エンãƒãƒ«ã‚¯ï¼‰ã‚’調ã¹ã¦ã„ã‚‹å·å´Žã§ã™ã€‚ タイトルã®ã€ŒDigDagã€ï¼ˆãƒ‡ã‚£ã‚°ãƒ€ã‚°ï¼‰ *1ã¨èžã„ã¦â—‹ã‚¡ãƒŸã‚³ãƒ³ã‚„○ムコをæ€ã„æµ®ã‹ã¹ãŸæ–¹ã¯ãã£ã¨ã‚¢ãƒ©ã‚µãƒ¼ä»¥ä¸Šã§ã™ãï¼ ä»Šå›žã¯Embulkを使ã„始ã‚ã‚‹ã¨ç›´é¢ã™ã‚‹ã§ã‚ã‚ã†èª²é¡Œã«ã¤ã„ã¦æ›¸ã„ã¦ã„ããŸã„ã¨æ€ã„ã¾ã™ã€‚ ã“ã‚Œã¾ã§ã«æ›¸ã„ãŸEmbulkエントリー [Embulk] Embulkã«ã¤ã„ã¦ã®å€‹äººçš„ãªã¾ã¨ã‚ [Embulk] guess機能を試ã—ã¦ã¿ãŸã€è¿½è¨˜ã€‘ã‚ã‚Š [Embulk] guess機能を試ã—ã¦ã¿ãŸ Redshiftç·¨ [Embulk] タイムスタンプã®ã‚«ãƒ©ãƒ ã‚’è¿½åŠ ã™ã‚‹ [Embulk] タイムスタンプã®ã‚«ãƒ©ãƒ ã‚’è¿½åŠ ã™ã‚‹ add_timeプラグイン編 [Embulk] guess機能を試ã—ã¦ã¿ãŸ (テーブルãŒå˜åœ¨ã™ã‚‹å ´åˆ) Embulkを使ã„ã¯ã˜ã‚ã‚‹ã¨... Embulkã¯ãƒ‡ãƒ¼ã‚¿ãƒ•ã‚¡ã‚¤ãƒ«ã®ä¸èº«ã‚’DBã«ãƒãƒ¼ãƒ‰ã™ã‚‹ã‚ˆã†ãªç”¨é€”ã§
ã¿ã‚“ãªã®ã‚¦ã‚§ãƒ‡ã‚£ãƒ³ã‚°ã®ãƒ‡ãƒ¼ã‚¿åˆ†æžåŸºç›¤ã®ç¾çŠ¶ — ã¿ã‚“ãªã®ã‚¦ã‚§ãƒ‡ã‚£ãƒ³ã‚°ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ãƒªãƒ³ã‚°ãƒ–ãƒã‚°
ã“ã‚“ã«ã¡ã¯ã€ã¿ã‚“ãªã®ã‚¦ã‚§ãƒ‡ã‚£ãƒ³ã‚°ã®å°å®¤ (id:hogelog) ã§ã™ã€‚ 今回ã¯ã¿ã‚“ãªã®ã‚¦ã‚§ãƒ‡ã‚£ãƒ³ã‚°ã«ãŠã‘るデータ分æžåŸºç›¤ã®ç¾çŠ¶ã«ã¤ã„ã¦ã”å ±å‘Šã•ã›ã¦ã„ãŸã ãã¾ã™ã€‚ 三行ã¾ã¨ã‚ å¿™ã—ã„人ã®ãŸã‚ã«å…ˆã«çµè«–を書ã㨠bricolage 㨠embulk 㧠Redshift ã«é›†ã‚㦠re:dash ã§åˆ†æž ã§ã™ã€‚ データåŽé›† データåŽé›†ã¯ bricolage ã®ã‚¸ãƒ§ãƒ–ãƒãƒƒãƒˆæ©Ÿæ§‹ã‚’用ã„㦠bricolage ã®å„種ジョブや embulk を連æºã•ã›ã€Redshift ã«ãƒ‡ãƒ¼ã‚¿ã‚’å–り込んã§ã„ã¾ã™ã€‚ å‚考ã¾ã§ã« https://github.com/hogelog/dwh-example ã«ç°¡å˜ãªæ§‹æˆä¾‹ã‚’準備ã—ã¾ã—ãŸã€‚ MySQL → Redshift ã¿ã‚“ãªã®ã‚¦ã‚§ãƒ‡ã‚£ãƒ³ã‚° http://www.mwed.jp/ ã®ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã¨ã—ã¦ã¯ MySQL を利用ã—ã¦ã„ã¾ã™ã€‚ MySQL ã‹ã‚‰ Redshi
Embulkã§ã‚„ã‚ŠãŸã„ã“ã¨ãƒªã‚¹ãƒˆï¼ˆ2015å¹´7月版） - Blog by Sadayuki Furuhashi
ãƒãƒ«ã‚¯ãƒãƒ¼ãƒ‰æ©Ÿèƒ½ 1ã¤ã®è¨å®šãƒ•ã‚¡ã‚¤ãƒ«ã§è¤‡æ•°ã‚¸ãƒ§ãƒ–を実行ã™ã‚‹ Running multiple jobs using one config file · Issue #167 · embulk/embulk · GitHub 例ãˆã° users.csv 㨠histories.csv ã®2ã¤ã®ãƒ•ã‚¡ã‚¤ãƒ«ã‚’ã€ãã‚Œãžã‚ŒPostgreSQLã«ã‚ã‚‹ users 㨠histories ã®2ã¤ã®ãƒ†ãƒ¼ãƒ–ル ã«ãƒãƒ¼ãƒ‰ã—ãŸã„ã¨ã„ã†ã‚ˆã†ãªãƒ¦ãƒ¼ã‚¹ã‚±ãƒ¼ã‚¹ã«å¯¾å¿œã™ã‚‹æ©Ÿèƒ½ã€‚ è¨å®šãƒ•ã‚¡ã‚¤ãƒ«ã®æ§‹æ–‡ã¯issueã«æ›¸ã„ã¦ã‚るよã†ã«ã€default: ã«æ›¸ã並ã¹ãŸè¨å®šã«å¯¾ã—ã¦ã€jobs: ã«æ›¸ã„ãŸè¨å®šã‚’マージã—ãŸã‚‚ã®ã‚’実際ã®è¨å®šãƒ•ã‚¡ã‚¤ãƒ«ã¨ã—ã¦å®Ÿè¡Œã—ã¦ã„ã方法ã§è‰¯ã•ãã†ã€‚ã—ã‹ã—ã€fliters: ã¯é…列ãªã®ã§ã€default: ã«æ›¸ã‹ã‚ŒãŸ filters: ã« jobs: ã«æ›¸ã‹ã‚ŒãŸ filters: ã‚’ã©ã†ãƒžãƒ¼ã‚¸ã™ã‚‹ã‹ã€ã‚ã¾ã‚Šè‰¯
Embulkフォーマッタープラグイン作æˆãƒ¡ãƒ¢(Hishidama's Embulk java-formatter Memo)
æ¦‚è¦ ãƒ•ã‚©ãƒ¼ãƒžãƒƒã‚¿ãƒ¼ãƒ—ãƒ©ã‚°ã‚¤ãƒ³ï¼ˆjava-formatter）ã¯ã€èªã¿è¾¼ã¾ã‚ŒãŸãƒ‡ãƒ¼ã‚¿ã‚’ファイル出力用ã«æ•´å½¢ã™ã‚‹ãƒ—ラグイン。 （例ãˆã°CSVファイルã¨ã—ã¦ãƒ‡ãƒ¼ã‚¿ã‚’行・カラムã”ã¨ã«åˆ†è§£ã™ã‚‹ï¼‰ プãƒã‚¸ã‚§ã‚¯ãƒˆã®ä½œæˆ Javaパーサープラグインã¯ä»¥ä¸‹ã®ã‚³ãƒžãƒ³ãƒ‰ã§ãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆã‚’作æˆã™ã‚‹ã€‚ $ embulk new java-formatter poi-excel 最後ã®å¼•æ•°ã®ã€Œpoi-excelã€ã¯ã€ãƒ—ラグインåを表ã™ã€‚ ã“ã‚Œã§ã€ã€Œembulk-formatter-poi_excelã€ã¨ã„ã†ãƒ‡ã‚£ãƒ¬ã‚¯ãƒˆãƒªãƒ¼ãŒä½œã‚‰ã‚Œã€ãã®ä¸‹ã«ã‚½ãƒ¼ã‚¹é¡žä¸€å¼ãŒç”Ÿæˆã•ã‚Œã‚‹ã€‚ プãƒã‚¸ã‚§ã‚¯ãƒˆã‚’作æˆã—ãŸã‚‰ã€ã¾ãšä»¥ä¸‹ã®ã‚³ãƒžãƒ³ãƒ‰ã‚’実行ã™ã‚‹ã€‚ $ cd embulk-formatter-poi_excel $ ./gradlew package 生æˆã•ã‚ŒãŸãƒ—ラグインã®ä¸æ ¸ã¯ã€src/main/javaã®ä¸‹ã®FormatterPluginク
Embulkã®ã‚³ãƒžãƒ³ãƒ‰ãƒ˜ãƒ«ãƒ—ã¾ã¨ã‚ - Qiita
Embulk v0.8.3 Usage: embulk [-vm-options] <command> [--options] Commands: mkbundle <directory> # create a new plugin bundle environment. bundle [directory] # update a plugin bundle environment. run <config.yml> # run a bulk load transaction. cleanup <config.yml> # cleanup resume state. preview <config.yml> # dry-run the bulk load without output and show preview. guess <partial-config.yml> -o <outp
Embulk ã®ãƒ—ラグイン開発㫠IntelliJ IDEA を使ㆠ- Qiita
Java ã®ã‚³ãƒ¼ãƒ‰ã¯æµçŸ³ã« vim ã§æ›¸ãより㯠IDE を使ã£ãŸã»ã†ãŒã„ã„よãªã€ã¨æ€ã£ãŸã®ã§è©¦ã—ã¦ã¿ãŸãƒ¡ãƒ¢ã€‚対象㯠Java 㪠Embulk ã®ãƒ—ラグインã®é–‹ç™ºã§ã€JRuby ãªãƒ—ラグインã®é–‹ç™ºã®å ´åˆã¯ã¾ã 試ã—ã¦ã„ãªã„ã€ã¨ã„ã†ã‹ vim ã§ã„ã„ã‹ãªã¨æ€ã£ã¦ã„ã¦è©¦ã—ã¦ã„ãªã„。 補完利ã„ã¦ãƒ–レークãƒã‚¤ãƒ³ãƒˆãŒè²¼ã‚Œã‚‹ã‚ˆã†ã«ãªã£ãŸã®ã§æœ€é«˜ã€‚ IntelliJ IDEA ã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ« çœç•¥ã—ã¾ã™ã€‚https://www.jetbrains.com/idea/ ã¸ã©ã†ãžã€‚ JAVA_HOME を調ã¹ã¦ãŠãå¿…è¦ãŒã‚ã‚‹ã®ã§ã€Mac ã®å ´åˆ ã®ã‚ˆã†ã«ã—ã¦èª¿ã¹ã¦ãŠãã¨è‰¯ã„。 プãƒã‚¸ã‚§ã‚¯ãƒˆã®èªã¿è¾¼ã¿ IntelliJ ã‚’èµ·å‹•ã—ã¦ã€Open ã‚’é¸ã³ã€ãƒ—ラグインã®ãƒ‡ã‚£ãƒ¬ã‚¯ãƒˆãƒªã‚’é–‹ã㨠Gradle プãƒã‚¸ã‚§ã‚¯ãƒˆã¨ã—ã¦èªè˜ã•ã‚Œã‚‹ã¯ãšãªã®ã§ã€ã‚ã¨ã¯ä»¥ä¸‹ã®ã‚ˆã†ã«è¨å®šã™ã‚‹ã¨è‰¯ã„．基本的ã«ã¯ã“ã‚Œã ã‘。 Use auto-
å··ã§çŸ¥ã£ãŸEmbulkプラグイン開発ノウãƒã‚¦(Javaç·¨) - Qiita
List<String> columnNames = task.getColumns(); ImmutableList.Builder<Column> builder = ImmutableList.builder(); int i = 0; for (String columnName : columnNames) { for (Column inputColumn: inputSchema.getColumns()) { if (inputColumn.getName().equals(columnName)) { Column outputColumn = new Column(i++, columnName, inputColumn.getType()); builder.add(outputColumn); break; } } } Schema outputSchema = n
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
embulk-filter-calcite | RubyGems.org | your community gem host
2017-01-18-japantaxi
Embulkã«ã‚ã£ãŸæ–¹ãŒè‰¯ã„フィルタ
Supported SQL-like Syntax with embulk-filter-row using BYACC/J and JFlex - sonots:blog
GitHub - medjed/embulk-filter-typecast: A filter plugin for Embulk to cast column type
Embulk ã® LocalExecutor プラグインã®æŒ¯ã‚‹èˆžã„ã«ã¤ã„ã¦æ•´ç† - Qiita
Embulk - ソースコードリーディング No.1 - Qiita
Embulk how to
{{#tags}}- {{label}}
{{/tags}}