embulk 㧠pure java 㨠jruby ã§ãƒ—ラグインを作ã£ãŸã¨ãã®é€Ÿåº¦æ¯”較 - QiitaDeleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
Java 㧠Embulk Output Plugin を書ã - Qiita
ã¯ã˜ã‚ã« ã™ã§ã« Ruby ã§æ›¸ã‹ã‚ŒãŸ Embulk plugins ãŒç™»å ´ã—ã¦ãŠã‚Šã€Embulk ã®åˆ©ç”¨ã‚·ãƒ¼ãƒ³ã‚‚段々ã¨å¢—ãˆã¦ã„ã‚‹ã¨æ„Ÿã˜ã¾ã™ã€‚ãã®ä¸€æ–¹ã§ã€Java ã§æ›¸ã‹ã‚ŒãŸ plugins ã¯ã¾ã ã¾ã å°‘ãªã„ã®ã§ã¯ãªã„ã‹ã¨æ€ã„ã¾ã™ã€‚ã¡ã‚‡ã†ã©ã€Embulk ã‹ã‚‰ Elasticsearch ã¸ãƒ‡ãƒ¼ã‚¿ã‚’書ã出㙠output plugin を書ã機会ãŒã‚ã£ãŸã®ã§ã€ãã® plugin ã®æ›¸ã方をメモã¨ã—ã¦æ®‹ã—ã¾ã™ã€‚ ã¾ãšã¯ Plugin Template を利用 Ruby ã§ã‚ã‚Œ Java ã§ã‚ã‚Œ plugins を作æˆã™ã‚‹ã«ã¯ã€ã¾ãš Embulk ã«ç”¨æ„ã•ã‚Œã¦ã„ã‚‹ new コマンドを実行ã™ã‚‹ã®ãŒã‚ˆã„ã‹ã¨æ€ã„ã¾ã™ã€‚New コマンドã¯ã€Plugin 開発ã«å¿…è¦ãª gradle スクリプトや Embulk 本体㌠plugins を登録ã™ã‚‹ãŸã‚ã«å¿…è¦ãªã‚¹ã‚¯ãƒªãƒ—トãªã©ã‚’自動ã§ç”Ÿæˆã—ã¾ã™ã€‚Embulk
Fluentdã®ãƒãƒƒãƒç‰ˆEmbulk(エンãƒãƒ«ã‚¯)ã®ã¾ã¨ã‚ - Qiita
Embulk(エンãƒãƒ«ã‚¯) (2016/10/05ã‹ã‚‰ãƒã‚´ãŒå¤‰ã‚ã‚Šã¾ã—ãŸã€‚変更ç†ç”±) Embulkã®ã¾ã¨ã‚2ndを作ã£ã¦ã¾ã™ã€‚ Embulk v0.11 ã§ãªã«ãŒå¤‰ã‚ã‚‹ã®ã‹: ユーザーã®çš†æ§˜ã¸ ã‚’ã”一èªãã ã•ã„。 更新時ã«ã‚³ãƒ¡ãƒ³ãƒˆã‚’書ãよã†ã«ã—ã¾ã—ãŸã€‚変更内容ã«èˆˆå‘³ã®ã‚ã‚‹æ–¹ã¯ç·¨é›†å±¥æ´ã‚’ã”覧ãã ã•ã„。 2018å¹´1月30日リリースã®embulk 0.9ã‹ã‚‰gemã¯æä¾›ã•ã‚Œãªããªã‚Šã¾ã—ãŸã€‚gem版ã¯0.8.39ã¾ã§ã¨ãªã£ã¦ã„ã¾ã™ 種類 ãƒãƒ¼ã‚¸ãƒ§ãƒ³ ãƒã‚´ã®ä¸‹ã®ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã¯é–‹ç™ºç‰ˆã®æœ€æ–°ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã‚’表ã—ã¦ã„ã¾ã™ã€‚一般ã®æ–¹ã¯0.9系を利用ã—ã¾ã—ょㆠ2015å¹´1月27æ—¥ã€Fluentdã®ãƒ¡ã‚¤ãƒ³ã‚³ãƒŸãƒƒã‚¿ãƒ¼ã®ä¸€äººå¤æ©‹ã•ã‚“ãŒä¸å¿ƒã¨ãªã£ã¦é–‹ç™ºã—ãŸã€fluentdã®ãƒãƒƒãƒç‰ˆã®ã‚ˆã†ãªãƒ„ールEmbulk(エンãƒãƒ«ã‚¯)ãŒãƒªãƒªãƒ¼ã‚¹ã•ã‚Œã¾ã—ãŸã€‚ ã“ã®è¨˜äº‹ã¯ã€Embulkã£ã¦ãªã«ï¼Ÿã€ã©ã‚“ãªãƒ—ラグインãŒã‚ã‚‹ã®ï¼Ÿã€ã©ã†ã‚„ã£ã¦ç‹¬
Embulkã§MySQLã«4GBçªã£è¾¼ã‚“ã§æ¸¬ã£ã¦ã¿ãŸ - 今日もプãƒã‚°ãƒ©ãƒŸãƒ³ã‚°
Embulkを使ãˆã°ã€ã„ã‚ã„ã‚ãªãƒ‡ãƒ¼ã‚¿ã‚’ç°¡å˜ã«DBã«çªã£è¾¼ã‚ã‚‹ã¯ãšã€‚ ã§ã‚‚ã€ãƒ‘フォーマンスãŒæ°—ã«ãªã‚‹ã‚ˆã。 ã¨ã„ã†è¨³ã§ã€Embulkã®ãƒ‘フォーマンスを測ã£ã¦ã¿ã‚‹ã“ã¨ã«ã—ãŸã€‚ 環境ã®æº–å‚™ 自分ã®ãƒžã‚·ãƒ³ã§ãƒ‘フォーマンステストをã™ã‚‹ã¨ä»–ã®ã“ã¨ãŒã§ããªããªã£ã¦ã—ã¾ã†ã®ã§ã€AWSを使ã†ã“ã¨ã«ã—ãŸã€‚ インスタンスタイプã¯ã©ã†ã—よã†ã‹ï¼Ÿ マルãƒã‚¹ãƒ¬ãƒƒãƒ‰ã‚’試ã—ãŸã„ã®ã§4CPU欲ã—ã„。DB入れるã®ã§ãƒ¡ãƒ¢ãƒªã‚‚ã‚る程度必è¦ã 。ディスクã¯SSDã ã¨ã¡ã‚‡ã£ã¨é€ŸéŽãŽã‚‹æ°—ãŒã™ã‚‹ã—ã€EBSã ã¨é…ã„æ°—ãŒã™ã‚‹ã—…ã€ã¨ã‹ã„ã‚ã„ã‚考ãˆã¦ã€çµå±€æ—§ä¸–代ã®m1.xlargeã«ã—ã¦ã—ã¾ã£ãŸã€‚ OSã¯è‡ªåˆ†ã®ãƒžã‚·ãƒ³ã«åˆã‚ã›ã¦Windows。Javaã¨ã‹MySQLもインストールã™ã‚‹ã€‚ MySQLã®ãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°ã¨ã‹ã¯ç‰¹ã«ã—ã¦ã„ãªã„（ã‚ã¾ã‚Šè©³ã—ããªã„ã®ã§â€¦ï¼‰ã€‚ Embulkもダウンãƒãƒ¼ãƒ‰ã—ãŸã€‚ã“ã®ã¨ãã®æœ€æ–°ã¯0.5.0。 embulk-outpu
並列データ転é€ãƒ„ール『Embulkã€ãƒªãƒªãƒ¼ã‚¹ï¼ - Blog by Sadayuki Furuhashi
ã“ã‚“ã«ã¡ã¯ã€‚å¤æ©‹ã§ã™ã€‚ 先日ã®*1 データ転é€ãƒŸãƒ‰ãƒ«ã‚¦ã‚§ã‚¢å‹‰å¼·ä¼šã§ã€æ–°ã—ã„オープンソースツール Embulk をリリースã—ã¾ã—ãŸã€‚ Embulk, an open-source plugin-based parallel bulk data loader from Sadayuki Furuhashi Embulk ã¯ã€ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ ãªãƒã‚°åŽé›†ã§ã¯å¸¸è˜ã¨ãªã£ãŸ fluentd ã®ãƒãƒƒãƒç‰ˆã®ã‚ˆã†ãªãƒ„ールã§ã€ãƒ•ã‚¡ã‚¤ãƒ«ã‚„データベースã‹ã‚‰ãƒ‡ãƒ¼ã‚¿ã‚’å¸ã„出ã—ã€åˆ¥ã®ã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸ã‚„データベースã«ãƒãƒ¼ãƒ‰ã™ã‚‹ãŸã‚ã®ã‚³ãƒ³ãƒ‘クトãªãƒ„ールã§ã™ã€‚ fluentd ã¨åŒæ§˜ã«ãƒ—ラグイン型ã®ã‚¢ãƒ¼ã‚テクãƒãƒ£ã‚’採用 ã—ã¦ã„ã‚‹ãŸã‚ã€Rubyã‚„Javaã§ç°¡å˜ãªã‚³ãƒ¼ãƒ‰ã‚’書ãã“ã¨ã§ã€æ§˜ã€…ãªãƒ•ã‚¡ã‚¤ãƒ«ãƒ•ã‚©ãƒ¼ãƒžãƒƒãƒˆã‚„ストレージã«å¯¾å¿œã™ã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚一方㧠fluentd ã¨ã¯ç•°ãªã‚Šã€é«˜é€Ÿæ€§ã‚„トランザクション制御ã€ã‚¹ã‚ーマを使ã£ãŸãƒ‡ãƒ¼ã‚¿ã®ãƒãƒª
embulk-plugin-input-randomを作ã£ãŸ - ãã¾ãƒ¡ãƒ¢
データベースを使ã£ã¦ä½•ã‹ã™ã‚‹éš›ã«ã€ãƒ€ãƒŸãƒ¼ãƒ‡ãƒ¼ã‚¿ãŒè¶…大é‡ã«æ¬²ã—ããªã‚‹ã“ã¨ãŒã‚ã‚‹ã®ã§embulkã®input-pluginを作ã£ã¦ã¿ãŸã€‚ githubã®ãƒªãƒ³ã‚¯ 何もãªã„環境ã‹ã‚‰ãªã‚‰ $ wget https://bintray.com/artifact/download/embulk/maven/embulk-0.2.1.jar -O embulk.jar ã§embulk本体ã®ãŒé™ã£ã¦ãã‚‹ã®ã§ãれを使ã£ã¦ $ java -jar embulk.jar gem install embulk-plugin-input-random ã¨ã™ã‚Œã°ãƒ—ラグインãŒé™ã£ã¦ãる。 exec: {} in: type: random rows: 100 schema: id: primary_key name: string score: integer out: type: stdout ã“ã‚“ãªæ„Ÿã˜ã®config
Treasure Dataã®æ–°ãƒ‡ãƒ¼ã‚¿è»¢é€ãƒ„ールEmbulkを触ã£ã¦ã¿ãŸ #dtm_meetup | DevelopersIO
ã©ã‚‚ã€å¤§ç€§ã§ã™ã€‚ 本日開催ã•ã‚ŒãŸãƒ‡ãƒ¼ã‚¿è»¢é€ãƒŸãƒ‰ãƒ«ã‚¦ã‚§ã‚¢å‹‰å¼·ä¼šã§ã€é–‹ç™ºè€…ã®@frsyukiã•ã‚“ã«ã‚ˆã£ã¦èªžã‚‰ã‚ŒãŸEmbulkを早速触ã£ã¦ã¿ã¾ã—ãŸã€‚ Embulkã¨ã¯ Embulkã¯OSSã®ãƒ‡ãƒ¼ã‚¿è»¢é€ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã§ã™ã€‚ã‚‚ã†å°‘ã—ç´°ã‹ã分類ã™ã‚‹ã¨Bulk Loaderã¨å‘¼ã°ã‚Œã‚‹ã€ãƒãƒƒãƒå‡¦ç†ã®ãŸã‚ã®ãƒ‡ãƒ¼ã‚¿èªã¿è¾¼ã¿ã€å¤‰æ›å‡¦ç†ã‚’è¡Œã†æ©Ÿèƒ½ã‚’æŒã¡ã¾ã™ã€‚特徴ã¯æŸ”軟ãªãƒ—ãƒ©ã‚°ã‚¤ãƒ³æ§‹é€ ã§ã€ãƒ‡ãƒ¼ã‚¿ã‚’èªã¿è¾¼ã‚€InputPluginã€ãƒ‡ãƒ¼ã‚¿ã‚’出力ã™ã‚‹OutputPluginã€ã•ã‚‰ã«èªã¿è¾¼ã¿å‡¦ç†è‡ªä½“ã‚‚ExecutorPluginã¨ã€æ©Ÿèƒ½ã®ã»ã¨ã‚“ã©ã‚’プラグインã¨ã—ã¦å¾Œã‹ã‚‰è¿½åŠ ã€ã‚«ã‚¹ã‚¿ãƒžã‚¤ã‚ºã§ãるよã†é«˜åº¦ã«æŠ½è±¡åŒ–ã•ã‚ŒãŸã‚¢ãƒ¼ã‚テクãƒãƒ£ã«ãªã£ã¦ã„ã¾ã™ã€‚データã®ãƒãƒ³ãƒ‰ãƒªãƒ³ã‚°ã‚‚プラグインã§ã®å®Ÿè£…を想定ã—ã¦ã„るよã†ãªã®ã§ã€ã“ã“ã¾ã§æ¥ã‚‹ã¨ãƒŸãƒ‰ãƒ«ã‚¦ã‚§ã‚¢ã¨ã„ã†ã‚ˆã‚Šã€ãƒ‡ãƒ¼ã‚¿è»¢é€ã®ã‚¤ãƒ³ã‚¿ãƒ¼ãƒ•ã‚§ãƒ¼ã‚¹ã‚’定義ã™ã‚‹ãƒ•ãƒ¬ãƒ¼ãƒ ワークã®å®Ÿè£…ã€ã¨ã„ã†æ–¹ãŒè¿‘ã„æ„Ÿã˜ã‹
「データ転é€ãƒŸãƒ‰ãƒ«ã‚¦ã‚§ã‚¢å‹‰å¼·ä¼šã€ãƒ¬ãƒãƒ¼ãƒˆ #dtm_meetup | DevelopersIO
ã“ã‚“ã«ã¡ã¯ã€è™Žå¡šã§ã™ã€‚ 1月27æ—¥(ç«)ã«ã€Œãƒ‡ãƒ¼ã‚¿è»¢é€ãƒŸãƒ‰ãƒ«ã‚¦ã‚§ã‚¢å‹‰å¼·ä¼šã€ã«å‚åŠ ã—ã¦ãã¾ã—ãŸã®ã§ãƒ¬ãƒãƒ¼ãƒˆã—ã¾ã™ã€‚イベントã¯ã€SAPジャパンã•ã‚“ã§é–‹å‚¬ã•ã‚Œã¾ã—ãŸã€‚ 今回ã®ãƒ†ãƒ¼ãƒžã¯ã€ã¾ãšã€å½“日リリースã•ã‚ŒãŸã°ã‹ã‚Šã®OSSツールEmbulkã®è§£èª¬ã€æ¬¡ã«ã€ãƒ‡ãƒ¼ã‚¿è»¢é€æ¥ç•Œã®ãƒ‰ãƒ³HULFTã®ç´¹ä»‹ã€ãã—ã¦ã€ä»Šå¹´ãƒªãƒªãƒ¼ã‚¹äºˆå®šã®fluentd v1ã«ã¤ã„ã¦ã€æœ€å¾Œã«ã€HTTP/1ã¨HTTP/2両対応ã®HTTPサーãƒH2Oã®ç´¹ä»‹ã§ã—ãŸã€‚盛りã ãã•ã‚“ã§ã™ã。 懇親会ã§ã¯ãƒˆãƒ¬ã‚¸ãƒ£ãƒ¼ãƒ‡ãƒ¼ã‚¿ã•ã‚“ã‹ã‚‰ãƒ”ザãŒæä¾›ã•ã‚Œã¾ã—ãŸã€‚SAPジャパンã•ã‚“ã€ãƒˆãƒ¬ã‚¸ãƒ£ãƒ¼ãƒ‡ãƒ¼ã‚¿ã•ã‚“ã€ã‚ã‚ŠãŒã¨ã†ã”ã–ã„ã¾ã™ã€‚ データ転é€ãƒŸãƒ‰ãƒ«ã‚¦ã‚§ã‚¢å‹‰å¼·ä¼š - dots.[ドッツ] 「ãƒãƒ«ã‚¯ãƒ‡ãƒ¼ã‚¿ãƒãƒ¼ãƒ‰ãƒ„ール『Embulkã€ãƒªãƒªãƒ¼ã‚¹ 〜 fluentdã®æŸ”軟性ã¨å …牢性をãƒãƒ«ã‚¯ã§ã‚‚〠最åˆã®ã‚»ãƒƒã‚·ãƒ§ãƒ³ã¯ã€ãƒˆãƒ¬ã‚¸ãƒ£ãƒ¼ãƒ‡ãƒ¼ã‚¿ã®å¤æ©‹è²žä¹‹ã•ã‚“ã«ã‚ˆã‚‹Embulkã®æ€æƒ³ã‚„アー
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
{{#tags}}- {{label}}
{{/tags}}