並列ãƒãƒƒãƒãƒ‡ãƒ¼ã‚¿è»¢é€OSSã®Embulkをソースコードリーディングã—ã¦ã¿ã‚‹ï¼ˆãã®ï¼‘ - 夢ã¨ã‚¬ãƒ©ã‚¯ã‚¿ã®é›†ç©å ´ã“ã‚“ã«ã¡ã¯ã€‚ よã†ã‚„ãKinesisSpoutãŒä¸€æ®µæ¥½ã—ãŸã®ã§æ¬¡ã®ãƒã‚¿ã‚’。 先日「データ転é€ãƒŸãƒ‰ãƒ«ã‚¦ã‚§ã‚¢å‹‰å¼·ä¼šã€ãŒé–‹å‚¬ã•ã‚Œã€ ãã“ã§ãƒãƒ«ã‚¯ãƒ‡ãƒ¼ã‚¿ãƒãƒ¼ãƒ‰ãƒ„ール『Embulkã€ãŒå…¬é–‹ã•ã‚Œã¾ã—ãŸã€‚ データã®ãƒãƒ«ã‚¯ãƒãƒ¼ãƒ‰ã¨ã„ã†ã¨ã€å®šç•ªã®OSSã¨ã„ã†ã®ãŒãªãã¦ã€ HDFSã«ãƒãƒ«ã‚¯ãƒ‡ãƒ¼ã‚¿ã‚’ãƒãƒ¼ãƒ‰ã™ã‚‹æ™‚ã¯hadoopコマンドã§è¡Œã†ãƒ»ãƒ»ãªã©ã‚’è¡Œã£ã¦ã„ãŸã®ã§ã™ãŒã€ ãã‚ŒãŒãƒ„ールã§ã§ãã‚‹ã¨ã„ã†ã®ã¯éžå¸¸ã«ã‚ã‚ŠãŒãŸã„ã§ã™ã。 ã§ã€æ—¢ã«ä½¿ã£ã¦ã¿ãŸæ–¹ã®äº‹ä¾‹ã¯ã„ãã¤ã‹æŒ™ãŒã£ã¦ã„ã¾ã™ã®ã§ã€å®Ÿéš›ã«ã©ã†ä½œã‚‰ã‚Œã¦ã„ã‚‹ã‹ã‚’見ã¦ã¿ã‚ˆã†ã¨æ€ã„ã¾ã™ã€‚ ・・・ãˆãˆã€Javaã§ãƒ—ラグインãŒæ›¸ã‘るよã†ã«ãªã‚‹ã¾ã§å®Ÿéš›ã«å‹•ã‹ã™ã‹ã‚½ãƒ¼ã‚¹èªã‚€ã—ã‹å‡ºæ¥ãªã„ã‹ã‚‰ã§ã™ã。 1.embulkã®ãƒ¢ã‚¸ãƒ¥ãƒ¼ãƒ«æ§‹æˆ embulkã®GitHubを確èªã—ã¦ã¿ã¾ã™ã¨ã€ä¸‹è¨˜3ã¤ã®ãƒ¢ã‚¸ãƒ¥ãƒ¼ãƒ«ã§æ§‹æˆã•ã‚Œã¦ã„ã¾ã™ã€‚ embulk-cli embulk-core embulk-s
{{#tags}}- {{label}}
{{/tags}}