ã€æ–°æ©Ÿèƒ½ã€‘Amazon Kinesis Firehoseã«Amazon Lambdaを使ã£ãŸãƒ‡ãƒ¼ã‚¿å¤‰æ›æ©Ÿèƒ½ãŒè¿½åŠ 。Apacheãƒã‚°ãŒç°¡å˜ã«JSONå½¢å¼ã«å¤‰æ›å¯èƒ½ã«ï¼ | DevelopersIOã“ã‚“ã«ã¡ã¯ã€ã›ãƒ¼ã®ã§ã™ã€‚今日ã¯Kinesis Firehoseã«ãªã‹ãªã‹å¼·åŠ›ãªæ©Ÿèƒ½ãŒè¿½åŠ ã•ã‚ŒãŸã®ã§ã”紹介ã—ã¾ã™ã€‚ ã“れを待ã£ã¦ã„㟠今回ã”紹介ã™ã‚‹ã®ã¯ã€Œãƒ‡ãƒ¼ã‚¿å¤‰æ›æ©Ÿèƒ½ã€ã§ã™ã€‚所謂ETL(Extractã€Transformã€Load）処ç†ã¨è¨€ã‚れるもã®ã§ã€æµã‚Œã¦ãるデータを使ã„ã‚„ã™ã„å½¢ã«åŠ å·¥ã—ãŸä¸Šã§å¯¾è±¡ã¨ãªã‚‹ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã‚„データレイクã«æ›¸ã出ã™ã‚‚ã®ã§ã™ã€‚ 例ãˆã°Apacheã®ãƒã‚°ãƒ‡ãƒ¼ã‚¿ã‚’S3ã«è“„ç©ã—ã¦ãŠã„ã¦ã€å¾Œã»ã©åˆ†æžã«ä½¿ã„ãŸã„ã¨ã—ã¾ã™ã€‚Apacheã®ãƒã‚°ã£ã¦ã“ã‚“ãªæ„Ÿã˜ã§ã™ã‚ˆã。 127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326 ã“ã®çŠ¶æ…‹ã§S3ã«å…¥ã£ã¦ã„ãŸå ´åˆã€åˆ†æžã«ä½¿ã†ã«ã¯ä¸€æ—¦ã“ã®ãƒ‡ãƒ¼ã‚¿ã‚’ã©ã“ã‹ã®ã‚µãƒ¼ãƒã«å–り出ã—ã€åˆ†æžç”¨ã«åŠ å·¥ã—ã¦ã€ã‚‚ã†ä¸€åº¦ãƒ‡ãƒ¼ã‚¿ã‚’貯ã‚ç›´ã™å¿…è¦ãŒã‚ã‚Šã¾ã™
Fluentd&Kinesis&Lambdaã«ã‚ˆã‚‹æŸ”軟ã§é«˜å¯ç”¨æ€§ãªãƒã‚°åŽé›†åŸºç›¤ã®æ§‹ç¯‰ - Qiita
{{#tags}}- {{label}}
{{/tags}}