Rin - Redshift data Importer by SQS messaging - ã®ã”紹介 - Qiitaã“ã®è¨˜äº‹ã¯OSS紹介 Advent Calendar 2017 ã® 1日目ã®è¨˜äº‹ã§ã™ã€‚ Rinã¨ã¯ fujiwara/Rin Rinã¯ã€ç°¡å˜ã«è¨€ãˆã°S3ã«ã‚¢ãƒƒãƒ—ãƒãƒ¼ãƒ‰ã—ãŸãƒã‚°ã‚’Redshiftã«è‡ªå‹•ã§å–り込むãŸã‚ã®ãƒŸãƒ‰ãƒ«ã‚¦ã‚§ã‚¢ã§ã™ã€‚ç§ã¯ä¼šç¤¾ã§fluentdã¨çµ„ã¿åˆã‚ã›ã¦ä»¥ä¸‹ã®æ§‹æˆå›³ã®ã‚ˆã†ãªå½¢ã§åˆ©ç”¨ã—ã¦ã„ã¾ã™ã€‚ RinãŒè¡Œã£ã¦ã„ã‚‹ã®ã¯å®Ÿç·šã§ç¤ºã—ã¦ã„る部分ã§ã™ã€‚ log aggregatorã¨å‘¼ã°ã‚Œã‚‹fluentdãŒèµ·å‹•ã—ã¦ã„るインスタンスã‹ã‚‰fluent-plugin-s3ã§S3ã«ã‚¢ãƒƒãƒ—ãƒãƒ¼ãƒ‰ã—ã¾ã™ アップãƒãƒ¼ãƒ‰ã‚’トリガーã«SQSã«ã‚ューãŒå…¥ã‚Šã¾ã™ã€‚ãれをlog aggregatorã§èµ·å‹•ã—ã¦ã„ã‚‹RinãŒå—ä¿¡ã—ã¾ã™ Rinã¯Redshiftã§COPYクエリを発行ã—ã¾ã™ COPYクエリを発行ã•ã‚ŒãŸRedshiftã¯S3ã«ã‚¢ãƒƒãƒ—ãƒãƒ¼ãƒ‰ã•ã‚ŒãŸãƒã‚°ã‚’å–ã‚Šè¾¼ã¿ã¾ã™ 解決ã•ã‚Œã‚‹å•é¡Œ S3ã«ã‚¢ãƒƒãƒ—ãƒãƒ¼ãƒ‰ã•
Fluentdã§Google BigQueryã«ãƒã‚°ã‚’挿入ã—ã¦ã‚¯ã‚¨ãƒªã‚’実行ã™ã‚‹ - Qiita
{{#tags}}- {{label}}
{{/tags}}