S3データレイクをAWSã®åˆ†æžã‚µãƒ¼ãƒ“スを使ã£ã¦æœ‰åŠ¹æ´»ç”¨ã™ã‚‹ #AWS-06 #AWSSummit | DevelopersIO
本記事ã¯ã€AWS Summit Japan 2021ã®ã‚»ãƒƒã‚·ãƒ§ãƒ³å‹•ç”»ã€ã€ŒAWS-06: 貯ã‚ã‚‹ã ã‘ã˜ã‚ƒã‚‚ã£ãŸã„ãªã„ï¼AWS 分æžã‚µãƒ¼ãƒ“スを使ã£ãŸãƒ‡ãƒ¼ã‚¿ãƒ¬ã‚¤ã‚¯ã®æœ‰åŠ¹æ´»ç”¨ã€ã®ãƒ¬ãƒãƒ¼ãƒˆè¨˜äº‹ã§ã™ã€‚ 「データã¯ã¨ã‚Šã‚ãˆãšS3ã«æºœã‚ã¦ãŠã‘ï¼ã€ã¨ãƒ‡ãƒ¼ã‚¿ãƒ¬ã‚¤ã‚¯ã£ã½ã„ã‚‚ã®ã¯ä½œã‚ŒãŸã‘ã©ä¸Šæ‰‹ã使ã„ã“ãªã›ã¦ã„ãªã„æ–¹ã€ãã‚Œãªã‚Šã«ã„らã£ã—ゃるã®ã§ã¯ãªã„ã§ã—ょã†ã‹ï¼Ÿæœ¬ã‚»ãƒƒã‚·ãƒ§ãƒ³ã§ãœã²AWSã®åˆ†æžã‚µãƒ¼ãƒ“スã®æ´»ç”¨è¡“ã‚’ãŠã•ã‚‰ã„ã—ã¦ã¿ã¦ãã ã•ã„。 æ¦‚è¦ ãƒ‡ãƒ¼ã‚¿ã®æŒã¤åŠ›ã‚’æ´»ã‹ã™æ–¹æ³•ã¨ã—ã¦ãƒ‡ãƒ¼ã‚¿ãƒ¬ã‚¤ã‚¯ãŒã‚ã‚Šã¾ã™ãŒã€ãƒ‡ãƒ¼ã‚¿ãƒ¬ã‚¤ã‚¯ä¸Šã«ãƒ‡ãƒ¼ã‚¿ã¯è²¯ã¾ã£ã¦ããŸã‚‚ã®ã®ã€ã©ã†æœ‰åŠ¹æ´»ç”¨ã™ã‚Œã°ã„ã„ã‹æ‚©ã‚“ã 経験ã¯ãªã„ã§ã—ょã†ã‹ï¼Ÿãƒ‡ãƒ¼ã‚¿ãƒ¬ã‚¤ã‚¯ã«å˜åœ¨ã™ã‚‹ãƒ‡ãƒ¼ã‚¿ã¨åˆ†æžãƒ„ールã¨çµ„åˆã›ã€æ´»ç”¨ã™ã‚‹æ–¹æ³•ã¨ã—ã¦ã€â€œãƒ¬ã‚¤ã‚¯ãƒã‚¦ã‚¹ã‚¢ãƒ—ãƒãƒ¼ãƒâ€ãŒã‚ã‚Šã¾ã™ã€‚本セッションã§ã¯"レイクãƒã‚¦ã‚¹ã‚¢ãƒ—ãƒãƒ¼ãƒ"ã®è€ƒãˆæ–¹ã‚’紹介ã™ã‚‹ã¨å…±ã«ã€ã©ã®ã‚ˆã†ãªAWSサービスを用ã„ã¦"レイクãƒã‚¦ã‚¹ã‚¢ãƒ—
Athenaを使ã£ãŸãƒ‡ãƒ¼ã‚¿å‡¦ç†åŸºç›¤ã®è¨è¨ˆ - Speee DEVELOPER BLOG
ã“ã‚“ã«ã¡ã¯ã€‚UZOUã®ãƒ—ãƒãƒ€ã‚¯ãƒˆé–‹ç™ºã‚’ã—ã¦ã„るエンジニアã®@kanga333ã§ã™ã€‚ UZOUã§ã¯åºƒå‘Šãƒ‡ãƒ¼ã‚¿ã®é›†è¨ˆã®ä¸€éƒ¨ã«Amazon Athenaを採用ã—ã¦ã„ã¾ã™ã€‚ ã“ã®è¨˜äº‹ã§ã¯UZOUã«ãŠã‘ã‚‹Athenaを使ã£ãŸãƒ‡ãƒ¼ã‚¿å‡¦ç†åŸºç›¤ã®è¨è¨ˆã«ã¤ã„ã¦ç´¹ä»‹ã—ãŸã„ã¨æ€ã„ã¾ã™ã€‚ å…¨ä½“æ§‹æˆ ãƒ‡ãƒ¼ã‚¿å‡¦ç†åŸºç›¤ã®å…¨ä½“構æˆã¯æ¬¡ã®ã‚ˆã†ã«ãªã£ã¦ã„ã¾ã™ã€‚ 以後ã¯ãã‚Œãžã‚Œã®ã‚³ãƒ³ãƒãƒ¼ãƒãƒ³ãƒˆã«ã¤ã„ã¦é †æ¬¡ç´¹ä»‹ã—ã¦ã„ãã¾ã™ã€‚ Fleuntdã«ã‚ˆã‚‹S3ã¸ã®é›†ç´„ UZOUã§ã¯ç‰¹ã«Fluentdアグリゲータã®ã‚ˆã†ãªä¸ç¶™ã‚µãƒ¼ãƒã¯è¨ã‘ã¦ã„ã¾ã›ã‚“。広告é…信サーãƒã«å¸¸é§ã™ã‚‹FluentdãŒãƒã‚°ã‚’直接S3ã«ãƒ—ットã—ã¦ã„ã¾ã™ã€‚ 以下ã¯Fluentdã®S3 output部分ã®è¨å®šã®ä¸€éƒ¨æŠœç²‹ã§ã™ã€‚ <buffer time> @type file timekey 60m </buffer> path example_table/dt=%Y%m%d/h
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
処ç†ã‚’実行ä¸ã§ã™
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
GitHub - dacort/demo-code: Bits of code I use during live demos
AmazonAthenaã§æ—¥æ™‚ãƒãƒƒãƒå‡¦ç†ã‚’ä½œæˆ â€“ TECH4ALL
{{#tags}}- {{label}}
{{/tags}}