BigQuery ã«ãƒ‹ã‚¢ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ 連æºã‚’å°Žå…¥ã—よã†ã¨ã—ã¦ã„る話 — HACK The Nikkeiãã®ãŸã‚ストリーミング処ç†ã‚’ã—ã¦ãƒ‹ã‚¢ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ 処ç†ã™ã‚‹ã¨ã„ã£ãŸã‚‚ã®ã¯ãã‚‚ãã‚‚è¦ä»¶ã¨ã—ã¦å˜åœ¨ã—ãªã„ãŸã‚ã€ãƒãƒƒãƒã§å®‰å®šçš„ã«ãƒ‡ãƒ¼ã‚¿ã®å–ã‚Šè¾¼ã¿ã‚’è¡Œã„ã€ã‚¯ã‚¨ãƒªæ™‚ã®è² è·ã‚’下ã’ã‚‹ãŸã‚ã«ãƒ‡ãƒ¼ã‚¿ã®å–ã‚Šè¾¼ã¿æ™‚ã«é‡è¤‡æŽ’除をã™ã‚‹ä»•çµ„ã¿ã‚’構築ã—ã¾ã—ãŸã€‚ãã®æ¦‚è¦ãŒä»¥ä¸‹ã®å›³ã§ã™ã€‚ ファイルã‹ã‚‰ãƒ‡ãƒ¼ã‚¿é€£æºã•ã‚ŒãŸãƒ‡ãƒ¼ã‚¿ã‚’é‡è¤‡ã‚ã‚Šã®çŠ¶æ…‹ã§å—付ã‘ã€1 時間㫠1 回é‡è¤‡æŽ’除ã—ãŸãƒ‡ãƒ¼ã‚¿ã‚’行動ãƒã‚°ãƒ†ãƒ¼ãƒ–ルã«ãƒžãƒ¼ã‚¸ã™ã‚‹ã€ã¨ã„ã†ã®ãŒå¤§ã¾ã‹ãªæ‰‹æ³•ã®èª¬æ˜Žã§ã™ã€‚ã“ã®ã‚³ãƒ³ãƒãƒ¼ãƒãƒ³ãƒˆã¯ atlas-consumer-s3 ã¨å‘¼ã°ã‚Œã¾ã™ã€‚ 2. æ—§æ¥ã®ä»•çµ„ã¿ã®èª²é¡Œ 上記ã®ä»•çµ„ã¿ã§å¤§ããªéšœå®³ã‚‚発生ã›ãšã«é‹ç”¨ã§ãã¦ã„ã¾ã—ãŸãŒã€ä»¥ä¸‹ã®ã‚ˆã†ãªèª²é¡Œã‚’抱ãˆã¦ã„ã¾ã—ãŸã€‚ 2-1. åŽŸå› ä¸æ˜Žã®ä¸å…·åˆã«ã‚ˆã‚Šãƒ‡ãƒ—ãƒã‚¤æ™‚ã« Kinesis ã‹ã‚‰ã® 1 日分ã®èªã¿ç›´ã—作æ¥ãŒç™ºç”Ÿã™ã‚‹ 2-2. æ–°è¦ã‚«ãƒ©ãƒ è¿½åŠ ã®å®Ÿè£…/作æ¥ãŒç…©é›‘ 2-3. データã®æ•´åˆæ€§ã®æ¤œè¨¼ãŒä¸å分 2
ã€GCP】GCSã«ã‚ã‚‹Zipfilesã‚’Bigqueryã«~Dataflowã«ã‚ˆã‚‹å®Ÿè£… - Qiita
{{#tags}}- {{label}}
{{/tags}}