技術調査メモ：Googleæä¾›ã®Dataflowテンプレートã§ã§ãã‚‹ã“ã¨ã€ã§ããªã„ã“ã¨_20200604 - case-kã®å‚™å¿˜éŒ²Dataflow テンプレートを使用ã™ã‚‹ã¨ã€Cloud Storage 上ã®ãƒ‘イプラインをステージングã—ã¦ã€ã•ã¾ã–ã¾ãªç’°å¢ƒã§å®Ÿè¡Œã§ãã¾ã™ã€‚テンプレートã¯ã€Google æä¾›ã®ãƒ†ãƒ³ãƒ—レートを使用ã™ã‚‹ã“ã¨ã‚‚ã€è‡ªèº«ã§ä½œæˆã™ã‚‹ã“ã¨ã‚‚ã§ãã¾ã™ã€‚ Googleæä¾›ã®Dataflowテンプレートã§ã§ãã‚‹ã“ã¨ã€ã§ããªã„ã“ã¨ã‚’調ã¹ã¦ã¿ã¾ã—ãŸã€‚ GoogleãŒæä¾›ã—ã¦ã„るテンプレートを使ã†å ´åˆ 1. メッセージé‡è¤‡ PublisherãŒè¤‡æ•°å›žPublishã—ãŸå ´åˆ Pub/Subã§è‡ªå‹•ä»˜ä¸Žã•ã‚Œã‚‹messageIdé‡è¤‡æŽ’除 2. UDFã®å¯¾å¿œå¯å¦ã«ã¤ã„㦠3. ウィンドウ処ç†ã‚„ウォーターマーク対応å¯å¦ã«ã¤ã„㦠Dataflowã®ã‚«ã‚¹ã‚¿ãƒ ãƒ†ãƒ³ãƒ—ãƒ¬ãƒ¼ãƒˆã‚’ä½œã‚‹å ´åˆ 1. Python3ç³»ã®ã‚µãƒãƒ¼ãƒˆçŠ¶æ³ 2. オートスケール対応 3. ウィンドウ・ウォーターマーク対応 4. PublisherãŒè¤‡æ•°å›žPublishã—ãŸ
Cloud Dataflow 㨠Cloud Pub/Sub 㧠Exactly-once ãªã‚¹ãƒˆãƒªãƒ¼ãƒŸãƒ³ã‚°ã‚¤ãƒ³ã‚µãƒ¼ãƒˆã‚’ - public note
{{#tags}}- {{label}}
{{/tags}}