ã€Team & Project】LINE全社ã®ãƒ‡ãƒ¼ã‚¿åŸºç›¤ã®ãƒŸãƒ‰ãƒ«ã‚¦ã‚§ã‚¢ã‚„Data ingestion pipelineã®é–‹ç™ºãƒ»é‹ç”¨ã‚’担当ã—ã¦ã„ã‚‹ãƒãƒ¼ãƒ を紹介ã—ã¾ã™â€•â€•Â 今ã®ãƒãƒ¼ãƒ 課題ã¨èª²é¡Œè§£æ±ºã«å‘ã‘ãŸå–り組ã¿ã‚’æ•™ãˆã¦ãã ã•ã„。 Wang：ç§ãŸã¡ã®ãƒãƒ¼ãƒ ã§ã¯ã€ä¸»ã«3ã¤ã®èª²é¡Œã«ã¤ã„ã¦å–り組ã¿ã‚’進ã‚ã¦ã„ã¾ã™ã€‚ ã¾ãšã¯1ã¤ç›®ã®èª²é¡Œã¯ã€Œãƒžãƒ«ãƒãƒ†ãƒŠãƒ³ãƒˆã®ã‚¯ãƒ©ã‚¹ã‚¿ãƒ¼ã®é‹ç”¨ã€ã«ã¤ã„ã¦ã§ã™ã€‚ Hadoopã¯ä¸€èˆ¬çš„ã«ã€æœ‰æ•°ã®ãƒ¦ãƒ¼ã‚¶ã¨äºˆæ¸¬å¯èƒ½ãªãƒ¯ãƒ¼ã‚¯ãƒãƒ¼ãƒ‰ã§é‹ç”¨ã•ã‚Œã¦ã„ã¾ã™ãŒã€LINEã®Data Openã«ã‚ˆã£ã¦DAUãŒ700人弱ã§ã‚ã‚Šã€ä¸”ã¤ãƒ¯ãƒ¼ã‚¯ãƒãƒ¼ãƒ‰ã‚‚10万+/æ—¥ã¨ãªã£ã¦ã„ã¾ã™ã€‚IsolationãŒã¾ã 完備ã•ã‚Œã¦ã„ãªã„ã®ã§ã€ãƒ¦ãƒ¼ã‚¶é–“ã«ãƒªã‚½ãƒ¼ã‚¹ã®ç«¶åˆãŒç™ºç”Ÿã—ã¦ã„る状æ³ã§ã™ã€‚ 2ã¤ç›®ã¯ã€ŒData catalogã€ã«ã¤ã„ã¦ã§ã™ã€‚ユーザãŒè‡ªç”±ã«ãƒ‡ãƒ¼ã‚¿ã‚’生æˆã—ãŸã‚Šåˆ©ç”¨ã—ãŸã‚Šã™ã‚‹ç’°å¢ƒã«ãŠã„ã¦ã¯ã€ãƒ‡ãƒ¼ã‚¿ã®ã‚«ã‚¿ãƒã‚°ãŒã¨ã¦ã‚‚é‡è¦ã§ã™ã€‚ãã®ãŸã‚ã€Data Lineageを自動的ã«ç”Ÿæˆã™ã‚‹ä»•çµ„ã¿ãŒå¿…è¦ã¨ãªã£ã¦ãã¾ã™ã€‚ ãã—ã¦ã€Œå¤§è¦æ¨¡ã®ã‚¤ãƒ³ãƒ•ãƒ©ã‚’効率よãé‹ç”¨ã™ã‚‹ã“ã¨ã€ã‚‚ç§ãŸã¡ã®èª²é¡Œã§ã™ã€‚ç§
{{#tags}}- {{label}}
{{/tags}}