ãƒã‚°ãƒ‘イプラインã®4ã¤ã®å•é¡Œã«LINEã¯ã©ã†ç«‹ã¡å‘ã‹ã†ã‹ã€€ã‚·ãƒ³ãƒ—ルã‹ã¤æ‹¡å¼µæ€§ã®ã‚るアーã‚テクãƒãƒ£ã‚’å¶ãˆã‚‹ã€Icebergã¨ã„ã†é¸æŠžè‚¢è‡ªå·±ç´¹ä»‹ã¨å¾ŒåŠã®ã‚¢ã‚¸ã‚§ãƒ³ãƒ€ 尾野å¥æ°ï¼šã“ã“ã‹ã‚‰ã¯ã‚¹ãƒ”ーカーãŒä»£ã‚ã‚Šã¾ã™ã€‚尾野å¥ã¨è¨€ã„ã¾ã™ã€‚Data Engineering1 teamã«æ‰€å±žã—ã¦ã„ã¦ã€LINEã«ã¯2019å¹´ã«å…¥ç¤¾ã—ã¾ã—ãŸã€‚ç¾åœ¨ã¯ã‚¤ãƒ³ã‚¸ã‚§ã‚¹ãƒãƒ§ãƒ³ãƒ‘イプラインを開発ä¸ã§ã™ã€‚ 後åŠã®ã‚¢ã‚¸ã‚§ãƒ³ãƒ€ã§ã™ã€‚ç¾åœ¨ã®ãƒã‚°ãƒ‘イプラインã®æ¦‚è¦ã€ãã®ãƒã‚°ãƒ‘イプラインãŒæŠ±ãˆã‚‹å•é¡Œã€ãã®å•é¡ŒãŒIcebergå°Žå…¥ã«ã‚ˆã£ã¦ã©ã®ã‚ˆã†ã«è§£æ±ºã•ã‚Œã‚‹ã‹ã€‚ãã—ã¦Flink Iceberg applicationã®è©³ç´°ã€æœ€å¾Œã«ãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆã®ä»Šå¾Œã®é€²ã‚方を説明ã—ã¾ã™ã€‚ ãƒã‚°ãƒ‘イプラインã®æ¦‚è¦ ãã‚Œã§ã¯ç¾åœ¨ã®ãƒã‚°ãƒ‘イプラインã®æ¦‚è¦ã§ã™ã€‚（スライドを指ã—ã¦ï¼‰ã“ã®å›³ã¯ã€ç¾åœ¨ã®ãƒã‚°ãƒ‘イプラインã®æœ€åˆã®æ®µéšŽã‚’示ã—ã¦ã„ã¾ã™ã€‚ã‚‚ã¨ã‚‚ã¨ã¯ã‚·ãƒ³ãƒ—ルãªã‚¢ãƒ¼ã‚テクãƒãƒ£ã§ã—ãŸã€‚Kafkaã€Flinkã€HDFS上ã®Hive tableã¨ã„ã†æ§‹æˆã§ã€ãƒ†ãƒ¼ãƒ–ルã¯Append Onlyã§ã™ã€‚ ユーザ
CPU使用率90%を超ãˆã‚‹é«˜è² è·ãŒLNEã®Hive Metastoreã§ç™ºç”Ÿã€€Hive table formatã®èª²é¡Œã¯Apache Icebergã§è§£æ¶ˆ
Apache Hudi を用ã„ã¦ãƒ¬ã‚³ãƒ¼ãƒ‰å˜ä½ã§å‰Šé™¤å¯èƒ½ãªãƒ‡ãƒ¼ã‚¿ãƒ¬ã‚¤ã‚¯ã‚’構築ã—ãŸè©±
{{#tags}}- {{label}}
{{/tags}}