æ›´æ–°ã§ãるデータレイクを作る 〜Apache Hudiを用ã„ãŸãƒ¦ãƒ¼ã‚¶ãƒ‡ãƒ¼ã‚¿åŸºç›¤ã®åˆ·æ–°ã€œ - Gunosy Tech Blog広告技術部ã®UT@mocyutoã§ã™ã€‚ ã“ã¡ã‚‰ã®è¨˜äº‹ã¯Gunosy Advent Calendar 2021ã®4日目ã®è¨˜äº‹ã§ã™ã€‚ 昨日ã¯å†…ç”°ã•ã‚“ã® ãã®è¨å®šã€pyproject.tomlã«å…¨éƒ¨æ›¸ã‘ã¾ã™ - Gunosyデータ分æžãƒ–ãƒã‚° ã§ã—㟠今回ã¯Apache Hudiを用ã„ãŸãƒ¦ãƒ¼ã‚¶ãƒ‡ãƒ¼ã‚¿åŸºç›¤ã®åˆ·æ–°ã‚’紹介ã—ã¾ã™ã€‚ 背景 仕組㿠課題 å¯¾å¿œç– ãƒ‡ãƒ¼ã‚¿ã®æŒã¡æ–¹ã‚’変ãˆã‚‹ Apache Hudiã¨ã¯ æ§‹æˆ Glue + PySpark Athenaã«ã‚ˆã‚‹æŠ½å‡º 移行ã—終ãˆã¦ 背景 Gunosyã®åºƒå‘Šã‚·ã‚¹ãƒ†ãƒ ã§ã¯ãƒ¦ãƒ¼ã‚¶ã«å¯¾ã—ã¦æœ€é©ãªåºƒå‘Šã‚’届ã‘ã‚‹ãŸã‚ã«ã€æŽ¥è§¦æ¸ˆã¿ã®ãƒ¦ãƒ¼ã‚¶ã«å¯¾ã—ã¦ä½•åº¦ã‚‚åŒã˜åºƒå‘Šã‚’出ã•ãªã„よã†ã«ã™ã‚‹ä»•çµ„ã¿ã‚’æä¾›ã—ã¦ã„ã¾ã™ã€‚ 例ãˆã°ã€ã™ã§ã«ã‚る広告Aをクリックã—ãŸãƒ¦ãƒ¼ã‚¶ã«ã¯åºƒå‘ŠAã¯å†åº¦é…ä¿¡ã—ãªã„ã®ã‚ˆã†ãªè¨å®šã§ã™ã€‚ 仕組㿠ã“ã®ä»•çµ„ã¿ã‚’実ç¾ã™ã‚‹ãŸã‚ã«ã¯ä»¥ä¸‹ã®ã‚ˆã†ãªã‚¢ãƒ¼ã‚テクãƒãƒ£ã«ãªã£ã¦ã„ã¾ã—ãŸ
{{#tags}}- {{label}}
{{/tags}}