メルカリ社ãŒé‹ç”¨ã™ã‚‹ trocco & BigQuery ã®ãƒ‡ãƒ¼ã‚¿åˆ†æžåŸºç›¤ã¨çµŒæ¸ˆæ€§ #GoogleCloudDay / 20210526Google Cloud Day: Digital ’21 ã®ç™ºè¡¨è³‡æ–™ã§ã™ã€‚ https://cloudonair.withgoogle.com/events/platinum_primenumber?talk=sessionvideo -----------------------------…
AWS Step Functionsã¨AWS Lambdaを使ã£ã¦è¤‡æ•°ã®ETLジョブã®çµ±åˆã‚’行ㆠ| Amazon Web Services
Amazon Web Services ブãƒã‚° AWS Step Functionsã¨AWS Lambdaを使ã£ã¦è¤‡æ•°ã®ETLジョブã®çµ±åˆã‚’行ㆠ抽出ã€å¤‰æ›ã€ãƒãƒ¼ãƒ‰(Extract, Transform, Load, ETL)æ“作ã¯ã€ç¾åœ¨ã®ã‚¨ãƒ³ã‚¿ãƒ¼ãƒ—ライズデータレイクã®ãƒãƒƒã‚¯ãƒœãƒ¼ãƒ³ã«ã²ã¨ã¾ã¨ã¾ã‚Šã¨ã—ã¦å½¢æˆã•ã‚Œã¦ã„ã¾ã™ã€‚rawデータを役ã«ç«‹ã¤ãƒ‡ãƒ¼ã‚¿ã‚»ãƒƒãƒˆã¸å¤‰æ›ã—ã€æœ€çµ‚çš„ã«ã¯ã€æ´žå¯Ÿå¯èƒ½ãªçŠ¶æ…‹ã«å¤‰æ›ã—ã¾ã™ã€‚ETLジョブã¯é€šå¸¸ï¼‘ã¤ã¾ãŸã¯ï¼‘ã¤ä»¥ä¸Šã®ãƒ‡ãƒ¼ã‚¿ã‚½ãƒ¼ã‚¹ã‹ã‚‰ãƒ‡ãƒ¼ãƒˆã‚’èªã¿ã€æ§˜ã€…ãªç¨®é¡žã®å¤‰æ›ã‚’é©ç”¨ã—ã€çµæžœã‚’利用準備ã§ãã¦ã„るターゲットã«æ›¸ãè¾¼ã¿ã¾ã™ã€‚ETLジョブã®ã‚½ãƒ¼ã‚¹ã¨ã‚¿ãƒ¼ã‚²ãƒƒãƒˆã¯ãƒªãƒ¬ãƒ¼ã‚·ãƒ§ãƒŠãƒ«ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã§ã‚ã‚‹Amazon RDS(Amazon Relational Database) ã‚‚ã—ãã¯ã‚ªãƒ³ãƒ—レミスã€ãƒ‡ãƒ¼ã‚¿ã‚¦ã‚§ã‚¢ãƒã‚¦ã‚¹ã¨ã—ã¦Amazon Redshift ã€ã‚ªãƒ–ジェクトストレージã¨ã—ã¦
AWS Glue – 一般æ供開始 | Amazon Web Services
Amazon Web Services ブãƒã‚° AWS Glue – 一般æ供開始 本日ã€AWS Glue ã®ä¸€èˆ¬æ供開始ãŒã‚¢ãƒŠã‚¦ãƒ³ã‚¹ã•ã‚Œã¾ã—ãŸã€‚Glue ã¯ãƒ•ãƒ«ãƒžãƒãƒ¼ã‚¸ãƒ‰ã§ã‚µãƒ¼ãƒãƒ¬ã‚¹ã€ãã—ã¦ã€ã‚¯ãƒ©ã‚¦ãƒ‰æœ€é©åŒ–ã•ã‚ŒãŸ ETL(extract, transform, load) サービスã§ã™ã€‚Glue ã¯ä»–ã® ETL サービスやプラットフォームã¨ã€ã„ãã¤ã‹ã®ã¨ã¦ã‚‚é‡è¦ãªç‚¹ã§é•ã„ãŒã‚ã‚Šã¾ã™ã€‚第1ã«ã€Glue ã¯ã‚µãƒ¼ãƒãƒ¬ã‚¹ã§ã™ — リソースã®ãƒ—ãƒãƒ“ジョニングや管ç†ã‚’è¡Œã†å¿…è¦ã¯ã‚ã‚Šã¾ã›ã‚“。ジョブã€ã‚‚ã—ãã¯ã€ã‚¯ãƒãƒ¼ãƒªãƒ³ã‚°ã‚’実行ã—ã¦ã„ã‚‹é–“ã« Glue ãŒä½¿ç”¨ã—ãŸãƒªã‚½ãƒ¼ã‚¹ã«å¯¾ã™ã‚‹æ”¯æ‰•ã„ã®ã¿ã§åˆ©ç”¨å¯èƒ½ã§ã™(分å˜ä½èª²é‡‘) 。第2ã«ã€Glue ã®ã‚¯ãƒãƒ¼ãƒ©ã§ã™ã€‚ Glue ã®ã‚¯ãƒãƒ¼ãƒ©ã¯ã€è¤‡æ•°ã®ãƒ‡ãƒ¼ã‚¿ã‚½ãƒ¼ã‚¹ã€ãƒ‡ãƒ¼ã‚¿ã‚¿ã‚¤ãƒ—ã€ãã—ã¦ã€æ§˜ã€…ãªç¨®é¡žã®ãƒ‘ーティションを跨ã„ã§ã€ã‚¹ã‚ーマを自動的ã«æ¤œå‡ºãƒ»æŽ¨æ¸¬ã™ã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚ク
1
ランã‚ング
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
処ç†ã‚’実行ä¸ã§ã™
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
{{#tags}}- {{label}}
{{/tags}}