野çƒã®ãƒ“ッグデータをGCPã¨PySparkã§ã„ã„æ„Ÿã˜ã«ä½¿ã„ã‚„ã™ãã—ã¦ã¿ãŸ - Dataprocã¨GCFを使ã£ãŸç·©ã„データ基盤 - Lean Baseball最近ã®é‡Žçƒç•Œéšˆã®å‡ºæ¥äº‹ãŒæ–œã‚上ã™ãŽã¦é©šã„ã¦ã‚‹ãƒžãƒ³ã§ã™.*1 本æ¥ã®ä»•äº‹ãŠã‚ˆã³, 本æ¥ã˜ã‚ƒãªã„個人開発や趣味プãƒã‚°ãƒ©ãƒŸãƒ³ã‚°ã«ãŠã„ã¦, データã®é‡ãŒå¤šã㦠å˜ä½ã‚„フォーマットãŒä¸æƒã„㧠ãã‚Œã§ã‚‚仕事（もã—ãã¯è¶£å‘³ã®åˆ†æžï¼‰ã‚’ã“ãªã™ãŸã‚, ã„ã„æ„Ÿã˜ã®ä½¿ã„ã‚„ã™ã„データセットã«ã—ãªã„ã¨ï¼ˆä½¿å‘½æ„Ÿï¼‰ ã¨ã„ã†æ©Ÿä¼šã¯éžå¸¸ã«å¤šã„ã§ã™. ã„ã‚„, 機会ãŒå¤šã„ã¨ã„ã†ã‚ˆã‚Šå¤šã‹ã‚Œå°‘ãªã‹ã‚Œæ¯Žæ—¥æˆ¦ã£ã¦ã„ã‚‹æ°—ãŒã—ã¾ã™. 今回ã¯, ã¡ã‚‡ã£ã¨ã—ãŸåˆ†æžã¨ãŠéŠã³ã®ãŸã‚, メジャーリーグã®å…¬å¼ãƒ‡ãƒ¼ã‚¿ã‚µã‚¤ãƒˆã€ŒBaseball Savantã€ã®ãƒ‡ãƒ¼ã‚¿ã‚’使ã£ãŸBigQueryデータベースを作りãŸããªã£ãŸã®ã§, クãƒãƒ¼ãƒ©ãƒ¼ã§Baseball Savantã®ãƒ‡ãƒ¼ã‚¿ã‚’å–ã£ã¦CSVã«ã—㦠CSVã‹ã‚‰ãƒ‡ãƒ¼ã‚¿ã‚’集計ã—ãŸã‚Šæ•´ãˆãŸã‚Šã—ã¦ã„ã„æ„Ÿã˜ã®å˜ä½ã«ã—㦠BigQueryã‹ã‚‰ä½¿ãˆã‚‹ã‚ˆã†ã«ã—ã¦ã¿ãŸã‚ˆï¼ ã¨ã„ã†ã‚¿ã‚¹ã‚¯ã‚’Google Cloud Platform
PySparkã¯ã˜ã‚ã¾ã—㟠- 分散処ç†ãƒ‡ãƒ“ューã™ã‚‹å‰ã«ã‚„ã£ãŸã“㨠- JX通信社エンジニアブãƒã‚°
{{#tags}}- {{label}}
{{/tags}}