Pythonã§Apache beam 入門2020-12-26 TensorFlowã®å‹‰å¼·ã‚’ã—ã¦ã„ãŸã‚‰ã€Apache beam ã‚’å‰å‡¦ç†ã«æŽ¡ç”¨ã—ã¦ã„ãŸã‚±ãƒ¼ã‚¹ãŒã‚ã‚Šã€èˆˆå‘³ã‚’æŒã£ãŸã®ã§æ·±å €ã‚Šã—ã¦ã¿ã¾ã™ã€‚ 興味ãŒæ¹§ã„ãŸãƒ¢ãƒãƒ™ãƒ¼ã‚·ãƒ§ãƒ³ã¨ã—ã¦ã¯ã€ データé‡ãŒå¢—åŠ ã—ã¦ã‚‚å‰å‡¦ç†éƒ¨åˆ†ã‚’難ãªãスケールã§ããã†(å‰å‡¦ç†éƒ¨åˆ†ã‚’スケールã•ã›ã¦é«˜é€Ÿã«å®Ÿé¨“を回ã—ãŸã„ã€ä¸¦åˆ—化ãªã©ã¯ã™ã¹ã¦è‰¯ã„æ„Ÿã˜ã«beamã«ä»»ã›ã‚Œãã†ãƒãƒƒãƒã¨ã‚¹ãƒˆãƒªãƒ¼ãƒŸãƒ³ã‚°ã®ä¸¡è€…ã«å¯¾å¿œå¯èƒ½ãªã®ã§ã€æŸ”軟ãªæ©Ÿæ¢°å¦ç¿’ã®æŽ¨è«–サービスãŒæä¾›ã§ãã‚‹ã®ã§ã¯? (GCPã®å‚考資料 Data preprocessing for machine learning: options and recommendations)Apache beam を触りã¤ã¤åˆ†æ•£ãƒ‡ãƒ¼ã‚¿å‡¦ç†ã‚’å¦ã³ãŸã„https://github.com/jhuangtw/xg2xg#services を見ã¦ã¿ã‚‹ã¨Google 内部ã®Flume ã¨ã„ã†ä¸¦åˆ—
{{#tags}}- {{label}}
{{/tags}}