プãƒãƒ•ã‚¡ã‚¤ãƒ©ã‚’使用ã—㟠TensorFlow ã®ãƒ‘フォーマンス最é©åŒ–  | TensorFlow Coreプãƒãƒ•ã‚¡ã‚¤ãƒ©ã‚’使用ã—㟠TensorFlow ã®ãƒ‘フォーマンス最é©åŒ– コレクションã§ã‚³ãƒ³ãƒ†ãƒ³ãƒ„ã‚’æ•´ç† å¿…è¦ã«å¿œã˜ã¦ã€ã‚³ãƒ³ãƒ†ãƒ³ãƒ„ã®ä¿å˜ã¨åˆ†é¡žã‚’è¡Œã„ã¾ã™ã€‚ ã“ã®ã‚¬ã‚¤ãƒ‰ã§ã¯ã€TensorFlow Profiler ã§æä¾›ã•ã‚Œã¦ã„るツールを使用ã—ã¦ã€TensorFlow モデルã®ãƒ‘フォーマンスを追跡ã™ã‚‹æ–¹æ³•ã‚’説明ã—ã¾ã™ã€‚ã¾ãŸã€ãƒ›ã‚¹ãƒˆï¼ˆCPU）ã€ãƒ‡ãƒã‚¤ã‚¹ï¼ˆGPU）ã€ã¾ãŸã¯ãƒ›ã‚¹ãƒˆã¨ãƒ‡ãƒã‚¤ã‚¹ã®ä¸¡æ–¹ã®çµ„ã¿åˆã‚ã›ã§ãƒ¢ãƒ‡ãƒ«ãŒã©ã®ã‚ˆã†ã«æ©Ÿèƒ½ã™ã‚‹ã‹ã‚’確èªã—ã¾ã™ã€‚ プãƒãƒ•ã‚¡ã‚¤ãƒªãƒ³ã‚°ã¯ã€ãƒ¢ãƒ‡ãƒ«å†…ã®ã•ã¾ã–ã¾ãª TensorFlow 演算（op）ã«ã‚ˆã‚‹ãƒãƒ¼ãƒ‰ã‚¦ã‚§ã‚¢ãƒªã‚½ãƒ¼ã‚¹æ¶ˆè²»ï¼ˆæ™‚é–“ã¨ãƒ¡ãƒ¢ãƒªï¼‰ã‚’把æ¡ã—ã€ãƒ‘フォーマンスã®ãƒœãƒˆãƒ«ãƒãƒƒã‚¯ã‚’解消ã—ã¦æœ€çµ‚çš„ã«ãƒ¢ãƒ‡ãƒ«ã®å®Ÿè¡Œã‚’高速化ã™ã‚‹ã®ã«å½¹ç«‹ã¡ã¾ã™ã€‚ ã“ã®ã‚¬ã‚¤ãƒ‰ã§ã¯ã€ãƒ—ãƒãƒ•ã‚¡ã‚¤ãƒ©ã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«æ–¹æ³•ã€åˆ©ç”¨å¯èƒ½ãªã•ã¾ã–ã¾ãªãƒ„ールã€ãƒ—ãƒãƒ•ã‚¡ã‚¤ãƒ©ã®ã•ã¾ã–ã¾ãªãƒ‘フォーマンスデータåŽé›†ãƒ¢ãƒ¼ãƒ‰ã€ãŠã‚ˆ
Megatron-LM/megatron/training.py at main · NVIDIA/Megatron-LM
dlrover/docs/blogs/flash_checkpoint.md at master · intelligent-machine-learning/dlrover
Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM
Megatron-LM/megatron/arguments.py at main · NVIDIA/Megatron-LM
{{#tags}}- {{label}}
{{/tags}}