TRTorchを使用ã—ã¦PyTorchã®æŽ¨è«–を高速化ã™ã‚‹ | ゆるã„Deep LearningTRTorchã«ã¤ã„㦠以é™ã¯ä¸‹è¨˜ã®ãƒªãƒ³ã‚¯ã‚’å…ƒã«è¨˜è¿°ã—ã¦ã„ã¾ã™ã€‚ https://www.nvidia.com/en-us/on-demand/session/gtcfall20-a21864/ PyTorchã¯pythonä¾å˜ã—ã¦ã„ã‚‹ãŒTorchScriptを使用ã™ã‚‹ã¨C++ã‹ã‚‰ã‚‚使用å¯èƒ½ã«ãªã‚Šã¾ã™ã€‚モデルé™çš„ãªæ§‹é€ ã«å¤‰æ›ã—ã¾ã™ã€‚ PyTorchã®ãƒ¢ãƒ‡ãƒ«ã‚’Torch Scriptå½¢å¼ã«å¤‰æ›ã—ã¦C++ã‹ã‚‰å‘¼ã¶ä¸€ä¾‹ã¯ä¸‹è¨˜ã«ãªã‚Šã¾ã™ã€‚ PyTorchã®ãƒ¢ãƒ‡ãƒ«ã€TorchScriptã®ãƒ¢ãƒ‡ãƒ«ã¯TensorRTã§æŽ¨è«–高速化ãŒå¯èƒ½ã§ã™ã€‚ TensorRTã®ç‰¹å¾´ã¯ä¸‹è¨˜ã«ãªã‚Šã¾ã™ã€‚ ãªã‚‹ã¹ã低ã„数値精度をä¿ã£ãŸã¾ã¾ãƒ¢ãƒ‡ãƒ«ã‚’変æ›ã—ã¾ã™ã€‚ レイヤーã€Tensoråˆæˆã‚’ã—ã¦GPUã¸ã®ã‚«ãƒ¼ãƒãƒ«å‘½ä»¤ã®å‘¼ã³å‡ºã—ã‚’ã¾ã¨ã‚ã¦ã„ã¾ã™ã€‚ ãƒãƒ¼ãƒ‰ã‚¦ã‚§ã‚¢ã”ã¨ã«æœ€é©ãªã‚«ãƒ¼ãƒãƒ«å‘½ä»¤ãŒç•°ãªã‚‹ã®ã§ã™ãŒã€è‡ªå‹•çš„ã«æœ€é©ãªã‚«ãƒ¼ãƒãƒ«å‘½ä»¤ã‚’å–å¾—
{{#tags}}- {{label}}
{{/tags}}