自宅ã§å‹•ãChatGPTã¨å™‚ã®FlexGenã‚’Dockerã§æ‰‹è»½ã«å‹•ã‹ã™è‡ªå®…ã§å‹•ãChatGPTã¨å™‚ã®FlexGenを試㙠shi3zã•ã‚“ãŒèˆˆå¥®ã—ã¦å‹•ã‹ã—ã¦ã„ãŸFlexGen 関係ã™ã‚‹è¨˜äº‹ã¯ä»¥ä¸‹ ツヨツヨGPUãŒç„¡ã„ã¨å‹•ã‹ãªã„ã¨æ€ã£ã¦ã„ãŸã®ã§ã™ãŒã€ã‚¿ã‚¤ãƒ ラインã§ãƒŸã‚¯ãƒŸãƒ³Pã•ã‚“ãŒã€RTX3060ã§FlexGenã‚’å‹•ã‹ã—ã¦ã„るツイートを発見。 「RTX3060ãªã‚‰è‡ªåˆ†ã‚‚æŒã£ã¦ã„ã‚‹ï¼ã€ã¨ã„ã†ã“ã¨ã§ã€è©¦ã—ã¦ã¿ã‚‹ã“ã¨ã«ã—ã¾ã—ãŸã€‚ 追記： ç§ãŒã“ã®è¨˜äº‹ã§å‹•ã‹ã—ã¦ã„ã‚‹ã®ã¯å°ã•ã„モデルã§ã™ã€‚ã¨ã‚Šã‚ãˆãšãŠè©¦ã—ã§å‹•ã‹ã—ãŸã ã‘ã§ã€shi3zã•ã‚“ãŒå‹•ã‹ã—ã¦ã„るモデルã¨ã¯ç•°ãªã‚Šã¾ã™ã€‚ 性能ã®å‚考ã«ã™ã‚‹è¨˜äº‹ã§ã¯ãªã„ã®ã§ã€ã”承知ãã ã•ã„。より大ãã„サイズã®ãƒ¢ãƒ‡ãƒ«ã®ä½¿ç”¨ã«é–¢ã—ã¦ã¯ã€FlexGenã®å…¬å¼ãƒªãƒã‚¸ãƒˆãƒªã‚’å‚ç…§ãã ã•ã„。ç§ã‚‚今後試ã—ãŸã‚‰è¿½è¨˜ã—ã¦ã„ãã¾ã™ï¼ˆç¾çŠ¶ã€ç§ã®ç’°å¢ƒã§ã¯å‹•ã‹ã›ã¦ãªã„ã§ã™ï¼‰ã€‚ FlexGenã‚’Dockerã§å‹•ã‹ã™ çµæžœçš„ã«ã¯ã€Dockerを使ã†ã“ã¨ã§ç°¡å˜ã«å‹•ã‹ã›ã¾ã—ãŸã€‚
{{#tags}}- {{label}}
{{/tags}}