RWKV14Bを日本語Alpacaデータセットã§LoRAã—ã¦å…¬é–‹ã—ã¾ã—ãŸ(ã”家åºã§å‹•ã!?)｜shi3z布留å·npaka大先生ãŒRWKVã®ãƒ•ã‚¡ã‚¤ãƒ³ãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°ã™ã‚‹æ–¹æ³•ã‚’公開ã—ã¦ã„ãŸã®ã ãŒã€Google Colabã§ã¯7BãŒé™ç•Œã§14Bã¯å¤±æ•—ã—ãŸã‚‰ã—ã„。 人ã¯ã„ã¤ã§ã‚‚ã€èª°ã‹ã®ãŠå½¹ã«ç«‹ã¤ãƒãƒ£ãƒ³ã‚¹ã‚’伺ã£ã¦ã„る。 今ã“ãåƒè¼‰ä¸€é‡ã®ãƒãƒ£ãƒ³ã‚¹!ドスパラ様ã‹ã‚‰æˆ‘らãŒMemeplexã®ãŸã‚ã«é–‹ç™ºã—ã¦ã„ãŸã ã„ãŸã€æ€’涛ã®A6000x2マシンãŒç«ã‚’å¹ã時ãŒæ¥ãŸ!ã¿ã‚“ãª!パソコン買ã†ãªã‚‰ãƒ‰ã‚¹ãƒ‘ラ!AIã‚„ã‚‹ãªã‚‰ãƒ‰ã‚¹ãƒ‘ラã ãœ!忘れãªã„ã§ãれよãª!(※ドスパラã¯Memeplexã«ã‚¹ãƒãƒ³ã‚µãƒ¼ã—ã¦ã„ã¾ã™) 大先生ãŒGoogle Colabã§14Bã®å¦ç¿’ã«å¤±æ•—ã—ãŸã®ã¯ã€å¦ç¿’時ã®ãƒ¡ã‚¤ãƒ³ãƒ¡ãƒ¢ãƒªã®æ¶ˆè²»ãŒ80GBを超ãˆã¦ã—ã¾ã£ãŸã‹ã‚‰ã ãã†ã 。 ãªã‚‰ã°å¤§ä¸ˆå¤«ã€‚我らãŒãƒ‰ã‚¹ãƒ‘ラ謹製Memeplexマシンã¯ã€A6000(VRAM48GB)を二枚æ載ã—ãŸä¸Šã«ã€ãƒ¡ã‚¤ãƒ³ãƒ¡ãƒ¢ãƒªã¯æ€’涛ã®256GB。もã¨ã‚‚ã¨RAMディスクã¨ã—ã¦ä½¿ã†ã“ã¨ã‚’想定ã—ã¦ã„ãŸã‚‚ã®
ワイ「鬱ã‹ã‚‚ã€
TBSã®ãƒ‹ãƒ¥ãƒ¼ã‚¹ã‚µã‚¤ãƒˆãƒ¤ãƒãªã„？(追記)
{{#tags}}- {{label}}
{{/tags}}