完全フリーã§3GBã®VRAMã§ã‚‚超高速ã«å‹•ã14B大è¦æ¨¡è¨€èªžãƒ¢ãƒ‡ãƒ«RWKVを試ã™ï½œshi3zTransformerã¯åˆ†æ•£ã§ãる代償ã¨ã—ã¦è¨ˆç®—é‡ãŒçˆ†ç™ºçš„ã«å¤šã„ã¨ã„ã†ä¸åˆ©ãŒã‚る。 一度ã¿ã‚“ãªãŒå¿˜ã‚Œã¦ã„ãŸãƒªã‚«ãƒ¬ãƒ³ãƒˆãƒ‹ãƒ¥ãƒ¼ãƒ©ãƒ«ãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯(RNN)もボケーã£ã¨ã—ã¦ã„ã‚‹å ´åˆã§ã¯ãªã‹ã£ãŸã€‚ ãªã‚“ã¨ã€GPT3並ã®æ€§èƒ½ã‚’æŒã¤ã€ã—ã‹ã‚‚完全ã«ã‚ªãƒ¼ãƒ—ンãªå¤§è¦æ¨¡è¨€èªžãƒ¢ãƒ‡ãƒ«ãŒå…¬é–‹ã•ã‚Œã¦ã„ãŸã€‚ ãã®ãªã‚‚RWKV(RuwaKuvã¨ç™ºéŸ³ã—ã‚ã¨æ›¸ã„ã¦ã‚る。ルワクフ?) RWKVã¯RNNãªã®ã§GPUメモリをãã‚Œã»ã©å¤§é‡ã«å¿…è¦ã¨ã—ãªã„。 3GBã®VRAMã§ã‚‚å‹•ãã¨ã„ã†ã€‚ 時間ãŒãªã„æ–¹ã¯ãƒ“デオをã”覧ãã ã•ã„ 僕ã®å¤±æ•—ã¯ã€ä½•ã‚‚考ãˆãšã«git lfs installã§ãƒ‡ã‚£ãƒ¬ã‚¯ãƒˆãƒªã”ã¨ã‚³ãƒ”ーã—よã†ã¨ã—ãŸã“ã¨ã€‚ ã“ã®ãƒ‡ã‚£ãƒ¬ã‚¯ãƒˆãƒªã«ã¯éŽåŽ»ã®ãƒ¢ãƒ‡ãƒ«ãƒ‡ãƒ¼ã‚¿ãŒå…¨éƒ¨ã‚ã‚‹ã®ã§ã€ã²ã¨ã¤30GBã®ãƒ¢ãƒ‡ãƒ«ãƒ‡ãƒ¼ã‚¿ã‚’何å個もダウンãƒãƒ¼ãƒ‰ã—よã†ã¨ã—ã¦ã„ã¦çµ‚ã‚らãªã‹ã£ãŸã®ã 。 モデルデータã¯ä¸€ã¨ã¤ã‚ã‚Œã°å分ãªã®ã§ã²ã¨ã¤ã ã‘ã«ã™ã‚‹ã€‚ 次ã«ã€chatã®ãƒªãƒ
{{#tags}}- {{label}}
{{/tags}}