GPUメモリãŒå°ã•ãã¦ã‚‚パラメーター数ãŒå¤§ãã„言語モデルをトレーニングå¯èƒ½ã«ãªã‚‹æ‰‹æ³•ã€ŒQLoRAã€ãŒç™»å ´ã€ä¸€ä½“ã©ã‚“ãªæ‰‹æ³•ãªã®ã‹ï¼ŸGPT-1ã¯1å„„1700万個ã®ãƒ‘ラメーターをæŒã¤è¨€èªžãƒ¢ãƒ‡ãƒ«ã§ã€GPT-2ã§ã¯15å„„ã€GPT-3ã§ã¯1750å„„ã¨ãƒ‘ラメーター数ãŒå¢—åŠ ã™ã‚‹ã«ã¤ã‚Œã¦è¨€èªžãƒ¢ãƒ‡ãƒ«ã®æ€§èƒ½ãŒä¸ŠãŒã£ã¦ãã¦ã„ã¾ã™ã€‚ã—ã‹ã—パラメーター数ãŒå¢—åŠ ã™ã‚‹ã«ã¤ã‚Œã¦ãƒˆãƒ¬ãƒ¼ãƒ‹ãƒ³ã‚°ã«å¿…è¦ãªãƒ‡ãƒ¼ã‚¿ã®æ•°ã‚„トレーニングä¸ã«ä½¿ç”¨ã™ã‚‹ãƒ¡ãƒ¢ãƒªã®é‡ã‚‚å¢—åŠ ã—ã€ãƒˆãƒ¬ãƒ¼ãƒ‹ãƒ³ã‚°ã®ã‚³ã‚¹ãƒˆãŒå¤§ããå¢—åŠ ã—ã¦ã—ã¾ã„ã¾ã™ã€‚ãã‚“ãªä¸ã€ãƒ¡ãƒ¢ãƒªã®æ¶ˆè²»é‡ã‚’激減ã•ã›ã¤ã¤å°‘ãªã„データã§ãƒˆãƒ¬ãƒ¼ãƒ‹ãƒ³ã‚°ã§ãる手法「QLoRAã€ãŒç™»å ´ã—ã¾ã—ãŸã€‚ [2305.14314] QLoRA: Efficient Finetuning of Quantized LLMs https://arxiv.org/abs/2305.14314 artidoro/qlora: QLoRA: Efficient Finetuning of Quantized LLMs https://github.com/art
「ãµãƒ¼ã‚“ã€ã‚¢ã‚¿ã‚·ã¨ã‚¨ãƒƒãƒã—ãŸã„ã‚“ã ♡ã€
『OpenAI GPT-4/ChatGPT/LangChain 人工知能プãƒã‚°ãƒ©ãƒŸãƒ³ã‚°å®Ÿè·µå…¥é–€ã€ ãŒç™ºå£²ã«ãªã‚Šã¾ã™ã€‚｜npaka
アンãƒãƒžãƒ³ / アンãƒãƒžãƒ³ - 岡田索雲 | webアクション
{{#tags}}- {{label}}
{{/tags}}