é€Ÿå ±ï¼šè©±é¡Œã® 1ビットLLMã¨ã¯ä½•ã‹ï¼Ÿï½œå¯ºç”°è‹±é›„（㈱オープンストリームCTO）2024-02-27ã«arXiv公開ã•ã‚Œï¼Œæ˜¨æ—¥ï¼ˆ2024-02-28）ã‚ãŸã‚Šã‹ã‚‰æ—¥æœ¬ã®AI・LLM界隈ã§ã‚‚大ããªè©±é¡Œã«ãªã£ã¦ã„ã‚‹ã€ãƒžã‚¤ã‚¯ãƒã‚½ãƒ•ãƒˆã®ç ”究ãƒãƒ¼ãƒ ãŒç™ºè¡¨ã—㟠1ビットLLMã§ã‚ã‚‹ãŒã€ã“ã‚Œã¯ã€ã‹ã¤ã¦B-DCGAN(https://link.springer.com/chapter/10.1007/978-3-030-36708-4_5; arXiv:https://arxiv.org/abs/1803.10930 )ã¨ã„ã†ã€Œï¼‘ビットGANã®FPGA実装ã€ã‚’ç ”ç©¶ã—ã¦ã„ãŸç§ã¨ã—ã¦ã¯éžå¸¸ã«èˆˆå‘³ã‚’ããられる内容ãªã®ã§ã€è«–文をèªã‚“ã§ã¿ãŸã€‚今回ã¯é€Ÿå ±ã¨ã—ã¦ã€ãã®å†…容ã®ãƒã‚¤ãƒ³ãƒˆã‚’概説ã—ãŸã„。 è«–æ–‡æƒ…å ± Ma, S. et al. (2024) ‘The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits’, arXiv [c
é©šç•°ã®1ビットLLMを試ã™ã€‚æžœãŸã—ã¦æœ¬å½“ã«å¦ç¿’ã§ãã‚‹ã®ã‹?｜shi3z
1ビットLLMã®è¡æ’ƒ! 70Bã§8.9å€é«˜é€Ÿã€€å…¨ã¦ã®æŽ¨è«–ã‚’åŠ ç®—ã®ã¿ã§!GPUä¸è¦ã«ãªã‚‹å¯èƒ½æ€§ã‚‚
MicrosoftãŒãŸã£ãŸ13å„„ã®ãƒ‘ラメーターã§GPT-3.5超ãˆã®HumanEval50.6ï¼…ã‚’ãŸãŸã出ã™ã€Œphi-1ã€ã‚’発表
2028å¹´ã«æ ¸èžåˆç™ºé›»ãŒå®Ÿç¾ï¼Ÿãƒžã‚¤ã‚¯ãƒã‚½ãƒ•ãƒˆãŒç±³ã‚¹ã‚¿ãƒ¼ãƒˆã‚¢ãƒƒãƒ—ã¨ï½¢é›»åŠ›è³¼å…¥å¥‘ç´„ï½£ã‚’ç· çµ
ChatGPTã®é‹ç”¨ã‚³ã‚¹ãƒˆã¯1æ—¥70万ドル…費用削減ã¸ãƒžã‚¤ã‚¯ãƒã‚½ãƒ•ãƒˆã¯å°‚用ãƒãƒƒãƒ—を開発ä¸
å…ƒMicrosoft社員ã®ã€Œé›‡ã£ã¦ã¯ã„ã‘ãªã„人ã€ã®åŸºæº–ã®åˆ‡ã‚Œå‘³ãŒé‹ã™ãŽã¦æ³£ã‘る「é ã¯ã„ã„ãŒç‰©äº‹ã‚’æˆã—é‚ã’ãªã„ã€
{{#tags}}- {{label}}
{{/tags}}