Swallow-MX: Mixtral日本語継続事å‰å¦ç¿’MoEモデルã¯ã˜ã‚ã« æ±äº¬å·¥æ¥å¤§å¦ æ¨ªç”°ç ”ç©¶å®¤ã®è—¤äº•ã§ã™ã€‚ 本日(2024/03/11)Mixtral-8x7B-Instruct-v0.1ã‹ã‚‰æ—¥æœ¬èªžç¶™ç¶šäº‹å‰å¦ç¿’ã‚’è¡Œã£ãŸSwallow-MX-8x7b-NVE-v0.1をリリースã•ã›ã¦é ‚ãã¾ã—ãŸã€‚ 本モデルã®é–‹ç™ºã¯ã€ç”£ç·ç ”ã€æ±äº¬å·¥æ¥å¤§å¦ å²¡å´Žç ”ç©¶å®¤ã€æ¨ªç”°ç ”究室ã®åˆåŒãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆã«ã¦è¡Œã‚ã‚Œã¾ã—ãŸã€‚å…¬å¼ãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆãƒšãƒ¼ã‚¸ã¯ã“ã¡ã‚‰ã§ã™ã€‚ Swallow-MX ã¯MoE(Mixture of Expert)モデルã®ç¶™ç¶šäº‹å‰å¦ç¿’モデルã§ã‚ã‚Šã€Denseモデルã«ãŠã„ã¦æœ‰åŠ¹æ€§ãŒç¤ºã•ã‚Œã¦ã„る継続事å‰å¦ç¿’手法ãŒMoEモデルã«ãŠã„ã¦ã‚‚有効ã§ã‚ã‚‹ã“ã¨ã‚’示ã™çµæžœãŒå¾—られã¾ã—ãŸã€‚ Denseモデルã«å¯¾ã™ã‚‹ç¶™ç¶šäº‹å‰å¦ç¿’ã«é–¢ã—ã¦ã¯ã€ä»¥ä¸‹ã®ãƒ–ãƒã‚°ã‚„NLP2024ã®æˆ‘々ã®è«–文をã”覧ãã ã•ã„。 リリースモデル 日本語継続事å‰å¦ç¿’済ã¿ãƒ¢ãƒ‡ãƒ« Swallow-MX-8x7b-NVE-v0.1
Dockerã§æ§‹ç¯‰ã™ã‚‹æ©Ÿæ¢°å¦ç¿’環境ã€2024年版】
{{#tags}}- {{label}}
{{/tags}}