NIIã€130億パラメータã®LLM構築　コーパスãªã©ã‚‚全公開　「今後ã®ç ”究ã«è³‡ã™ã‚‹ãŸã‚ã€å›½ç«‹æƒ…å ±å¦ç ”究所（NII）ã¯10月20æ—¥ã€ãƒ‘ラメータ数130å„„ã®å¤§è¦æ¨¡è¨€èªžãƒ¢ãƒ‡ãƒ«ï¼ˆLLM）「LLM-jp-13Bã€ã‚’公開ã—ãŸã€‚åˆæœŸæ®µéšŽã®ãƒ¢ãƒ‡ãƒ«ã ãŒã€ã‚¢ã‚«ãƒ‡ãƒŸã‚¢ã‚„産æ¥ç•Œã®ç ”究開発ã«è³‡ã™ã‚‹ãŸã‚ã€ã‚³ãƒ¼ãƒ‘スやツールãªã©ã‚’å«ã‚ã¦ã™ã¹ã¦ã‚ªãƒ¼ãƒ—ンã«ã™ã‚‹ã€‚ 公開ã—ãŸLLMã®å¦ç¿’データé‡ã¯åˆè¨ˆç´„3000億トークン。ã†ã¡æ—¥æœ¬èªžã¯ç´„1450億トークン（mC4ï¼Wikipedia）ã€è‹±èªžã¯ç´„1450億トークン（The Pileï¼Wikipedia）ã€ãƒ—ãƒã‚°ãƒ©ãƒ コード約100億トークン。 計算資æºã¨ã—ã¦ã¯ã€å¤§å¦ã‚„ç ”ç©¶æ©Ÿé–¢ãŒå…±åŒé‹å–¶ã™ã‚‹ä»®æƒ³åŒ–環境・データ活用社会創æˆãƒ—ラットフォーム「mdxã€ã‚’12ノード活用。モデル構築ã«ã¯Microsoftã®DeepSpeedã‚’ã€ãƒ¢ãƒ‡ãƒ«æ§‹ç¯‰æ™‚ã®ç›£è¦–ã‚„ãƒã‚°ã®ä¿å˜ã«ã¯ã€ãƒ¢ãƒ‡ãƒ«é–‹ç™ºãƒ—ラットフォームã®Weights＆Biasesを利用ã—ãŸã€‚ NIIãŒä¸»å®°ã™ã‚‹LLM勉強会（LLM-jp）ã§7月
How to Pronounce English Naturally | YouGlish
AIã®ã¹ã‚Šã™ã¨ (AI Novelist)
SKELL
{{#tags}}- {{label}}
{{/tags}}