ModernBERT ã®ãƒ–ãƒã‚°ã‚’èªã‚“ã§ã¿ãŸæ„Ÿæƒ³ã‚³ãƒŸãƒ¥ãƒ¼ãƒ³æ ªå¼ä¼šç¤¾ã§æ©Ÿæ¢°å¦ç¿’エンジニアをã—ã¦ã„る深澤ã§ã™ã€‚ ã“ã®è¨˜äº‹ã¯Communeアドベントカレンダー(シリーズ2)ã® 21 日目ã®è¨˜äº‹ã§ã™ã€‚ ç›´å‰ã¾ã§å…¨ãé•ã†è¨˜äº‹ã‚’書ã„ã¦ã„ãŸã®ã§ã™ãŒã€ModernBERT ã¨ã„ã†ã‚¢ãƒ„ã„モデルãŒç™ºè¡¨ã•ã‚Œã¦è©±é¡Œã«ãªã£ã¦ãŠã‚Šã€Huggingface ã®å…¬å¼ã‹ã‚‰ãƒ–ãƒã‚°ã‚‚出ã¦ã„ã‚‹ã®ã§ã€æ—©é€Ÿèªã‚“ã§ã¿ãŸæ„Ÿæƒ³ã‚’アドベントカレンダーã®è¨˜äº‹ã«ã™ã‚‹ã“ã¨ã«ã—ã¾ã—ãŸã€‚感想ã ã£ãŸã‚Šã€ä»˜å±žäº‹é …を調ã¹ã¦ã¿ãŸã®ã§è¨˜äº‹ã¨ã—ã¦æ˜‡è¯ã™ã‚‹ã“ã¨ã‚’目指ã—ã¦ã„ã¾ã™ã€‚ 翻訳ã—ãŸã‚‚ã®ã€ã¨ã„ã†ã‚ˆã‚Šã¯è¦ç‚¹ã‚’ã‹ã„ã¤ã¾ã‚“ã ã‚‚ã®ã«ãªã£ã¦ã„ã¾ã™ã€‚詳細ã¯ä»¥ä¸‹ã®è¨˜äº‹ã‚’御覧ãã ã•ã„。 記事 è«–æ–‡ コード ModernBERT ã®ã“ã“ãŒã™ã”ã„ Token length ㌠8192 ã«æ‹¡å¼µ(ï¼ï¼Ÿ) ã‚‚ã¨ã‚‚ã¨ã¯ 512 ã§ã™ã€‚10å€ä»¥ä¸Šã«ãªã£ã¦ã‚‹... GLUE スコアもã‹ãªã‚Šå‘上 ãã‚Œã§ã„ã¦base (139M param
Netflixã®æŽ¨è–¦ï¼†æ¤œç´¢ã‚·ã‚¹ãƒ†ãƒ 最å‰ç·š - QCon San Francisco 2024ç¾åœ°ãƒ¬ãƒãƒ¼ãƒˆ - Uzabase for Engineers
{{#tags}}- {{label}}
{{/tags}}