マルãƒãƒ¡ãƒ‡ã‚£ã‚¢ï¼Œåˆ†æ•£ï¼Œå”調ã¨ãƒ¢ãƒã‚¤ãƒ«ï¼ˆDICOMO2024）シンãƒã‚¸ã‚¦ãƒ ã§ã®æ‹›å¾…講演ã®è³‡æ–™ã§ã™ã€‚ https://dicomo.org/
大è¦æ¨¡è¨€èªžãƒ¢ãƒ‡ãƒ« (LLM) ã®æŠ€è¡“ã¨æœ€æ–°å‹•å‘
マルãƒãƒ¡ãƒ‡ã‚£ã‚¢ï¼Œåˆ†æ•£ï¼Œå”調ã¨ãƒ¢ãƒã‚¤ãƒ«ï¼ˆDICOMO2024）シンãƒã‚¸ã‚¦ãƒ ã§ã®æ‹›å¾…講演ã®è³‡æ–™ã§ã™ã€‚ https://dicomo.org/
1ビットLLMã®è¡æ’ƒ! 70Bã§8.9å€é«˜é€Ÿã€€å…¨ã¦ã®æŽ¨è«–ã‚’åŠ ç®—ã®ã¿ã§!GPUä¸è¦ã«ãªã‚‹å¯èƒ½æ€§ã‚‚
1ビットLLMã®è¡æ’ƒ! 70Bã§8.9å€é«˜é€Ÿã€€å…¨ã¦ã®æŽ¨è«–ã‚’åŠ ç®—ã®ã¿ã§!GPUä¸è¦ã«ãªã‚‹å¯èƒ½æ€§ã‚‚ 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月ã¯ä¸å›½ã§ã¯æ˜¥ç¯€ã¨ã„ã†ãŠæ£æœˆãŒã‚ã‚Šã€æ˜¥ç¯€ã«ã¯ã¿ã‚“ãªä¼‘む。 ãれもã‚ã£ã¦ã‹ã€12月ã‹ã‚‰1月ã«ã‹ã‘ã¦æ€’涛ã®è«–文発表ãŒè¡Œã‚ã‚Œã¦æ¯Žæ—¥ã€Œãƒ‡ã‚¤ãƒªãƒ¼AIニュースã€ã‚’é…ä¿¡ã—ã¦ã„ã‚‹ç†è€…ã¯å¿™æ®ºã•ã‚Œã¦ã„ãŸã€‚ 春節ä¸ã«ã¯OpenAIãŒSoraã‚’ã€GoogleãŒGemini1.5を発表ã—ãŸã®ã¯ã€ãã®åˆé–“を縫ã£ã¦ã®ã“ã¨ã ã£ãŸã€‚ã‚‚ã¯ã‚„AI最å‰ç·šã®æˆ¦ã„ã¯ç ”究ãŒè¡Œã‚ã‚Œã‚‹å ´æ‰€ã®æ–‡åŒ–や風土ã«å½±éŸ¿ã‚’å—ã‘ã‚‹ã¨ã“ã‚ã¾ã§æ¥ã¦ã„る。 ãã—ã¦æ˜¥ç¯€ã‚‚ã‚ã‘ãŸä»Šé€±ã€ã•ã£ããAlibabaãŒã¨ã‚“ã§ã‚‚ãªã„トーã‚ングヘッドモデルを引ã£æã’ã¦ç™»å ´ã—ãŸã‹ã¨æ€ãˆã°ã€Microsoftã®ä¸å›½ãƒãƒ¼ãƒ ãŒã¨ã¦ã¤ã‚‚ãªã„LLMをリリース
é©šç•°ã®1ビットLLMを試ã™ã€‚æžœãŸã—ã¦æœ¬å½“ã«å¦ç¿’ã§ãã‚‹ã®ã‹?｜shi3z
昨日話題ã«ãªã£ãŸã€ŒBitNetã€ã¨ã„ã†1ビットã§æŽ¨è«–ã™ã‚‹LLMãŒã©ã†ã—ã¦ã‚‚試ã—ãŸããªã£ãŸã®ã§æ—©é€Ÿè©¦ã—ã¦ã¿ãŸã€‚ BitNetã¨ã„ã†ã®ã¯ã€1ビット(-1,0,1ã®ä¸‰çŠ¶æ…‹ã‚’æŒã¤)ã¾ã§æƒ…å ±ã‚’å‰ŠãŽè½ã¨ã™ã“ã¨ã§é«˜é€Ÿã«æŽ¨è«–ã™ã‚‹ã¨ã„ã†ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ 。ã ã‹ã‚‰æ£ç¢ºã«ã¯0ã‹1ã‹ã§ã¯ãªãã€-1ã‹0ã‹1ã¨ã„ã†ã“ã¨ã€‚ ã“ã®æ‰‹æ³•ã®è¡Œãç€ãã¨ã“ã‚ã¯ã€GPUãŒä¸è¦ã«ãªã‚Šæ–°ã—ã„ãƒãƒ¼ãƒ‰ã‚¦ã‚§ã‚¢ãŒå‡ºç¾ã™ã‚‹ä¸–ç•Œã§ã‚ã‚‹ã¨äºˆè¨€ã•ã‚Œã¦ã„る。マジã‹ã‚ˆã€‚ https://arxiv.org/pdf/2402.17764.pdf ã¨ã„ã†ã“ã¨ã§æ—©é€Ÿè©¦ã—ã¦ã¿ã‚‹ã“ã¨ã«ã—ãŸã€‚ オフィシャルã®å®Ÿè£…ã¯å…¬é–‹ã•ã‚Œã¦ã„ãªã„ãŒã€ãã‚‚ãã‚‚1ビット(ã¨è¨€ã£ã¦ã„ã„ã®ã‹ã‚ã‹ã‚‰ãªã„,-1,0,1ã®ä¸‰çŠ¶æ…‹ã‚’æŒã¤ã‹ã‚‰ã 。 論文著者ã¯log2(3)ã§1.58ビットã¨ã„ã†ä¸»å¼µã‚’ã—ã¦ã„ã‚‹)é‡å化ã®ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ 自体ã®ç ”究ã®æ´å²ã¯å¤ã„ã®ã§ã€BitNetã«ã‚ˆã‚‹Transformerã®é‡Žè‰¯å®Ÿè£…
1
ランã‚ング
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
{{#tags}}- {{label}}
{{/tags}}