1ビットLLMã®è¡æ’ƒ! 70Bã§8.9å€é«˜é€Ÿã€€å…¨ã¦ã®æŽ¨è«–ã‚’åŠ ç®—ã®ã¿ã§!GPUä¸è¦ã«ãªã‚‹å¯èƒ½æ€§ã‚‚
1ビットLLMã®è¡æ’ƒ! 70Bã§8.9å€é«˜é€Ÿã€€å…¨ã¦ã®æŽ¨è«–ã‚’åŠ ç®—ã®ã¿ã§!GPUä¸è¦ã«ãªã‚‹å¯èƒ½æ€§ã‚‚ 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月ã¯ä¸å›½ã§ã¯æ˜¥ç¯€ã¨ã„ã†ãŠæ£æœˆãŒã‚ã‚Šã€æ˜¥ç¯€ã«ã¯ã¿ã‚“ãªä¼‘む。 ãれもã‚ã£ã¦ã‹ã€12月ã‹ã‚‰1月ã«ã‹ã‘ã¦æ€’涛ã®è«–文発表ãŒè¡Œã‚ã‚Œã¦æ¯Žæ—¥ã€Œãƒ‡ã‚¤ãƒªãƒ¼AIニュースã€ã‚’é…ä¿¡ã—ã¦ã„ã‚‹ç†è€…ã¯å¿™æ®ºã•ã‚Œã¦ã„ãŸã€‚ 春節ä¸ã«ã¯OpenAIãŒSoraã‚’ã€GoogleãŒGemini1.5を発表ã—ãŸã®ã¯ã€ãã®åˆé–“を縫ã£ã¦ã®ã“ã¨ã ã£ãŸã€‚ã‚‚ã¯ã‚„AI最å‰ç·šã®æˆ¦ã„ã¯ç ”究ãŒè¡Œã‚ã‚Œã‚‹å ´æ‰€ã®æ–‡åŒ–や風土ã«å½±éŸ¿ã‚’å—ã‘ã‚‹ã¨ã“ã‚ã¾ã§æ¥ã¦ã„る。 ãã—ã¦æ˜¥ç¯€ã‚‚ã‚ã‘ãŸä»Šé€±ã€ã•ã£ããAlibabaãŒã¨ã‚“ã§ã‚‚ãªã„トーã‚ングヘッドモデルを引ã£æã’ã¦ç™»å ´ã—ãŸã‹ã¨æ€ãˆã°ã€Microsoftã®ä¸å›½ãƒãƒ¼ãƒ ãŒã¨ã¦ã¤ã‚‚ãªã„LLMをリリース
MicrosoftãŒ1.58ビットã®å¤§è¦æ¨¡è¨€èªžãƒ¢ãƒ‡ãƒ«ã‚’リリースã€è¡Œåˆ—計算を足ã—ç®—ã«ã§ãã¦è¨ˆç®—コスト激減ã¸
Microsoftã®ç ”究ãƒãƒ¼ãƒ ãŒãƒ¢ãƒ‡ãƒ«ã®ã‚¦ã‚§ã‚¤ãƒˆã‚’「-1ã€ã€Œ0ã€ã€Œ1ã€ã®3ã¤ã®å€¤ã®ã¿ã«ã™ã‚‹ã“ã¨ã§å¤§è¦æ¨¡è¨€èªžãƒ¢ãƒ‡ãƒ«ã®è¨ˆç®—コストを激減ã•ã›ã‚‹ã“ã¨ã«æˆåŠŸã—ãŸã¨ç™ºè¡¨ã—ã¾ã—ãŸã€‚ [2402.17764] The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits https://arxiv.org/abs/2402.17764 従æ¥ã®ãƒ¢ãƒ‡ãƒ«ã§ã‚ã‚Œã°å…¥åŠ›ã«å¯¾ã—ã¦ã€Œ0.2961ã€ãªã©ã®ã‚¦ã‚§ã‚¤ãƒˆã‚’ã‹ã‘ç®—ã—ã¦ã‹ã‚‰è¶³ã—引ãã™ã‚‹å¿…è¦ãŒã‚ã‚Šã¾ã—ãŸãŒã€ã€Œ-1ã€ã€Œ0ã€ã€Œ1ã€ã®3値ã®ã¿ã§ã‚ã‚Œã°ã‹ã‘ç®—ãŒä¸è¦ã«ãªã‚Šã€å…¨ã¦ã®è¨ˆç®—を足ã—ç®—ã§è¡Œãˆã‚‹ã‚ˆã†ã«ãªã‚Šã¾ã™ã€‚ ãã®ãŸã‚ã€åŒã˜æ€§èƒ½ã‚’出ã™ã®ã«å¿…è¦ãªã‚³ã‚¹ãƒˆãŒé€šå¸¸ã®å¤§è¦æ¨¡è¨€èªžãƒ¢ãƒ‡ãƒ«ã«å¯¾ã—ã¦æ¿€æ¸›ã™ã‚‹ã¨ã®ã“ã¨ã€‚ãªãŠã€ãã‚Œãžã‚Œã®ãƒ‘ラメーターãŒã€Œ-1ã€ã€Œ0ã€ã€Œ1ã€ã¨ã„ã†3ã¤ã®å€¤ã‚’å–ã‚‹ãŸã‚log[2](3)ã®å€¤ã‚ˆã‚Šã€Œ1.
文化åºã€ã€ŒAIã¨è‘—作権ã«é–¢ã™ã‚‹è€ƒãˆæ–¹ã«ã¤ã„ã¦ï¼ˆç´ 案）ã€ã®ãƒ‘ブコメçµæžœç™ºè¡¨ã€€æ„見æ出数ã¯2万4938件
文化åºã¯ã€ä»Šå¾Œã‚‚AIã¨è‘—作権ã«é–¢ã™ã‚‹æ³•è§£é‡ˆã«ã¤ã„ã¦ã€ä»Šå¾Œã‚‚分ã‹ã‚Šã‚„ã™ã„å½¢ã§å•“発ã—ã¦ã„ãã¨èª¬æ˜Žã€‚「必è¦ã«å¿œã˜ã¦ã€è‘—ä½œè€…äººæ ¼æ¨©ã‚„è‘—ä½œéš£æŽ¥æ¨©ã¨AIã¨ã®é–¢ä¿‚（俳優・声優ãªã©ã®å£°ã‚’å«ã‚“ã 実演・レコードãªã©ã®åˆ©ç”¨ã¨AIã¨ã®é–¢ä¿‚ã‚’å«ã‚€ï¼‰ã«ãŠã„ã¦ã€æ¤œè¨Žã™ã¹ã点ã®æœ‰ç„¡ã‚„内容ã®æ¤œè¨Žã‚’å«ã‚ã€ã€Žè€ƒãˆæ–¹ã€ã®è¦‹ç›´ã—ãªã©å¿…è¦ãªæ¤œè¨Žã‚’è¡Œã†ã€ï¼ˆåŒåºï¼‰ 関連記事 「生æˆAIã¯è‘—作権ä¿è·ã®æ¤œè¨ŽãŒä¸å分ã€æ–°èžå”会ãªã©å£°æ˜Žã€€ã€Œè‘—作権法30æ¡ã®4ã¯å¤§ããªèª²é¡Œã€ æ–°èžå”会ãªã©4団体ã¯ã€ç”ŸæˆAIã«ã¾ã¤ã‚る著作権ä¿è·ç–ã®å†æ¤œè¨Žã‚’求ã‚ã‚‹å…±åŒå£°æ˜Žã‚’発表ã—ãŸã€‚日本ã®è‘—作権法第30æ¡ã®4ãŒã€Œè«¸å¤–国ã«æ¯”ã¹ã€AIå¦ç¿’ã«æ¥µã‚ã¦æœ‰åˆ©ã«ä½œã‚‰ã‚Œã¦ã„ã‚‹ã“ã¨ã¯å¤§ããªèª²é¡Œã€ã¨æŒ‡æ‘˜ã—ã¦ã„る。 クリスタã«ç”»åƒç”ŸæˆAIã‚’æ載ã™ã‚‹äºˆå®šãªã„──æ供元セルシスãŒç™ºè¡¨ã€€ã€Œãƒ‡ãƒ¼ã‚¿ã‚»ãƒƒãƒˆãŒã‚¯ãƒªãƒ¼ãƒ³ãªã‚‚ã®ã—ã‹ä½¿ã‚ãªã„〠クリスタã«ç”»åƒç”ŸæˆAIãŒæ載ã™ã‚‹äºˆå®šã¯ãªã„──イラスト作æˆã‚½ãƒ•ãƒˆ
é©šç•°ã®1ビットLLMを試ã™ã€‚æžœãŸã—ã¦æœ¬å½“ã«å¦ç¿’ã§ãã‚‹ã®ã‹?｜shi3z
昨日話題ã«ãªã£ãŸã€ŒBitNetã€ã¨ã„ã†1ビットã§æŽ¨è«–ã™ã‚‹LLMãŒã©ã†ã—ã¦ã‚‚試ã—ãŸããªã£ãŸã®ã§æ—©é€Ÿè©¦ã—ã¦ã¿ãŸã€‚ BitNetã¨ã„ã†ã®ã¯ã€1ビット(-1,0,1ã®ä¸‰çŠ¶æ…‹ã‚’æŒã¤)ã¾ã§æƒ…å ±ã‚’å‰ŠãŽè½ã¨ã™ã“ã¨ã§é«˜é€Ÿã«æŽ¨è«–ã™ã‚‹ã¨ã„ã†ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ 。ã ã‹ã‚‰æ£ç¢ºã«ã¯0ã‹1ã‹ã§ã¯ãªãã€-1ã‹0ã‹1ã¨ã„ã†ã“ã¨ã€‚ ã“ã®æ‰‹æ³•ã®è¡Œãç€ãã¨ã“ã‚ã¯ã€GPUãŒä¸è¦ã«ãªã‚Šæ–°ã—ã„ãƒãƒ¼ãƒ‰ã‚¦ã‚§ã‚¢ãŒå‡ºç¾ã™ã‚‹ä¸–ç•Œã§ã‚ã‚‹ã¨äºˆè¨€ã•ã‚Œã¦ã„る。マジã‹ã‚ˆã€‚ https://arxiv.org/pdf/2402.17764.pdf ã¨ã„ã†ã“ã¨ã§æ—©é€Ÿè©¦ã—ã¦ã¿ã‚‹ã“ã¨ã«ã—ãŸã€‚ オフィシャルã®å®Ÿè£…ã¯å…¬é–‹ã•ã‚Œã¦ã„ãªã„ãŒã€ãã‚‚ãã‚‚1ビット(ã¨è¨€ã£ã¦ã„ã„ã®ã‹ã‚ã‹ã‚‰ãªã„,-1,0,1ã®ä¸‰çŠ¶æ…‹ã‚’æŒã¤ã‹ã‚‰ã 。 論文著者ã¯log2(3)ã§1.58ビットã¨ã„ã†ä¸»å¼µã‚’ã—ã¦ã„ã‚‹)é‡å化ã®ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ 自体ã®ç ”究ã®æ´å²ã¯å¤ã„ã®ã§ã€BitNetã«ã‚ˆã‚‹Transformerã®é‡Žè‰¯å®Ÿè£…
「2024å¹´ã¯ç”ŸæˆAI飛èºã®å¹´ã€â”€â”€æ—¥æœ¬ãƒžã‚¤ã‚¯ãƒã‚½ãƒ•ãƒˆãŒäºˆå‘Šã€€æŽ¨å¥¨ã™ã‚‹ã®ã¯â€œAIã®ç‹ãƒˆãƒ¬â€
日本マイクãƒã‚½ãƒ•ãƒˆã¯2月20æ—¥ã€ç”ŸæˆAIã«é–¢ã™ã‚‹ä¼æ¥å‘ã‘イベント「Microsoft AI Tourã€ã‚’æ±äº¬ãƒ“ッグサイトã§é–‹å‚¬ã—ãŸã€‚基調講演ã«ã¯ã€æ—¥æœ¬ãƒžã‚¤ã‚¯ãƒã‚½ãƒ•ãƒˆã®æ´¥å‚美樹社長らãŒç™»å£‡ã€‚基調講演ã®ä¸ã§æ´¥å‚社長ã¯ã€ŒAIを語る段階をå’æ¥ã—ã€ã‚¹ã‚±ãƒ¼ãƒ«ã•ã›ã€ãƒ•ãƒ«æ´»ç”¨ã®1å¹´ã«ãªã‚‹ã€ã¨è©±ã—ã€2024å¹´ãŒç”ŸæˆAIã®é£›èºã®å¹´ã¨ãªã‚‹ã“ã¨ã‚’予告ã—ãŸã€‚ 「1ドルã®AI投資ã«ã€3.5ドルã®ãƒªã‚¿ãƒ¼ãƒ³ã€ã€€ç”ŸæˆAIã«æ³¨åŠ›ã™ã‚‹Microsoft ãã®è‡ªä¿¡ã‚’è£ä»˜ã‘ã‚‹ã®ã¯ã€ç”ŸæˆAIãŒç”Ÿã¿å‡ºã™ã¨ã„ã†èŽ«å¤§ãªçµŒæ¸ˆåŠ¹æžœã 。経済産æ¥çœãŒ20å¹´ã«å…¬é–‹ã—ãŸå ±å‘Šæ›¸ã§ã¯ã€ä¸å°ä¼æ¥ãŒAIを活用ã™ã‚‹ã¨ã€25å¹´ã«11兆円ã®GDP押ã—上ã’効果ãŒã‚ã‚Šã€æ—¥æœ¬å…¨ä½“ã§34兆円ã®çµŒæ¸ˆåŠ¹æžœãŒã‚ã‚‹ã¨è©¦ç®—ã—ã¦ã„る。Microsoftã®ç‹¬è‡ªè©¦ç®—ã§ã‚‚ã€1ドルã®AI投資ã«3.5ドルã®ãƒªã‚¿ãƒ¼ãƒ³ãŒè¦‹è¾¼ã‚ã‚‹ã¨ç®—出ã—ã¦ã„る。 Microsoftã§ã¯ã€AIアシスタント「Micro
大å¦å’æ¥ã‹ã‚‰ï¼’ï¼å¹´ã€è³‡æ ¼å‹‰å¼·ä»¥å¤–ã®æœ¬ã‚’一切èªã‚“ã§ãªã„俺ãŒè–¦ã‚る「人生ã§ä¸€åº¦ã¯èªã‚“ã§ãŠãã¹ã本ã€
「７ã¤ã®ç¿’æ…£ã€ã€Œãƒãƒ¼ã‚ºã¯ã©ã“ã¸æ¶ˆãˆãŸï¼ˆã€Œé‡‘æŒã¡çˆ¶ã•ã‚“貧ä¹çˆ¶ã•ã‚“ã€ã§ã‚‚å¯ï¼‰ã€èªã‚“ã§ãŠãã ã‘ã§ã„ã„。ä¸èº«ã¯è¦šãˆã¦ã„ã‚‹å¿…è¦ã¯ãªã„。èªã‚“ã§ãŠãã“ã¨ã§ã€Œèªã‚“ã ã“ã¨ãŒã‚ã‚‹ã€ã¨è¨€ãˆã‚‹ã€‚ãã‚ŒãŒå¤§äº‹ã€‚ 内容ã«ã¤ã„ã¦æ€ã„出ã—ãŸããªã£ãŸã‚‰ã‚°ã‚°ã‚Œã°ã„ãらã§ã‚‚出ã¦ãる。ã§ã‚‚ã‚°ã‚°ã£ã¦çŸ¥ã£ãŸã®ã¨èªã‚“ã ã“ã¨ãŒã‚ã‚‹ã®ã¯é•ã†ã€‚何故ãªã‚‰ã€Œèªã‚“ã ã“ã¨ãŒã‚ã‚‹ã€ã¨è¨€ãˆã‚‹ã‚ˆã†ã«ãªã‚‹ã‹ã‚‰ã€‚ èªã‚“ã ã“ã¨ãŒã‚るビジãƒã‚¹æ›¸ã®æ•°ã‚„傾å‘ã§ãƒžã‚¦ãƒ³ãƒˆå–ã£ã¦ãるアホã«å¯¾ã—ã¦å…¨æ–¹ä½ã«ä¸‡èƒ½ã«æœ€ä½Žãƒ©ã‚¤ãƒ³ã‚’超ãˆã¦ã„ã‚‹ã¨æ€ã‚ã›ãŸã„ãªã‚‰ã²ã¨ã¾ãšã“ã®ï¼’冊ãŒé«˜ã‚³ã‚¹ãƒ‘。ビジãƒã‚¹æ›¸ãƒžã‚¦ãƒ³ãƒˆã§äººã‚’値è¸ã¿ã™ã‚‹ã‚ˆã†ãªé€£ä¸ã‹ã‚‰ã®è©•ä¾¡ã‚’ç°¡å˜ã«ç¨¼ã’ã¦ã‚ªã‚¹ã‚¹ãƒ¡ã€‚ 「ã˜ã‚ƒã‚ã“れもèªã‚“ã ã»ã†ãŒè‰¯ã„よï¼ã€ã¨è¨€ã‚ã‚ŒãŸã¨ãã¯ã€Œä»Šã€è³‡æ ¼ã®å‹‰å¼·ã—ã¦ã¦æ™‚é–“ãªãã£ã¦ãˆâ€¦â€¦ã€ã€Œãƒã‚±ãƒ¢ãƒ³ã®åå‰è¦šãˆã¦åä¾›ã¨è©±åˆã‚ã›ãªãゃã„ã‘ãªã£ã¦ãˆâ€¦â€¦ã€ã¨ã‹è¨€ã£ã¨ã‘ã°èªã¾ãšã«æ¸ˆã‚€ã‚ˆã€‚ã“ã®ï¼’ã¤ã•ãˆèªã‚“ã§ãŠã‘ã°ã。 「山月記ã€ã€Œ
ランã‚ング
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
ラピダスã€ã‚±ãƒ©ãƒ¼æ°çŽ‡ã„ã‚‹ç±³ä¼æ¥ã¨ï¼¡ï¼©ã‚¢ã‚¯ã‚»ãƒ©ãƒ¬ãƒ¼ã‚¿ã§å”æ¥(Bloomberg) - Yahoo!ファイナンス
首相「æ¨ã¦èº«ã€ã®æ”¿å€«å¯©å‡ºå¸ã€€æ·±ã¾ã‚‹å¤ç«‹ã€å…šå†…ã«æ¸¦å·»ã疑心暗鬼：æœæ—¥æ–°èžãƒ‡ã‚¸ã‚¿ãƒ«
{{#tags}}- {{label}}
{{/tags}}