é©šç•°ã®1ビットLLMを試ã™ã€‚æžœãŸã—ã¦æœ¬å½“ã«å¦ç¿’ã§ãã‚‹ã®ã‹?｜shi3z昨日話題ã«ãªã£ãŸã€ŒBitNetã€ã¨ã„ã†1ビットã§æŽ¨è«–ã™ã‚‹LLMãŒã©ã†ã—ã¦ã‚‚試ã—ãŸããªã£ãŸã®ã§æ—©é€Ÿè©¦ã—ã¦ã¿ãŸã€‚ BitNetã¨ã„ã†ã®ã¯ã€1ビット(-1,0,1ã®ä¸‰çŠ¶æ…‹ã‚’æŒã¤)ã¾ã§æƒ…å ±ã‚’å‰ŠãŽè½ã¨ã™ã“ã¨ã§é«˜é€Ÿã«æŽ¨è«–ã™ã‚‹ã¨ã„ã†ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ 。ã ã‹ã‚‰æ£ç¢ºã«ã¯0ã‹1ã‹ã§ã¯ãªãã€-1ã‹0ã‹1ã¨ã„ã†ã“ã¨ã€‚ ã“ã®æ‰‹æ³•ã®è¡Œãç€ãã¨ã“ã‚ã¯ã€GPUãŒä¸è¦ã«ãªã‚Šæ–°ã—ã„ãƒãƒ¼ãƒ‰ã‚¦ã‚§ã‚¢ãŒå‡ºç¾ã™ã‚‹ä¸–ç•Œã§ã‚ã‚‹ã¨äºˆè¨€ã•ã‚Œã¦ã„る。マジã‹ã‚ˆã€‚ https://arxiv.org/pdf/2402.17764.pdf ã¨ã„ã†ã“ã¨ã§æ—©é€Ÿè©¦ã—ã¦ã¿ã‚‹ã“ã¨ã«ã—ãŸã€‚ オフィシャルã®å®Ÿè£…ã¯å…¬é–‹ã•ã‚Œã¦ã„ãªã„ãŒã€ãã‚‚ãã‚‚1ビット(ã¨è¨€ã£ã¦ã„ã„ã®ã‹ã‚ã‹ã‚‰ãªã„,-1,0,1ã®ä¸‰çŠ¶æ…‹ã‚’æŒã¤ã‹ã‚‰ã 。 論文著者ã¯log2(3)ã§1.58ビットã¨ã„ã†ä¸»å¼µã‚’ã—ã¦ã„ã‚‹)é‡å化ã®ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ 自体ã®ç ”究ã®æ´å²ã¯å¤ã„ã®ã§ã€BitNetã«ã‚ˆã‚‹Transformerã®é‡Žè‰¯å®Ÿè£…
何ã§ã‚‚微分ã™ã‚‹
Scala(JVM) ã§æ©Ÿæ¢°å¦ç¿’(NLP, Deep Learning, Neural Net, etc)
SQLiteã§ãƒ™ã‚¯ãƒˆãƒ«æ¤œç´¢ãŒã§ãã‚‹æ‹¡å¼µsqlite-vssを試ã™ï½œmah_lab / 西見 å…¬å®
Kerasã§word2vecを実装ã—ã¦æ—¥æœ¬èªžç‰ˆWikipediaã‚’å¦ç¿’ã—ã¦ã¿ã‚‹ - Qiita
Machine Learning  | Google for Developers
ã€æ±ºå®šç‰ˆã€‘スーパーã‚ã‹ã‚Šã‚„ã™ã„最é©åŒ–アルゴリズム-æ失関数ã‹ã‚‰Adamã¨ãƒ‹ãƒ¥ãƒ¼ãƒˆãƒ³æ³•- - Qiita
推薦システムã«ãŠã„ã¦ç·šå½¢ãƒ¢ãƒ‡ãƒ«ãŒã¾ã ã¾ã 有用ãªè©± | CyberAgent Developers Blog
{{#tags}}- {{label}}
{{/tags}}