NTTã€å¤§è¦æ¨¡è¨€èªžãƒ¢ãƒ‡ãƒ«ã‚’使ã£ãŸè¦–覚èªè§£æŠ€è¡“を実ç¾ã€å›³è¡¨ãªã©ã‚’å«ã‚€ã€Œæ–‡æ›¸ã€ã‚’èªã‚ã‚‹AIã«ã€€
LLMã®ãƒ•ã‚¡ã‚¤ãƒ³ãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°ã‚’他手法ã¨ã®é•ã„ã‹ã‚‰ç†è§£ã™ã‚‹ï¼ˆPart 1） | データアナリティクスラボ
JOURNALã«ã¤ã„ã¦ ãƒ‡ãƒ¼ã‚¿ã‚¢ãƒŠãƒªãƒ†ã‚£ã‚¯ã‚¹ãƒ©ãƒœæ ªå¼ä¼šç¤¾ã§ã¯ã€ITやデータサイエンスã«é–¢ã™ã‚‹æŠ€è¡“ã®ç ”究活動を行ã£ã¦ã„ã¾ã™ã€‚ã“ã®ãƒ–ãƒã‚°ã§ã¯ã€ç ”究活動ã§å¾—られãŸçŸ¥è¦‹ã‚„検証çµæžœã«ã¤ã„ã¦ã®æƒ…å ±ã‚’ç™ºä¿¡ã—ã¾ã™ã€‚ 本ブãƒã‚°ã§æä¾›ã•ã‚Œã‚‹æƒ…å ±ã¯ã€å¯èƒ½ãªé™ã‚Šæ£ç¢ºã‹ã¤æœ€æ–°ã®æƒ…å ±ã§ã‚るよã†ã«åŠªã‚ã¾ã™ãŒã€å¿…ãšã—ã‚‚ãã®æ£ç¢ºæ€§ã‚’ä¿è¨¼ã™ã‚‹ã“ã¨ã¯ã§ãã¾ã›ã‚“ã€‚å ´åˆã«ã‚ˆã£ã¦ã¯èª¤æƒ…å ±ãŒå«ã¾ã‚ŒãŸã‚Šã€æœ€æ–°ã®æƒ…å ±ã§ã¯ãªã„å¯èƒ½æ€§ã‚‚ã‚ã‚Šã¾ã™ã€‚予ã‚ã”了承ã„ãŸã ã‘ã¾ã™ã‚ˆã†ãŠé¡˜ã„申ã—上ã’ã¾ã™ã€‚ ã¯ã˜ã‚㫠データソリューション事æ¥éƒ¨ã®å®®æ¾¤ã§ã™ã€‚ 2024å¹´ã«å…¥ã£ã¦2ヶ月ãŒçµŒã¡ã¾ã—ãŸãŒç”ŸæˆAIã®å‹¢ã„ã¯æ¢ã¾ã‚‰ãšã€æ—¥æœ¬å›½å†…ã§ã‚‚GENIAC1ã‚’ã¯ã˜ã‚ã¨ã—ã¦ã€ç”ŸæˆAIã®é–‹ç™ºã¨æ´»ç”¨ãŒåŠ 速ã—ã¦ã„るよã†ã«æ„Ÿã˜ã¾ã™ã€‚最近ã§ã¯ã€ãƒ“ジãƒã‚¹ã§ã®å®Ÿç”¨ã‚’視野ã«å…¥ã‚Œã€æ—¢å˜ã®LLMを自社ドメインや特定ã®ç›®çš„ã«ã‚«ã‚¹ã‚¿ãƒžã‚¤ã‚ºã™ã‚‹å‹•ããŒæ´»ç™ºã«ãªã£ã¦ãã¾ã—ãŸã€‚LLMã®ã‚«ã‚¹ã‚¿ãƒžã‚¤ã‚ºæ‰‹æ³•ã¨
⼤è¦æ¨¡â¾”語モデルã®æ‹¡å¼µï¼ˆRAG）㌠終ã‚ã£ãŸã‹ã‚‚知れãªã„件ã«ã¤ã„ã¦
Constrained K-means Clustering (クラスタサイズã®åˆ¶é™ã‚’ã—ãŸK-means法) を調ã¹ã¦ã¿ãŸ
Emerging Architectures for LLM Applications | Andreessen Horowitz
There are many different ways to build with LLMs, including training models from scratch, fine-tuning open-source models, or using hosted APIs. The stack we’re showing here is based on in-context learning, which is the design pattern we’ve seen the majority of developers start with (and is only possible now with foundation models). The next section gives a brief explanation of this pattern; experi
ABCIã§MPT-7Bã®ãƒ•ã‚¡ã‚¤ãƒ³ãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°ã‚’試ã™ï½œshi3z
å‰æ知è˜MPT-7Bã¯æœ€è¿‘発表ã•ã‚ŒãŸå•†ç”¨åˆ©ç”¨å¯èƒ½ãªå¤§è¦æ¨¡è¨€èªžãƒ¢ãƒ‡ãƒ«ã§ã€LLaMAã«åŒ¹æ•µã™ã‚‹æ€§èƒ½ã‚’æŒã£ã¦ã„ã‚‹ã¨è¨€ã‚ã‚Œã¦ã„ã¾ã™ã€‚ ABCIã¯çµŒç”£çœãŒç®¡è½„ã™ã‚‹æ—¥æœ¬åœ¨ä½è€…ãªã‚‰èª°ã§ã‚‚安価ã«ä½¿ãˆã‚‹ã‚¹ãƒ¼ãƒ‘ーコンピュータã§ã™ã€‚ (ãŸã ã—登録ãŒã„ã‚ã„ã‚大変ãªã®ã§æ³•äººãŒå‰æã§ã™/利用料ã¯æœ€ä½Ž20万円ã‹ã‚‰) 対象èªè€…行間ãŒèªã‚る人。本文ãŒé–“é•ã£ã¦ã„ã¦ã‚‚自分ã§ã‚½ãƒ¼ã‚¹ã‚³ãƒ¼ãƒ‰ã«æ‰‹ã‚’åŠ ãˆã¦ä¿®æ£ã§ãるスã‚ルãŒã‚る人。ABCIを使ãˆã‚‹ãƒã‚¸ã‚·ãƒ§ãƒ³ã®äººã€‚ 僕も人間ãªã®ã§ãƒŸã‚¹ã¯ã‚ˆãã‚ã‚Šã¾ã™ã—ã€å‚™å¿˜éŒ²ã¨ã“ã‚Œã‹ã‚‰ã‚„ã‚ã†ã¨ã™ã‚‹äººã®ãŸã‚ã«æ›¸ã„ã¦ã„ã¾ã™ã€‚質å•ã¯å—ã‘付ã‘ã¾ã›ã‚“(自分ã§ãªã‚“ã¨ã‹ã—ã¦ãã ã•ã„)。 準備æ€ã£ãŸã‚ˆã‚Šå¤§å¤‰ã ã£ãŸã®ã§ãƒ¡ãƒ¢ ã¾ãšã€å¤§å‰æã¨ã—ã¦è‡ªå®…ã®A6000x2ã®ãƒžã‚·ãƒ³ã§ã§ãã‚‹ã‹ã¨æ€ã£ãŸã‚‰ã€ãƒ€ãƒ¡ã ã£ãŸ(12:57更新。ウソ:A6000x2ã§ã¡ã‚ƒã‚“ã¨ã§ãã¾ã—ãŸ)。 ã¾ãšã€MPTã¯Transformerãªã®ã§RWKVã¨é•ã„ã€V
BLOOMã¯ã“ã“10å¹´ã§æœ€ã‚‚é‡è¦ãªAIモデルã | AI専門ニュースメディア AINOW
著者ã®Alberto Romeroæ°ã¯ã‚¹ãƒšã‚¤ãƒ³åœ¨ä½ã®AI技術批評家ã§ã€åŒæ°ã®é‹ã„洞察ã«æº€ã¡ãŸè¨˜äº‹ã®ã„ãã¤ã‹ã¯AINOWã§ã‚‚紹介ã—ã¦æ¥ã¾ã—ãŸã€‚åŒæ°ãŒ2022å¹´6月末ã«Mediumã«æŠ•ç¨¿ã—ãŸè¨˜äº‹ã€ŽBLOOMã¯ã“ã“10å¹´ã§æœ€ã‚‚é‡è¦ãªAIモデルã ã€ã§ã¯ã€å¤§è¦æ¨¡è¨€èªžãƒ¢ãƒ‡ãƒ«BLOOMã®é–‹ç™ºçµŒç·¯ã¨ãã®é©æ–°æ€§ãŒè§£èª¬ã•ã‚Œã¦ã„ã¾ã™ã€‚ 2022å¹´7月12æ—¥ã«æ£å¼ãƒªãƒªãƒ¼ã‚¹ã•ã‚ŒãŸè¨€èªžãƒ¢ãƒ‡ãƒ«BLOOM（BigScience Language Open-science Open-access Multilingualã®ç•¥ç§°ï¼‰ã¯ã€ã‚¢ãƒ¼ã‚テクãƒãƒ£ã‹ã‚‰è¦‹ã‚Œã°GPT-3ã¨åŒã˜Transformerベースã§ã‚ã‚Šã€ãƒ‘ラメータ数ã¯1750å„„ã®GPT-3より少ã—多ã„1760å„„ã§ã‚る月並ã¿ãªãƒ¢ãƒ‡ãƒ«ã§ã™ã€‚ BLOOMã®é©æ–°æ€§ã‚’明らã‹ã«ã™ã‚‹ãŸã‚ã«ã€ã¾ãšRomeroæ°ã¯GTP-3ã®ã‚ˆã†ãªç¾ä»£ã‚’代表ã™ã‚‹å¤§è¦æ¨¡è¨€èªžãƒ¢ãƒ‡ãƒ«ã«å…±é€šã™ã‚‹ç‰¹å¾´ã‚’ã¾ã¨ã‚ã¾ã™
完全フリーã§3GBã®VRAMã§ã‚‚超高速ã«å‹•ã14B大è¦æ¨¡è¨€èªžãƒ¢ãƒ‡ãƒ«RWKVを試ã™ï½œshi3z
Transformerã¯åˆ†æ•£ã§ãる代償ã¨ã—ã¦è¨ˆç®—é‡ãŒçˆ†ç™ºçš„ã«å¤šã„ã¨ã„ã†ä¸åˆ©ãŒã‚る。 一度ã¿ã‚“ãªãŒå¿˜ã‚Œã¦ã„ãŸãƒªã‚«ãƒ¬ãƒ³ãƒˆãƒ‹ãƒ¥ãƒ¼ãƒ©ãƒ«ãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯(RNN)もボケーã£ã¨ã—ã¦ã„ã‚‹å ´åˆã§ã¯ãªã‹ã£ãŸã€‚ ãªã‚“ã¨ã€GPT3並ã®æ€§èƒ½ã‚’æŒã¤ã€ã—ã‹ã‚‚完全ã«ã‚ªãƒ¼ãƒ—ンãªå¤§è¦æ¨¡è¨€èªžãƒ¢ãƒ‡ãƒ«ãŒå…¬é–‹ã•ã‚Œã¦ã„ãŸã€‚ ãã®ãªã‚‚RWKV(RuwaKuvã¨ç™ºéŸ³ã—ã‚ã¨æ›¸ã„ã¦ã‚る。ルワクフ?) RWKVã¯RNNãªã®ã§GPUメモリをãã‚Œã»ã©å¤§é‡ã«å¿…è¦ã¨ã—ãªã„。 3GBã®VRAMã§ã‚‚å‹•ãã¨ã„ã†ã€‚ 時間ãŒãªã„æ–¹ã¯ãƒ“デオをã”覧ãã ã•ã„ 僕ã®å¤±æ•—ã¯ã€ä½•ã‚‚考ãˆãšã«git lfs installã§ãƒ‡ã‚£ãƒ¬ã‚¯ãƒˆãƒªã”ã¨ã‚³ãƒ”ーã—よã†ã¨ã—ãŸã“ã¨ã€‚ ã“ã®ãƒ‡ã‚£ãƒ¬ã‚¯ãƒˆãƒªã«ã¯éŽåŽ»ã®ãƒ¢ãƒ‡ãƒ«ãƒ‡ãƒ¼ã‚¿ãŒå…¨éƒ¨ã‚ã‚‹ã®ã§ã€ã²ã¨ã¤30GBã®ãƒ¢ãƒ‡ãƒ«ãƒ‡ãƒ¼ã‚¿ã‚’何å個もダウンãƒãƒ¼ãƒ‰ã—よã†ã¨ã—ã¦ã„ã¦çµ‚ã‚らãªã‹ã£ãŸã®ã 。 モデルデータã¯ä¸€ã¨ã¤ã‚ã‚Œã°å分ãªã®ã§ã²ã¨ã¤ã ã‘ã«ã™ã‚‹ã€‚ 次ã«ã€chatã®ãƒªãƒ
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
GitHub - ray-project/llm-numbers: Numbers every LLM developer should know
Introducing MPT-7B: A New Standard for Open-Source, Commercially Usable LLMs
{{#tags}}- {{label}}
{{/tags}}