ã€ãƒãƒ¼ã‚«ãƒ«AI】GUIã§CodeLlama-34B-Instruct-GGUFã‚’å‹•ã‹ã—ã¦ã¿ã‚‹ã€text-generation-webui】
ã€ãƒãƒ¼ã‚«ãƒ«AI】GUIã§CodeLlama-34B-Instruct-GGUFã‚’å‹•ã‹ã—ã¦ã¿ã‚‹ã€text-generation-webui】 æ¦‚è¦ ãƒãƒ¼ã‚«ãƒ«LLMã§æœ€è¿‘話題ã®ã€ŒCodeLlama-34B-Instruct-GGUFã€ã‚’text-generation-webuiã‹ã‚‰å‹•ã‹ã—ã€ã€Œãƒãƒ¼ã‚«ãƒ«LLMã§ã‚‚ファインãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°ãªã—ã§ãƒ—ãƒãƒ³ãƒ—ト指示ã§ãã‚‹ã€æ„Ÿè¦šã‚’体験ã—ã¦ã¿ã‚‹ã€‚ メインèªè€…ターゲット ã”家åºã«GPUãŒã‚る人（CPUã§ã‚‚良ã„ãŒé…ã„） 最é©åŒ–ã ã£ãŸã‚Šæ£ã—ã„ç†è§£ãŒã§ãã¦ã‚‹ã‹ã¯åˆ¥ã¨ã—ã¦ã€ã¨ã‚Šã‚ãˆãšå‹•ã‹ã—ãŸã„人 å°Žå…¥ã‹ã‚‰æ›¸ãã®ã§ã€æŽ¨è«–スピードã ã‘確èªã—ãŸã„人ã¯ä¸‹ã¾ã§ã™ã£é£›ã°ã—ã¦ãã ã•ã„。 å°Žå…¥ text-generation-webuiã®å°Žå…¥ 以下ã‹ã‚‰clone 自分ã¯pyenv+venvæ´¾ãªã®ã§ python -m venv .venv ã§activate。 ã‚ã¨ã¯åŸºæœ¬çš„ã«install
text-generation-webui ã® è¨å®šé …ç›®ã¾ã¨ã‚｜npaka
1. Text generation タブ「Text generation タブã€ã¯ã€ãƒ†ã‚スト生æˆã‚’è¡Œã†ã‚¿ãƒ–ã§ã™ã€‚ 以下ã®3ã¤ã®ãƒ¢ãƒ¼ãƒ‰ãŒã‚ã‚Šã€ã€ŒInference mode タブã€ã§åˆ‡ã‚Šæ›¿ãˆã¾ã™ã€‚ ・chatモード : ãƒãƒ£ãƒƒãƒˆã‚¢ãƒ—リ風ã®ãƒ¢ãƒ¼ãƒ‰ ・notebookモード : Playground風ã®ãƒ¢ãƒ¼ãƒ‰ ・defaultモード : 入出力ãŒåˆ¥ã‚Œã¦ã„るモード 1-1. chatモード・Input : メッセージ入力 ・Stop : テã‚スト生æˆã®åœæ¢ ・Generate : テã‚ã‚¹ãƒˆç”Ÿæˆ ãƒ»Continue : テã‚スト生æˆã®ç¶šãã®ç”Ÿæˆ ・Impersonate : ãªã‚Šã™ã¾ã— ・Regenerate : テã‚ストå†ç”Ÿæˆ ・Remove last : 最後ã®ä¼šè©±ãƒšã‚¢ã®å‰Šé™¤ ・Copy last reply : 最後ã®è¿”ä¿¡ã®ã‚³ãƒ”ー (最後ã®è¿”信→Input) ・Replace last re
text-generation-webui 㧠Rinnaã®LoRAファインãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°ã‚’試ã™ï½œnpaka
「text-generation-webuiã€ã§ã€ŒRinnaã€ã®LoRAファインãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°ã‚’試ã—ãŸã®ã§ã€ã¾ã¨ã‚ã¾ã—ãŸã€‚ å‰å›ž LoRAファインãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°ã‚’試ã™LoRAファインãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°ã®æ‰‹é †ã¯ã€æ¬¡ã®ã¨ãŠã‚Šã§ã™ã€‚ (1) å‰ã€…回ã¨åŒã˜æ‰‹é †ã§ã€Rinnaã¨ä¼šè©±ã§ãるよã†ã«è¨å®šã€‚ 今回ã¯ã€Rinnaã®ãƒ™ãƒ¼ã‚¹ãƒ¢ãƒ‡ãƒ« (rinna/japanese-gpt-neox-3.6b) を使ã„ã¾ã—ãŸã€‚ (2) 「Modelタブã€ã§ã€Œload-in-8bitã€ã‚’ãƒã‚§ãƒƒã‚¯ã—ã¦ã€Rinnaモデルをå†èªã¿è¾¼ã¿ã€‚ (3) 「ã‚ã‹ãã¨ã€œãデータセットã€(dataset_plain.txt) をダウンãƒãƒ¼ãƒ‰ã—ã¦ã€Œtraining/datasetsã€ãƒ•ã‚©ãƒ«ãƒ€ã«é…置。 今回ã¯ã€EOSã®ãªã„プレーンã®æ–¹ã‚’使ã„ã¾ã—ãŸã€‚ (4) 「Training タブã€ã§ã€ŒNameã€ã«LoRAモデルåを指定ã—ã€ã€ŒOverride Exis
ChatGPTクãƒãƒ¼ãƒ³ã‚’試ã™ï¼ˆtext-generation-webui編）
text-generation-webui Python製 主ã«ã‚ªãƒ¼ãƒ—ンãªè¨€èªžãƒ¢ãƒ‡ãƒ«å‘ã‘ stable-diffusion-web-uiã¨åŒã˜ç«‹ã¡ä½ç½®ã‚’目指ã—ã¦ã„るらã—ㄠ普通ã«ChatGPTã£ã½ãã¤ã‹ã†ã¨ã„ã†ã‚ˆã‚Šã¯ã€ã‚ªãƒ¼ãƒ—ンソースã®è¨€èªžãƒ¢ãƒ‡ãƒ«ã‚’色々試ã—ãŸã‚Šã€ç´°ã‹ã„パラメータè¨å®šã—ãŸã‚Šã€ãƒˆãƒ¬ãƒ¼ãƒ‹ãƒ³ã‚°ã•ã›ãŸã‚Šã€å°‘ã—専門家å‘ã‘ã«æŸ”らã‹ã„UI用æ„ã—ãŸã€ã¿ãŸã„ãªæ„Ÿã˜ã«è¿‘ã„ã¨æ€ã†ã€‚ ãªã®ã§ã€ä»Šå›žã®ç›®çš„ã¨ã¯ã¡ã‚‡ã£ã¨ç«‹ã¡ä½ç½®ãŒé•ã†ã¨ã¯æ€ã„ã¤ã¤ã‚‚ã€ä»Šã¾ã§è§¦ã£ã¦ã“ãªã‹ã£ãŸã®ã‚‚ã‚ã£ã¦ã€ã™ã“ã—触ã£ã¦ã¿ã‚‹ã€‚ インストール Windows/Linux/macOS/WSLå‘ã‘ã«ãƒ¯ãƒ³ã‚¯ãƒªãƒƒã‚¯ã§ãƒãƒ¼ã‚«ãƒ«ã§å®Ÿè¡Œã§ãるインストーラãŒç”¨æ„ã•ã‚Œã¦ã„ã‚‹ã®ã ã‘ã©ã€ä¸ã‚’見ã¦ã‚‹ã¨condaã¨ã‹ä½¿ã£ã¦ã‚‹ã¿ãŸã„。個人的ã«ã¯condaã‚’ã‚°ãƒãƒ¼ãƒãƒ«ã«ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ã™ã‚‹ã“ã¨ã«èºŠèº‡ã™ã‚‹ã¨ã“ã‚ãŒã‚ã£ã¦ã€ä»–ã®æ–¹æ³•ã¯ãªã„ã‹ãªãƒ¼ã¨ãŠã‚‚ã£ã¦ãŸã‚‰Dockerã§ã§
text-generation-webuiã‚’Dockerã§å‹•ã‹ã™
text-generation-webui ã„ã¤ã‚‚ã®npakaã•ã‚“ã®å¾Œè¿½ã„記事ã§ã™ã€‚npakaã•ã‚“ãŒç´ ã®Windowsã§ã‚»ãƒƒãƒˆã‚¢ãƒƒãƒ—ã—ã¦ã„ã‚‹ã®ã«å¯¾ã—ã¦ã€Linux + Dockerã§ã‚»ãƒƒãƒˆã‚¢ãƒƒãƒ—ã—ã¾ã™ã€‚ セットアップ方法 Linux(Ubuntu22.04)å‰æã§ã™ã€‚Windows(WSL2）ã§ã‚‚å‹•ãæ°—ãŒã—ã¾ã™ã€‚Macã¯åˆ†ã‹ã‚‰ãªã„ã§ã™ï¼ˆã ã‚ã‹ã‚‚）。 Dockerセットアップ Dockerã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ã¯ã€ä»¥ä¸‹è¨˜äº‹å‚ç…§ãã ã•ã„（雑ã«çœç•¥ï¼‰ セットアップ git lfsをセットアップã—ã¾ã™ã€‚
「Text generation web UIã€ã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«æ–¹æ³•ã¨ä½¿ã„æ–¹ï¼å¤§è¦æ¨¡è¨€èªžãƒ¢ãƒ‡ãƒ«ã‚’自分ã®PCã§æ‰‹è»½ã«å‹•ã‹ãã†
ã‚’ä¸å¯§ã«ã”紹介ã™ã‚‹ã¨ã„ã†å†…容ã«ãªã£ã¦ã„ã¾ã™ã€‚ 大è¦æ¨¡è¨€èªžãƒ¢ãƒ‡ãƒ«ã¨ã„ã†ã¨ChatGPTã«ä½¿ã‚ã‚Œã¦ã„る「GPT-4ã€ãŒæœ‰åã§ã™ãŒã€ãã®ã»ã‹ã«ã‚‚様々ãªä¼æ¥ãƒ»å›£ä½“ãŒé–‹ç™ºã«ç€æ‰‹ã—ã¦ãŠã‚Šè‰²ã€…ãªãƒ¢ãƒ‡ãƒ«ãŒå˜åœ¨ã—ã¾ã™ã€‚ãŸã 基本的ã«ã“ã®æ‰‹ã®ãƒ¢ãƒ‡ãƒ«ã¯Webサービスã®å½¢ã§æä¾›ã•ã‚Œã¦ã„ã‚‹ã‚‚ã®ãŒå¤šãã€è‡ªåˆ†ã®PCã§å‹•ã‹ã™ã¨ã„ã†ã‚¤ãƒ¡ãƒ¼ã‚¸ã¯ã‚ã¾ã‚Šãªã„ã¨æ€ã„ã¾ã™ã€‚ ã—ã‹ã—調ã¹ã¦ã¿ã‚‹ã¨LLMを手軽ã«æ‰±ãˆã‚‹ã€ŒText generation web UIã€ã¨ã„ã†ç„¡æ–™ãƒ„ールãŒã‚ã£ãŸã®ã§ä»Šå›žä½¿ã£ã¦ã¿ã‚‹ã“ã¨ã«ã—ã¾ã—ãŸã€‚ ã“ã“ã§ã¯ã“ã®ãƒ„ールã«ã¤ã„ã¦ ãƒ„ãƒ¼ãƒ«æ¦‚è¦ ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«æ–¹æ³• 使ã„æ–¹ ã‚’ãªã‚‹ã¹ãã‚ã‹ã‚Šã‚„ã™ã書ã„ã¦ã„ãã¾ã™ã。
ChatGPT（3.5）ã«åŒ¹æ•µã™ã‚‹ã€ŒLlama 2ã€ã‚’ãƒãƒ¼ã‚«ãƒ«PCã§å‹•ã‹ã—ã¦ã¿ãŸ
生æˆAIã®ãƒˆãƒƒãƒ—ランナーã¨ã„ãˆã°ã€ç±³OpenAIãŒæä¾›ã™ã‚‹GPT-4ãªã©ã‚’使ã£ãŸChatGPTã§ã™ãŒã€ãã®å¯¾æŠ—馬ã¨ã—ã¦æœŸå¾…ã•ã‚Œã¦ã„ã‚‹ã®ãŒç±³MetaãŒæä¾›ã™ã‚‹å¤§è¦æ¨¡è¨€èªžãƒ¢ãƒ‡ãƒ«ã€ŒLlama 2ã€ã§ã™ã€‚ ã“ã®Llama 2ã€GPT-3.5ã®3月1日時点ã®ãƒ¢ãƒ‡ãƒ«ã«åŒ¹æ•µã™ã‚‹æ€§èƒ½ã‚’æŒã£ã¦ã„ã‚‹ã¨ã„ã†ã®ãŒã‚¦ãƒªã§ã™ã€‚GPT-3.5ã¨ã„ãˆã°ã€ç„¡æ–™ç‰ˆã®ChatGPTã§ä½¿ã‚ã‚Œã¦ã„るモデルã§ã™ã€‚ãã‚ŒãŒã‚ªãƒ¼ãƒ—ンソースã¨ã—ã¦å…¬é–‹ã•ã‚ŒãŸã®ã§ã™ã‹ã‚‰ã€è¡æ’ƒçš„ã§ã™ã€‚ ã•ã‚‰ã«ã€é«˜æ€§èƒ½ãªã ã‘ã§ãªãモデルサイズãŒå°ã•ã„ã“ã¨ã‚‚特徴ã§ã™ã€‚GPT-3ã®ãƒ‘ラメータ数ã¯1750億（175B）ã€GPT-3.5ã¯æœªå…¬é–‹ã§ã¯ã‚ã‚‹ã‚‚ã®ã®3550億（355B）ã¨æŽ¨å®šã•ã‚Œã¦ã„ã¾ã™ã€‚一方ã§ã€Llama 2ã¯ã€700億（70B）パラメータã§ã€GPT-3.5並をã†ãŸã£ã¦ã„ã¾ã™ã€‚ パラメータãŒå°ã•ããªã‚Œã°å¿…è¦ãªGPUã®ãƒ¡ãƒ¢ãƒªã‚‚å°ã•ããªã‚Šã¾ã™ã€‚GPT-3.5ã¯ãƒ‡ãƒ¼
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
Gradioã§ã‚‚ã†èª°ã§ã‚‚見れるデモ
How To Install TextGen WebUI on AWS
“PCã§è‡ªå®…ChatGPTâ€ãŒã‹ãªã‚Šæ‰‹è»½ã«ï¼ã€€GUIã§ç°¡å˜å°Žå…¥ã§ã日本語もOKã®ã€ŒText generation web UIã€ã€ã‚¤ãƒ‹ã‚·ãƒ£ãƒ«B】
{{#tags}}- {{label}}
{{/tags}}