【llama.cpp】誰でもできるgguf変換

【llama.cpp】誰でもできるgguf変換

tinyLlamaとかを使うときに4bit量子化したいときが誰しも一度はあると思うので、備忘録を書いておく。 l...概要を表示 tinyLlamaとかを使うときに4bit量子化したいときが誰しも一度はあると思うので、備忘録を書いておく。 llama.cppを導入し、convert.pyを実行、最後にquantize.exeを実行すればOKです。 cmakeの導入 これを参考にcmakeを使えるようにしてみてください llama.cppの導入 llama.cppをクローン git clone https://github.com/ggerganov/llama.cpp cd llama.cpp makeをする。自分はcmakeでやった mkdir build cd build cmake .. cmake --build . --Release cd .. モデルの変換 モデルのダウンロードをする。今回は「yuiseki/tinyllama-ja-wikipedia-1.5T-v0.1」を用いる。 cd models

• LLM
• AI
• c++
• あとで読む