はてなブックマーク

ローカルLLMを使ったアプリケーションをexeファイルする時の注意点があったので、備忘録的に。 LLMモデルはあとで読み込めるようにする 最初試したのは以下。 pyinstaller --onefile --add-data "models/hoge.gguf;models" main.py これだと途中でエラーになる。原因はggufにしたところで数GBになるため。なので、ビルド終わったらcpコマンド等でdistディレクトリにmodelsをコピーしてあげよう。 hooksをきちんと書く llama-cpp-pythonはllama.dllというのが必要で、どうやらビルド時にこれの参照が上手くいかなくなるらしい。下記ページを参考に、hooksディレクトリにhook-llama_cpp.pyを配置してあげよう。 最終的なコマンドは以下になった。これさえ気を付ければexe配布できるので、気軽に配

こんにちは、Saldraです。普段はPictoriaという会社でAIの美少女の錬成に励んでいるエンジニアです。この記事はローカルLLMの概要をつかむことを目的とします。対象読者は以下です。 なんとなく ChatGPT は使ったことある人 ローカル LLM を聞いたことあるけどやったことない人 ローカル LLM とは OpenAIがAPIを公開してから、大規模言語モデル（以降LLMとします）は大きく進化していきました。この進化はOpenAIのAPIだけでなく、ローカルLLMも進化をしています。 ローカルLLMとは「一般向けにファイルとして公開されたモデル」で推論させる遊びです。APIは便利ですが、インターネットの接続が必要であったり、API提供側に依存する問題があります。ローカルLLMは自前で運用ができるため、APIにはないメリットや魅力があります。一方で、環境構築やマシンスペック等、少し始

まとめ LLMのファインチューニングにおいて、データセットは重要なものとなりつつある 以前までは人力で作る必要があったが、プロンプトが効く7Bモデル（Calm2-chat）を用いることで、LLMでファインチューニング用データセットを作ることができる データセットを作成しつつ、動的にプロンプトを修正していく手法が相当よかった 導入 LLMのファインチューニングには、大量のデータセットが必要です。良く言われているのは「少なくとも数百～数千はあった方が良い」というものです。翻訳など、皆が使うであろうようなタスクのデータセットは存在する一方で、「女の子の日記をLLMで作りたい」のような、完全に自分の癖に従ったようなデータセットは基本的には存在しません。一から自分で作っても良いのですが、人間の時間とやる気は有限なため、かなり無謀な挑戦と言えるでしょう。 この作業にLLMを用いることで、労力を最小限ま

【ローカルAI】GUIでCodeLlama-34B-Instruct-GGUFを動かしてみる【text-generation-webui】 概要 ローカルLLMで最近話題の「CodeLlama-34B-Instruct-GGUF」をtext-generation-webuiから動かし、「ローカルLLMでもファインチューニングなしでプロンプト指示できる」感覚を体験してみる。 メイン読者ターゲット ご家庭にGPUがある人（CPUでも良いが遅い） 最適化だったり正しい理解ができてるかは別として、とりあえず動かしたい人 導入から書くので、推論スピードだけ確認したい人は下まですっ飛ばしてください。 導入 text-generation-webuiの導入 以下からclone 自分はpyenv+venv派なので python -m venv .venv でactivate。 あとは基本的にinstall

これはどんな記事？ 以下記事のやってみた記事です。 「Llama.cpp + cuBLAS」でGPU推論させることが目標。基本は同じことをやるので、自分が大事だと思った部分を書きます。 準備 CUDA環境が整っているかを確認すること nvidia-smi nvcc --version 自分の場合はnvccとnvidia-smiのCUDAバージョンが同一でなく、nvccを再度インストールしPCを再起動させる必要がありました。 モデルの選定とダウンロード 検証だったのでllama-2-13b-chatのggmlであればなんでも良かったです。今回はq4-K_Mにしました。 選ぶ基準はこれを参考にすると良いと思います。 推論 ./main -m ./models/llama-2-13b-chat.ggmlv3.q4_K_M.bin --temp 0.1 -p "[INST]What is the

サーバーレスでプロダクト開発したらOAuthで詰まった話【React+node.js+Express+TwitterOAuth】 まとめ 「配信告知メーカー」というサービスを作った。 GAEで3レッグ認証OAuthを試した。（API） TwitterのOAuthフローは結構歴史が古く、自分は数年前の記事ばかりあって不安になってしまったが、結果的に数年更新がされていないライブラリを使うことになった。きちんと動いているので、凄い心配する必要はないよ、という応援記事。 DBを使いたくなかったため画像の受け渡しをbase64変換し保存するというhackになってしまったが、基本はDBで保存した方が良いと感じた。 本文 構成図 Frontend: deploy:Netlify(githubのmasterが更新されると自動デプロイ) React 多言語対応でDOMを動的に変化させる必要があり、勉強がてら