vllmで埋め込みモデルの推論を高速化する

小ネタです。

transformersの埋め込みモデルを使ってembeddingを作りたいことは割といろんなところであるかと思いますが、このembedding作成もそこそこ時間を食ったりします。

可能であれば埋め込みを計算するときも高速化したいので、今回はvllmで高速化してみたいと思います。

torchtuneを使ってカスタムデータセットでLlama 3.1をfinetuneする

最近LLMをいじってるんですが、LLMのfinetuneをコードを自分で書いて実行するのはまだまだ不安です。 処理も重たくGPU必須なのでそれなりにコストがかかるのに、変にバグらせるとショックもでかいです。 なので、できればコマンドだけでぱぱっとできると嬉しい気がしてきました。

そんなときにtorchtuneというツールを見つけました。 どうやらLLMをコマンドと設定ファイルを書くだけでfinetuneできるようで、試してみることにしました。 ということで、今回はそのtorchtuneを使ってみたメモです。

vast.aiを使ってみる

最近LLMを使って自力で学習とか回していたんですが、最近のNLP系のコンペはLLMがほぼ必須になっており庶民でも気軽に使えるColab ProにあるA100 ではメモリ40GBしかないのでどうにもならないことがあります。

AWSとかGCPにあるハイエンドGPUインスタンスを使える人はそれでも全然いいんですが、自分の経験上性能が高いGPUは使用申請してもなかなか承認が通らなかったりしたりしてその段階でLLMの学習を回せなくて詰むということもありえます。

そんな状況ではあるんですが、世の中にはGPUをOn-demandで利用させてくれるサービスがあったりします。 お金はかかりますが、それでも通常では絶対使用できないGPUを使えるというメリットがあるので、いざとなったら必要になります。

今回はそんな、On-demandで利用できるGPUのサービスの一つであるvast.aiを使ってみたので今回はそのメモです。

TabMの使い方のメモ

軽めのネタです。

ちょっと前にCMIコンペに出てまして、そこでテーブルデータに大してNNを適用させる実験をしていました。

www.nogawanogawa.com

この実験で色々試しているときに、なにやら別のコンペでTabMというNNの手法が効いたという話を耳にしたのでCMIコンペでも試してみました。 CMIコンペも終わったので、今回はそのTabMを試しに使ってみたときのメモを放流しようと思います。

Unslothの覚書き

これまでLLMはChatGPTとかを使うくらいの関わり方をしていたんですが、最近重い腰上げてLLMについてキャッチアップしようと勉強したりしていたりします。

LLMをfine tuneしようとしたときにどうやらUnslothというライブラリが便利らしいという話を小耳に挟みました。 このあたり、本当かどうかよく分からなかったので今回はUnslothを使ってみたメモです。

ã€å‚åŠ éŒ²ã€‘Child Mind Institute — Problematic Internet Use

雑記です。

2024/12/20 09:00 JSTまで行われてたCMI-Ⅱコンペにひっそりと参加していました。 一応、最後までやりきりはしたので振り返りを書いていこうと思います。

LlamaIndexでGemini 1.5 Flashを使う

最近諸事情がありまして、プライベートでLLMをガチャガチャいじっていたんですがChatGPTの請求がとんでもないことになっていました。 流石にコストかかり過ぎだということで、コストが安いGemini 1.5 Flashを使うことを検討しています。

LlamaIndexでGemini 1.5 Flashを使うという文献があまり見つからなかったので、今回はLlamaIndexでGemini 1.5 Flashを使ってみたやり方の備忘録です。

続：RAGの評価をいい感じにできるようにしたい

前にRAGの評価をいい感じにできないか試行錯誤してみてました。

www.nogawanogawa.com

ただ、その後使ってみてやっぱりArize Phoenixに依存するとなにかとしんどい感じがしたので、特にツールを使用せず普通のコードだけで評価をいい感じにできるように色々やってみようと思います。

LlamaTraceを使ってみる

以前Arize Phoenixを使ってたりしました。

www.nogawanogawa.com

www.nogawanogawa.com

そんなArize Phoenixですが、どうやらLlamaCloudでLlamaTraceという名前で使えるようになっているらしいです。

We’re excited to feature LlamaTrace - a collaborative effort with @arizeai to introduce advanced LLM tracing, observability, and evaluation for any LLM application workflows 🦙🔥

There are of course many great tools for LLM tracing/evals, and we have great integrations with many… pic.twitter.com/tjd93G8YK6

— LlamaIndex 🦙 (@llama_index) 2024å¹´7月11æ—¥

ということで使ってみたいと思います。

Geminiで安全性属性に関するエラーが出たときの対応メモ

小ネタです。

Gemini-ProやGemini-flashを使っているときに、安全性に関するメッセージとともにエラーになることがあります。

このときの対処方法について調べてみたのでそのメモです。