気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
llama2のファインチューニング(QLORA)のメモ｜Kan Hatakeyama
41 users
note.com/kan_hatakeyama
note.com/kan_hatakeyama
note.com/kan_hatakeyama
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
2023/11/13追記以下の記事は､Llama2が公開されて数日後に書いた内容です｡ 公開から数ヶ月経った23年11月... 2023/11/13追記以下の記事は､Llama2が公開されて数日後に書いた内容です｡ 公開から数ヶ月経った23年11月時点では､諸々の洗練された方法が出てきていますので､そちらも参照されることをおすすめします｡ (以下､元記事です) 話題のLamma2をファインチューニングします｡ QLoRAライブラリを使うパターンと､公式推奨の2つを試しました｡前者が個人的にはオススメです｡ 前提Hugging faceで配布されている公式のモデルが必要です｡以下を参考に､ダウンロードしておきます｡ データセット作成 (7/20 15:20追記 設定ミスってたので修正しました) test.jsonを適当に作ります｡ [ { "input": "", "output": "### Human: 富士山といえば?### Assistant: なすび" }, { "input": "", "output":
note.com/kan_hatakeyama
note.com/kan_hatakeyama
note.com/kan_hatakeyama
note.com/kan_hatakeyama
www.sankei.com
anond.hatelabo.jp
www.phileweb.com
www.jcp.or.jp
zenn.dev/nakasyou
togetter.com
zenn.dev/fujiwara
creators.bengo4.com
www.itmedia.co.jp
www.itmedia.co.jp
minkara.carview.co.jp
www.sbu25.com
gendai.media
2023/07/25 リンク