気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
ABCIでMPT-7Bのファインチューニングを試す｜shi3z
12 users
note.com/shi3zblog
note.com/shi3zblog
note.com/shi3zblog
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
前提知識MPT-7Bは最近発表された商用利用可能な大規模言語モデルで、LLaMAに匹敵する性能を持っていると... 前提知識MPT-7Bは最近発表された商用利用可能な大規模言語モデルで、LLaMAに匹敵する性能を持っていると言われています。 ABCIは経産省が管轄する日本在住者なら誰でも安価に使えるスーパーコンピュータです。 (ただし登録がいろいろ大変なので法人が前提です/利用料は最低20万円から) 対象読者行間が読める人。本文が間違っていても自分でソースコードに手を加えて修正できるスキルがある人。ABCIを使えるポジションの人。 僕も人間なのでミスはよくありますし、備忘録とこれからやろうとする人のために書いています。質問は受け付けません(自分でなんとかしてください)。 準備思ったより大変だったのでメモ まず、大前提として自宅のA6000x2のマシンでできるかと思ったら、ダメだった(12:57更新。ウソ:A6000x2でちゃんとできました)。 まず、MPTはTransformerなのでRWKVと違い、V
note.com/shi3zblog
note.com/shi3zblog
note.com/shi3zblog
note.com/shi3zblog
www.hoshinogen.com
bufferings.hatenablog.com
serai.jp
www.newsweekjapan.jp/tokyoeye
www.m3tech.blog
www.watch.impress.co.jp
gigazine.net
qiita.com/legokichi
forest.watch.impress.co.jp
forest.watch.impress.co.jp
newsdigest.jp
anond.hatelabo.jp
goodpic.com
nicomarine.hatenablog.com
www.netflix.com
dolce-sfogato.hatenablog.com
2023/06/21 リンク