気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
0.5BパラメータのLLMを一から作ろうとして心が折れかけた話
40 users
zenn.dev/yuki127
zenn.dev/yuki127
zenn.dev/yuki127
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
この記事について 今回Transformerを理解したいという目的でDecoder-OnlyのLLMをスクラッチで作ることに... この記事について 今回Transformerを理解したいという目的でDecoder-OnlyのLLMをスクラッチで作ることにしました。 というのも、この約2年、新しいモデルが発表されなかった月はないほど目まぐるしく変化していくローカルLLMを追っていく中で、楽しさもある反面、よく分からないブラックボックスとして扱い続けるということにもやもやした気持ちを感じていました。 そこで自分もモデルを一から作ってみたらよくわかるんじゃないかな？という気持ちでこのプロジェクトをスタートしました。 既にローカルLLMのコミュニティでは一からモデルを作っている方は複数いるものの、今回は自身のTransformerに対する理解を深めることが目的ですから、なるべく頼らずにいこうと決めました。 (これが一番の過ちだったかもしれません...。) かなり長くなってしまったので「まとめ」へのリンクを貼っておきます。 ま
zenn.dev/yuki127
zenn.dev/yuki127
zenn.dev/yuki127
delete-all.hatenablog.com
newsdig.tbs.co.jp
www3.nhk.or.jp
about.mercari.com
togetter.com
courrier.jp
note.com/suthio
www.itmedia.co.jp
www.itmedia.co.jp
kaden.watch.impress.co.jp
zenn.dev/mkj
forest.watch.impress.co.jp
liverpool.tokyo
anond.hatelabo.jp
tabetainjya.com
akibacypher.booth.pm
2024/10/16 リンク