transformersとaozorabunko-cleanで作る日本語ModernBERTモデル - Qiita

テクノロジーカテゴリーの変更を依頼記事元:

qiita.com/KoichiYasuoka

3 usersがブックマークコメント

コメント

0

記事へのコメント0件

注目コメント
新着コメント

新着コメントはまだありません。
このエントリーにコメントしてみましょう。

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

{{ total_bookmarks_with_user_postfix }}{{ root_title }}

transformersとaozorabunko-cleanで作る日本語ModernBERTモデル - Qiita

transf ormersとaozorabunko-cleanで、日本語ModernBERTモデルを作ってみることにした。ただ、ModernBERT... transf ormersとaozorabunko-cleanで、日本語ModernBERTモデルを作ってみることにした。ただ、ModernBERT-baseのトークナイザは日本語にあまりに不向きなので、昨年1月2日の記事で作ったDebertaV2TokenizerFastを使い回すことにした。また、ModernBERTの入力トークン幅は8192と大きいので、train.txtも各行10000文字程度にした。 #! /usr/bin/python3 #pip3 install transf ormers accelerate deepspeed triton datasets fugashi unidic-lite import os,json os.system(""" if test -d transf ormers then : else git clone --depth=1 https

ブックマークしたユーザー

tar0_t2025/01/07
KoichiYasuoka2025/01/02

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

設定を変更しましたx