四畳半のオフィスで70億パラメータのLLMを事前学習した話｜Lightblue

テクノロジーカテゴリーの変更を依頼記事元:

note.com/lightblue_tech

45 usersがブックマークコメント

コメント

1

記事へのコメント1件

注目コメント
新着コメント

sh19910711 "LLM（MPT-7B）の学習済みモデルに日本語の追加学習 / mC4の日本語サブセット: HuggingFaceのデータセットとして公開 + データ量は830GB / 学習を開始してから約118時間後に学習を停止 + コストはおよそ66万円"

2023/07/21 リンク

deejayroka “多言語データで事前学習したモデルから、日本語データのみで追加学習を行うことで、低コストで高性能な日本語LLMの開発を目指しました”

2023/07/22 リンク

sh19910711 "LLM（MPT-7B）の学習済みモデルに日本語の追加学習 / mC4の日本語サブセット: HuggingFaceのデータセットとして公開 + データ量は830GB / 学習を開始してから約118時間後に学習を停止 + コストはおよそ66万円"

2023/07/21 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

{{ total_bookmarks_with_user_postfix }}{{ root_title }}

四畳半のオフィスで70億パラメータのLLMを事前学習した話｜Lightblue

はじめにこんにちは、Lightblueの樋口です。大規模言語モデル(LLM)は大変注目を集めていますが、日本語... はじめにこんにちは、Lightblueの樋口です。大規模言語モデル(LLM)は大変注目を集めていますが、日本語で事前学習された公開モデルは限定的です。LLMの事前学習は大きなコストがかかるとされており、公開されているモデルは海外のビッグテックが中心で、国内では2件しか例がありません。 ■サイバーエージェント OpenCALM　GPT (small, medium, large, 1.4b, 2.7b, 6.8b) 日本語 Wikipedia + Jpanese mC4+ Japanese CC-100 ■rinna rinna GPT　GPT (xsmall, small, medium, 1b, neox-small, neox-3.6b) 日本語 Wikipedia + Japanese CC-100 (1b 以降のモデルではさらに Japanese mC4 を追加) その他、日本語

ブックマークしたユーザー

yuiseki2025/02/10
irasya2024/10/27
sutatin2024/07/25
roogh5eeSha62023/09/09
questbeat2023/08/16
NOkon2023/07/27
yyamano2023/07/26
midas365452023/07/23
mochitabesugi2023/07/23
nukosan5552023/07/23
balaem2023/07/23
bayaread2023/07/23
Hiro_Matsuno2023/07/22
mon02132023/07/22
iwata_n2023/07/22
chess-news2023/07/22
ytsk2023/07/22
hakutenkun2023/07/22

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

設定を変更しましたx