自動化するLLMシステムの品質管理: LLM-as-a-judge の作り方 - Gaudiy Tech Blog

テクノロジーカテゴリーの変更を依頼記事元:

techblog.gaudiy.com

39 usersがブックマークコメント

コメント

3

記事へのコメント3件

注目コメント
新着コメント

poad1010 この記事をおすすめしました

2024/10/22 リンク

misshiki “LLM-as-a-Judgeを、LLMを使ったシステムの振る舞いの改善の確認 and デグレ検知目的で作っていく際の、私なりの流れやTipsなどを紹介”

自然言語処理

2024/10/22 リンク

hiroomi "「なぜLLMでの評価がしたいのか」システムが改善しているか、または劣化(デグレ)してないかを検知したい"このノリ、そして実装してた人、花本に居そう。

llm

2024/10/22 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

{{ total_bookmarks_with_user_postfix }}{{ root_title }}

自動化するLLMシステムの品質管理: LLM-as-a-judge の作り方 - Gaudiy Tech Blog

こんにちは。ファンと共に時代を進める、Web3スタートアップ Gaudiy の seya (@sekikazu01)と申します。... こんにちは。ファンと共に時代を進める、Web3スタートアップ Gaudiy の seya (@sekikazu01)と申します。 LLM-as-a-Judge、名前の通り何かしらの評価にLLMを使う手法です。 LLMは非構造化データでもうまいこと解釈してくれる優れものなため、通常のプログラミングでは判断することが難しいことでも、それらしき判断やスコアをつけてくれます。本記事ではそんなLLM-as-a-Judgeを、LLMを使ったシステムの振る舞いの改善の確認 and デグレ検知目的で作っていく際の、私なりの流れやTipsなどを紹介していきます。なぜLLMでJudgeしたいのか？はじめに「なぜLLMでの評価がしたいのか」、その目的を整理したいと思います。まず大上段の目的として、LLMシステムが改善しているか、または劣化(デグレ)してないかを検知したいというのがあります。 LLMを使っ

ブックマークしたユーザー

serihiro2024/12/13
yuiseki2024/12/07
pokutuna2024/11/01
smarux2024/10/24
noeloasis2024/10/23
TanakaYusukeBerry2024/10/23
deejayroka2024/10/23
clash_m452024/10/22
yug12242024/10/22
cutc-mt2024/10/22
deep_domao2024/10/22
ZAORIKU2024/10/22
katsukiniwa2024/10/22
hanahanayaman2024/10/22
nikochan2k2024/10/22
coppercrap2024/10/22
poad10102024/10/22
ayaniimi2132024/10/22

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

設定を変更しましたx