OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留を試す｜npaka

テクノロジーカテゴリーの変更を依頼記事元:

note.com/npaka

95 usersがブックマークコメント

コメント

9

記事へのコメント9件

注目コメント
新着コメント

canadie 特定の知識を与えたい時、大量の前提データから正確かつ大量のQA形式の訓練データを作る必要があるのだが、それをGPT-4にやらせると言う話。GPT-4相当の性能になるわけではない

2023/08/27 リンク

isrc 「GPT-4」で学習データを生成し、「GPT-3.5」でファインチューニングすることで、「GPT-3.5」に「GPT-4」相当の知識を習得させます。

機械学習

2023/08/30 リンク

secondlife GPT4でQA作ってFTする

2023/08/30 リンク

misshiki “「GPT-4」で学習データを生成し、「GPT-3.5」でファインチューニングすることで、「GPT-3.5」に「GPT-4」相当の知識を習得させます。...ファインチューニング前より後の方が、faithfulnessが増えました。”

2023/08/28 リンク

fashi AIで別のAIをチューンするってシンギュラリティ感あるよね(ない

chatgpt

2023/08/27 リンク

takashi_kun 蒸留ってこういうのだったっけ…？

2023/08/27 リンク

canadie 特定の知識を与えたい時、大量の前提データから正確かつ大量のQA形式の訓練データを作る必要があるのだが、それをGPT-4にやらせると言う話。GPT-4相当の性能になるわけではない

2023/08/27 リンク

doko なんかここ数日ファインチューニングの記事多いね

GPT

2023/08/27 リンク

takaya030 ファインチューニング

2023/08/27 リンク

stealthinu 資料をGPT3.5に食わせて自動で問題文を多数生成させてfinetuningする手法でGPT3.5で4相当の性能指標になったという件を、npakaさんがもう追試してた…　はええよ／元ネタの人がGPT4相当クオリティになった、と言ってるのだが…

2023/08/27 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

{{ total_bookmarks_with_user_postfix }}{{ root_title }}

OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留を試す｜npaka

OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留を試したのでまとめました。 1. GP... OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留を試したのでまとめました。 1. GPT-4 から GPT-3.5 への蒸留「LlamaIndex」で、OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留のColabが提供されてたので、それをベースに独自データで試してみました。具体的には、「GPT-4」で学習データを生成し、「GPT-3.5」でファインチューニングすることで、「GPT-3.5」に「GPT-4」相当の知識を習得させます。 We successfully made gpt-3.5-turbo output GPT-4 quality responses in an e2e RAG system 🔥 Stack: automated training dataset creation in @ll

ブックマークしたユーザー

yuki_20212023/09/29
kgrdk2023/09/28
sakito09022023/08/30
isrc2023/08/30
secondlife2023/08/30
misshiki2023/08/28
kuumon2023/08/28
deejayroka2023/08/28
shion2142023/08/28
yahihi2023/08/28
yuiseki2023/08/27
giboshi312023/08/27
bayaread2023/08/27
share_stream2023/08/27
dhesusan46492023/08/27
nori-tech2023/08/27
yamori04082023/08/27
ys00002023/08/27

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

設定を変更しましたx