エントリーの編集

エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
こんにちは。メディア研究開発センターの川畑です。 今回のテックブログではin-context learningの性能... こんにちは。メディア研究開発センターの川畑です。 今回のテックブログではin-context learningの性能を推論時間を利用することで伸ばすことができるか調査した結果を共有します。 大規模言語モデル (LLM) が推論時に与えられるいくつかの事例 (few-shot examples) を用いて推論することをin-context learning (ICL) と呼びますが、ICLの性能はLLMに与える例の構成にセンシティブであることが知られています [1]。良い事例集合を構成できればICLによる推論の性能は高く出る一方、悪い事例集合ではICLの性能は低く出てしまいます。さらにこの事例集合は推論対象の個別のデータに対して類似度が高い事例集合を選択するなどして動的に構築することで良い結果が得られることも知られています [2]。 それでは、この動的な事例選択にさらに推論時間 (test-