ペアーズã«ãŠã‘る評価ドリブンãªãƒªãƒªãƒ¼ã‚¹ã‚µã‚¤ã‚¯ãƒ«ï¼šLangfuseをフル活用ã—ãŸLLMOps基盤LLMOps基盤ã®ã‚·ã‚¹ãƒ†ãƒ アーã‚テクãƒãƒ£ç›®æ¬¡âˆ’ 目次 − 対象èªè€… − TL;DR − 背景：LLMアプリケーションé‹ç”¨ã®èª²é¡Œ − LLMOps基盤ã®ã‚·ã‚¹ãƒ†ãƒ アーã‚テクãƒãƒ£ −− 主ãªã‚³ãƒ³ãƒãƒ¼ãƒãƒ³ãƒˆã¨å½¹å‰² −− Langfuseを採用ã—ãŸç†ç”± − 評価ドリブンãªãƒªãƒªãƒ¼ã‚¹ãƒ©ã‚¤ãƒ•ã‚µã‚¤ã‚¯ãƒ«ã®å…¨ä½“åƒ âˆ’ オンライン評価プãƒã‚»ã‚¹ −− 1. ãƒã‚°ãƒ»ãƒˆãƒ¬ãƒ¼ã‚¹ãƒ‡ãƒ¼ã‚¿ã®ä¿å˜ −− 2. 評価ã¨ã‚¢ãƒŽãƒ†ãƒ¼ã‚·ãƒ§ãƒ³ − オフライン評価プãƒã‚»ã‚¹ −− プãƒãƒ³ãƒ—ト実験 −− LLMアプリケーション統åˆå®Ÿé¨“ − 今後ã®å±•æœ› − 終ã‚り㫠− å‚考文献 ã“ã‚“ã«ã¡ã¯ï¼Eureka AI Teamã§ã€Pairs（ペアーズ）ã®MLOps Engineerã‚’ã—ã¦ã„ã‚‹nariã§ã™ã€‚ ã“ã¡ã‚‰ã¯ã€Eureka（Pairs） Advent Calendar 2024 ã®10日目ã®è¨˜äº‹ã§ã™ã€‚ 本日ã¯ã€ç§ãŸã¡ãŒæ§‹ç¯‰ã—ãŸã€ŒLLMOps基盤ã€ã¨
The Rise of LLMOps
LLMマルãƒã‚¨ãƒ¼ã‚¸ã‚§ãƒ³ãƒˆã®ãƒ•ãƒãƒ¼ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ãƒªãƒ³ã‚°ã‚’支ãˆã‚‹LLM Ops
{{#tags}}- {{label}}
{{/tags}}