自然言語ã¨Vision&Language
æ±äº¬å¤§å¦å¤§å¦é™¢ã®2024å¹´åº¦è¬›ç¾©ã€ŒçŸ¥èƒ½æƒ…å ±è«–ã€ã§ä½¿ç”¨ã—ãŸè³‡æ–™ã§ã™ï¼Ž Vision&Language関連ã®ç ”究ã«ã¤ã„ã¦ï¼Œæ·±å±¤å¦ç¿’åˆæœŸã‹ã‚‰å¤§è¦æ¨¡ãƒ¢ãƒ‡ãƒ«ã«ã„ãŸã‚‹ã¾ã§ã‚’概観ã—ã¦ã„ã¾ã™ï¼Ž ãªãŠï¼Œè³‡æ–™ä½œæˆæ™‚期ã¯2024å¹´5月下旬ã§ã‚り，内容ã¯ãã®æ™‚点ã§ç™ºè¡¨ã•ã‚Œã¦ã„ãŸç ”究ç‰ã«åŸºã¥ã„ã¦ã„ã¾ã™ï¼Ž
ニューラルã‹ãªæ¼¢å—変æ›ã‚¨ãƒ³ã‚¸ãƒ³ã€ŒZenzaiã€ã‚’azooKey on macOSã«æ載ã—ã¾ã™
ã“ã‚“ã«ã¡ã¯ã€‚iOSã®æ—¥æœ¬èªžå…¥åŠ›ã‚¢ãƒ—リã§ã‚る「azooKeyã€ã‚’開発ã—ã¦ã„ã‚‹Miwaã§ã™ã€‚ azooKeyã¯æœ€è¿‘macOS版ã®é–‹ç™ºãŒé€²ã‚“ã§ã„ã¾ã™ã€‚ã“ã®azooKey on macOSã«ã€å®Œå…¨ã«ãƒãƒ¼ã‚«ãƒ«ã§å‹•ä½œã™ã‚‹ãƒ‹ãƒ¥ãƒ¼ãƒ©ãƒ«ã‹ãªæ¼¢å—変æ›ã‚¨ãƒ³ã‚¸ãƒ³ã§ã‚る「Zenzaiã€ã‚’開発ã—ã€æ載ã—ã¾ã™ã€‚ã“ã®è¨˜äº‹ã§ã¯Zenzaiã®æŠ€è¡“を解説ã—ã¾ã™ã€‚ Zenzaiã‚’æ載ã—ãŸazooKey on macOSã¯ç¾åœ¨ã‚¢ãƒ«ãƒ•ã‚¡ç‰ˆã¨ã—ã¦ãƒªãƒªãƒ¼ã‚¹ã—ã¦ã„ã¾ã™ã€‚macOSã‚’ã”利用ã®æ–¹ã¯ãœã²å…¥ã‚Œã¦è©¦ã—ã¦ã¿ã¦ãã ã•ã„ï¼ Zenzaiã®æ¦‚è¦ æ—¥æœ¬èªžå…¥åŠ›ã«æ¬ ã‹ã›ãªã„ã‹ãªæ¼¢å—変æ›ã§ã™ãŒã€ãã®æ´å²ã¯é•·ãã€50å¹´ã«ã‚‚åŠã³ã¾ã™ã€‚ã“ã®é–“様々ãªã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ ãŒæ案ã•ã‚Œåˆ©ç”¨ã•ã‚Œã¦ãã¾ã—ãŸãŒã€è¿‘å¹´ã®æŠ€è¡“開発ã¯ã‚„ã‚„è½ã¡ç€ãã¤ã¤ã‚ã‚Šã¾ã™ã€‚オープンソースã®ã‹ãªæ¼¢å—変æ›ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã§ä»Šã§ã‚‚広ã利用ã•ã‚Œã¦ã„ã‚‹ã‚‚ã®ã¯æ•°ãˆã‚‹ã»ã©ã—ã‹ã‚ã‚Šã¾ã›ã‚“。 クãƒãƒ¼ã‚ºãƒ‰ã‚½ãƒ¼ã‚¹ã®ã‚·ã‚¹ãƒ†
RAGã§ã®å›žç”精度å‘上ã®ãŸã‚ã®ãƒ†ã‚¯ãƒ‹ãƒƒã‚¯é›†ï¼ˆRAGã¨ã¯ä½•ã‹ï¼‰
ã¯ã˜ã‚ã¾ã—ã¦ã€‚æ ªå¼ä¼šç¤¾ãƒŠãƒ¬ãƒƒã‚¸ã‚»ãƒ³ã‚¹ã®é–€è„‡ã§ã™ã€‚普段ã¯ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢å…¼PMã¨ã—ã¦ã€ã€Œç¤¾å†…データã«åŸºã¥ã„ã¦å›žç”ã—ã¦ãれるã€ãƒãƒ£ãƒƒãƒˆãƒœãƒƒãƒˆã‚’エンタープライズä¼æ¥å‘ã‘ã«æä¾›ã—ã¦ã„ã¾ã™ï¼ˆä¸€å¿œã€200社以上ã«å°Žå…¥å®Ÿç¸¾ã‚り）。ã“ã“ã§é–‹ç™ºã—ã¦ã„ã‚‹ãƒãƒ£ãƒƒãƒˆãƒœãƒƒãƒˆã¯ã€ChatGPTを始ã‚ã¨ã—ãŸLLM（Large Language Models）を活用ã—ãŸã‚µãƒ¼ãƒ“スã§ã‚ã‚Šã€ãã®ä¸ã§ã‚‚RAG（Retrieval Augmented Generative）ã¨ã„ã†ä»•çµ„ã¿ã‚’ガッツリ利用ã—ã¦ã„ã¾ã™ã€‚本記事ã§ã¯ã€RAG精度å‘上ã®ãŸã‚ã®çŸ¥è¦‹ã‚’共有ã—ã¦ã„ãã¾ã™ã€‚ ã¯ã˜ã‚ã« ã“ã®è¨˜äº‹ã¯ä½• ã“ã®è¨˜äº‹ã¯ã€LlamaIndexã®Andreiæ°ã«ã‚ˆã‚‹ã€ŽA Cheat Sheet and Some Recipes For Building Advanced RAGã€[1]ã¨ã„ã†è¨˜äº‹ã§ç´¹ä»‹ã•ã‚Œã¦ã„る「RAGã«é–¢ã™ã‚‹ãƒãƒ¼ãƒˆã‚·ãƒ¼ãƒˆã€ã«ã¤ã„ã¦ã€And
Vertex AIã¨BigQueryã§ã¤ãã‚‹ã€ç°¡å˜ãƒ™ã‚¯ãƒˆãƒ«æ¤œç´¢&テã‚スト分æžã‚·ã‚¹ãƒ†ãƒ | DevelopersIO
Vertex AIパイプラインを使ã†ã“ã¨ã§ã€BigQueryãŠã‚ˆã³BigQueryã‹ã‚‰å‚ç…§ã§ãるデータを対象ã«ã—ã¤ã¤ã‚‚ã€Google Cloud Pipeline Componentsã‚„Vertex AIメタデータãªã©Vertex AIã®æ©Ÿèƒ½ã®æ©æµã‚‚ã§ãã‚‹ã ã‘å—ã‘ã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚ データアナリティクス事æ¥æœ¬éƒ¨ 機械å¦ç¿’ãƒãƒ¼ãƒ ã®éˆ´æœ¨ã§ã™ã€‚ BigQueryã§ã¯ã€Vertex AIã¨é€£æºã—ã¦æ ¼ç´ã—ãŸãƒ‡ãƒ¼ã‚¿ã‚’生æˆAIã§å‡¦ç†ã™ã‚‹ã“ã¨ãŒå¯èƒ½ã§ã™ã€‚ 例ãˆã°ãƒ†ãƒ¼ãƒ–ルã«æ ¼ç´æ¸ˆã¿ã®ãƒ†ã‚ストをもã¨ã«åŸ‹ã‚è¾¼ã¿ãƒ™ã‚¯ãƒˆãƒ«ã‚„別ã®ãƒ†ã‚ストを生æˆã™ã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚ 特ã«åŸ‹ã‚è¾¼ã¿ãƒ™ã‚¯ãƒˆãƒ«ãŒã‚ã‚Œã°èˆˆå‘³ãŒã‚るテã‚ストã«é¡žä¼¼ã—ãŸãƒ†ã‚ストをBigQuery内ã§æ¤œç´¢ã—ã€é¡žä¼¼ãƒ¬ã‚³ãƒ¼ãƒ‰ã®ç‰¹å¾´ã‹ã‚‰é–¢å¿ƒã®ã‚るテã‚ストを分æžã™ã‚‹ã“ã¨ã‚‚ã§ãã¾ã™ã€‚ã¾ãŸã€RAGã«ä½¿ç”¨ã™ã‚‹ã“ã¨ã‚‚ã§ãã¾ã™ã€‚ 今回ã¯BigQueryã¨Vertex AIを使ã£ã¦ã€ãƒ†ãƒ¼
LangChain ã§ç¤¾å†…ãƒãƒ£ãƒƒãƒˆãƒœãƒƒãƒˆä½œã£ã¦ã¿ãŸ
ã“ã‚“ã«ã¡ã¯ã€ã‚¯ãƒ©ã‚¦ãƒ‰ã‚¨ãƒ¼ã‚¹ SRE ディビジョン所属ã®èŒœã§ã™ã€‚ 今回ã¯ã€ç¾åœ¨æœ€ã‚‚æ™®åŠã—ã¦ã„る対話型 AI サービスã§ã‚ã‚‹ ChatGPT ã§ä½¿ç”¨ã•ã‚Œã¦ã„るモデルã¨ã€LLM を使ã£ãŸã‚¢ãƒ—リケーション開発ã«ç‰¹åŒ–ã—ãŸãƒ©ã‚¤ãƒ–ラリã§ã‚ã‚‹ LangChain を用ã„ã¦ç¤¾å†…å‘ã‘ã®ãƒãƒ£ãƒƒãƒˆãƒœãƒƒãƒˆã‚’作æˆã—ã¾ã™ã€‚ ターゲット ä»»æ„ã®ãƒ‡ãƒ¼ã‚¿ã‚’å…ƒã«å›žç”ã‚’è¡Œã†ãƒãƒ£ãƒƒãƒˆãƒœãƒƒãƒˆã‚’作æˆã—ãŸã„æ–¹ ä»»æ„ã®ãƒ‡ãƒ¼ã‚¿ã‚’å…ƒã«å›žç”ã•ã›ã‚‹ä»•çµ„ã¿ã‚’知りãŸã„æ–¹ ChatGPT ã¨ã¯ ChatGPT ã¨ã¯ã€ãƒ¦ãƒ¼ã‚¶ãƒ¼ãŒå…¥åŠ›ã—ãŸè³ªå•ã«å¯¾ã—ã¦ã€ã¾ã‚‹ã§äººé–“ã®ã‚ˆã†ã«è‡ªç„¶ãªå¯¾è©±å½¢å¼ã§AIãŒç”ãˆã‚‹ãƒãƒ£ãƒƒãƒˆã‚µãƒ¼ãƒ“スã§ã™ã€‚2022 å¹´ 11 月ã«å…¬é–‹ã•ã‚Œã¦ä»¥æ¥ã€å›žç”精度ã®é«˜ã•ãŒè©±é¡Œã¨ãªã‚Šã€åˆ©ç”¨è€…ãŒæ€¥å¢—ã—ã¦ã„ã¾ã™ã€‚ 人工知能ã®ç ”究開発機関「OpenAIã€ã«ã‚ˆã‚Šé–‹ç™ºã•ã‚Œã¾ã—ãŸã€‚ 執ç†æ™‚点ã§ã¯ã€GPT-3.5ã€GPT-4 ã¨ã„ã†å¤§è¦æ¨¡è¨€èªžãƒ¢ãƒ‡ãƒ« (LLM) ãŒä½¿ç”¨ã•
自分ã®ç™–ã«ã‚ã£ãŸãƒ•ã‚¡ã‚¤ãƒ³ãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°ç”¨ãƒ‡ãƒ¼ã‚¿ã‚»ãƒƒãƒˆã‚’LLMã§ä½œã‚ã†ï¼ã€Calm2】
ã¾ã¨ã‚ LLMã®ãƒ•ã‚¡ã‚¤ãƒ³ãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°ã«ãŠã„ã¦ã€ãƒ‡ãƒ¼ã‚¿ã‚»ãƒƒãƒˆã¯é‡è¦ãªã‚‚ã®ã¨ãªã‚Šã¤ã¤ã‚ã‚‹ 以å‰ã¾ã§ã¯äººåŠ›ã§ä½œã‚‹å¿…è¦ãŒã‚ã£ãŸãŒã€ãƒ—ãƒãƒ³ãƒ—トãŒåŠ¹ã7Bモデル（Calm2-chat）を用ã„ã‚‹ã“ã¨ã§ã€LLMã§ãƒ•ã‚¡ã‚¤ãƒ³ãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°ç”¨ãƒ‡ãƒ¼ã‚¿ã‚»ãƒƒãƒˆã‚’作るã“ã¨ãŒã§ãã‚‹ データセットを作æˆã—ã¤ã¤ã€å‹•çš„ã«ãƒ—ãƒãƒ³ãƒ—トを修æ£ã—ã¦ã„ã手法ãŒç›¸å½“よã‹ã£ãŸ å°Žå…¥ LLMã®ãƒ•ã‚¡ã‚¤ãƒ³ãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°ã«ã¯ã€å¤§é‡ã®ãƒ‡ãƒ¼ã‚¿ã‚»ãƒƒãƒˆãŒå¿…è¦ã§ã™ã€‚良ã言ã‚ã‚Œã¦ã„ã‚‹ã®ã¯ã€Œå°‘ãªãã¨ã‚‚数百～数åƒã¯ã‚ã£ãŸæ–¹ãŒè‰¯ã„ã€ã¨ã„ã†ã‚‚ã®ã§ã™ã€‚翻訳ãªã©ã€çš†ãŒä½¿ã†ã§ã‚ã‚ã†ã‚ˆã†ãªã‚¿ã‚¹ã‚¯ã®ãƒ‡ãƒ¼ã‚¿ã‚»ãƒƒãƒˆã¯å˜åœ¨ã™ã‚‹ä¸€æ–¹ã§ã€ã€Œå¥³ã®åã®æ—¥è¨˜ã‚’LLMã§ä½œã‚ŠãŸã„ã€ã®ã‚ˆã†ãªã€å®Œå…¨ã«è‡ªåˆ†ã®ç™–ã«å¾“ã£ãŸã‚ˆã†ãªãƒ‡ãƒ¼ã‚¿ã‚»ãƒƒãƒˆã¯åŸºæœ¬çš„ã«ã¯å˜åœ¨ã—ã¾ã›ã‚“。一ã‹ã‚‰è‡ªåˆ†ã§ä½œã£ã¦ã‚‚良ã„ã®ã§ã™ãŒã€äººé–“ã®æ™‚é–“ã¨ã‚„ã‚‹æ°—ã¯æœ‰é™ãªãŸã‚ã€ã‹ãªã‚Šç„¡è¬€ãªæŒ‘戦ã¨è¨€ãˆã‚‹ã§ã—ょã†ã€‚ ã“ã®ä½œæ¥ã«LLMを用ã„ã‚‹ã“ã¨ã§ã€åŠ´åŠ›ã‚’最å°é™ã¾
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
Ollama
{{#tags}}- {{label}}
{{/tags}}