RAG用途ã«ä½¿ãˆã‚‹ã€Wikipedia 日本語㮠embeddings ã¨ãƒ™ã‚¯ãƒˆãƒ«æ¤œç´¢ç”¨ã® faiss index を作ã£ãŸ - A Day in the Lifeã“ã®è¨˜äº‹ã¯ã€æƒ…å ±æ¤œç´¢ãƒ»æ¤œç´¢æŠ€è¡“ Advent Calendar 2023ã®12月4æ—¥ã®è¨˜äº‹ã§ã‚る。 昨今ã®LLMã®å°é ã«ã‚ˆã‚Šã€å¤–éƒ¨æƒ…å ±ã‚’ In-Context Learning ã¨ã—ã¦åˆ©ç”¨ã—LLMã®ç”Ÿæˆçµæžœã®æ€§èƒ½ã‚’高ã‚ã‚‹ã“ã¨ãŒå¯èƒ½ãª RAG(Retrieval Augmented Generation) ã®é‡è¦æ€§ã®é«˜ã¾ã‚Šã‚’æ„Ÿã˜ã‚‹ã€‚ãŸã ã€RAG を使ã£ãŸã‚·ã‚¹ãƒ†ãƒ を構築ã—ã¦ã¿ã‚ˆã†ã«ã‚‚ã€ãƒ‡ãƒ¼ã‚¿ãŒå°‘ãªã„ã¨é¢ç™½ã¿ãŒå°‘ãªã‹ã£ãŸã‚Šã™ã‚‹ã€‚ãã®ç‚ºã€Wikipedia 日本語ã®ç´„550万文ã‹ã‚‰ç°¡å˜ã«æ¤œç´¢å¯èƒ½ã§RAGã®å…¥åŠ›ãƒ‡ãƒ¼ã‚¿ã¨ã—ã¦ä½¿ãˆã‚‹ã‚ˆã†ãª embeddings ã¨ã€ç´ æ—©ã„速度ã§ãƒ™ã‚¯ãƒˆãƒ«æ¤œç´¢ã§ãるよã†ãª faiss 用㮠index を作æˆã—ãŸã€‚ 例ãˆã°ã€Wikipedia ã‹ã‚‰è©²å½“ã®æ–‡ã‚’検索ã™ã‚‹ç”¨é€”ã¯ã“ã®ã‚ˆã†ã«ä½¿ãˆã‚‹ã€‚ from datasets.download import DownloadMana
{{#tags}}- {{label}}
{{/tags}}