groonga/mroongaã®ãƒˆãƒ¼ã‚¯ãƒŠã‚¤ã‚¶ãƒ¼(tokenizer)ã®æŒ™å‹•ã‚’追ã£ã¦ã¿ã‚‹ - Y-Ken Studioトークナイズ機能ã¯ã€å…¨æ–‡æ¤œç´¢æ©Ÿèƒ½ã«ç„¡ãã¦ã¯ãªã‚‰ãªã„機能ã§ã™ã€‚ 欧米åœã§ã‚ã‚Œã°ã€æœ€ä½Žé™ã‚¹ãƒšãƒ¼ã‚¹åŒºåˆ‡ã‚Šã«å¯¾å¿œã—ã¦ã„ã‚Œã°å®Ÿç”¨çš„ã«ä½¿ãˆã¾ã™ã€‚ ã—ã‹ã—ã€ä¸å›½èªžã€æ—¥æœ¬èªžã€éŸ“国語ã¸ã®å¯¾å¿œã‚’ã™ã‚‹å ´åˆã«ã¯ã€CJK対応言ã‚れる実装ãŒå¿…è¦ã§ã™ã€‚ 汎用的ãªåˆ†ã‹ã¡æ›¸ã（トークナイズ）方法ã¨ã—ã¦ã¯ã€n-gramæ–¹å¼ãŒã‚ã‚Šã€uni-gramã‚„bi-gramã€tri-gramãŒæœ‰åã§ã™ã€‚ n-gramã¯æ±Žç”¨ã§ã¯ã‚ã‚Šã¾ã™ãŒã€æ©Ÿæ¢°çš„ã«åˆ†è§£ã™ã‚‹ãŒæ•…ã«ç²¾åº¦ãŒã‚ã¾ã‚Šé«˜ããªãã€èªžå½™ã®éƒ¨åˆ†ä¸€è‡´æ¤œç´¢ã§ã—ã‹ã‚ã‚Šã¾ã›ã‚“。 ãã“ã§ã€å“詞毎ã«ãƒˆãƒ¼ã‚¯ãƒŠã‚¤ã‚ºã®å‡ºæ¥ã‚‹ã€MeCabã‚„Jumanã¨ã„ã£ãŸå½¢æ…‹ç´ 解æžã‚¨ãƒ³ã‚¸ãƒ³ã®å‡ºç•ªã¨ãªã‚Šã¾ã™ã€‚ mroongaã§ã¯ã€groonga-tokenizer-mecabã¨ã„ã†ãƒ‘ãƒƒã‚±ãƒ¼ã‚¸ã‚’è¿½åŠ ã™ã‚‹ã“ã¨ã§ã€å½¢æ…‹ç´ 解æžã‚¨ãƒ³ã‚¸ãƒ³ã®MeCabã«å¯¾å¿œã—ã¾ã™ã€‚ ãã®ä»–ã€Bigramã®ç‹¬è‡ªæ‹¡å¼µã«ã‚‚対応ã—ã¦ã„るよã†ãªã®ã§ã€ãã‚Œãžã‚Œã©ã®ã‚ˆ
Scheman - r7km/s
RubyForge: Language Parser Toolkit: Project Info
{{#tags}}- {{label}}
{{/tags}}