技術ã‚ã‚‚ » Blog Archive » Mroongaã§Mecab
MariaDBã«Mroongaã¯ãƒãƒ³ãƒ‰ãƒ«ã•ã‚Œã¦ã„ã¾ã™ãŒã€ Tokenizerã¨ã—ã¦Mecabを使ã†éš›ã¯ã€å°‘ã—注æ„ãŒå¿…è¦ã§ã™ã€‚ å…¬å¼ã«ã¯ã€ä»¥ä¸‹ã®ã‚ˆã†ã«æ›¸ã‹ã‚Œã¦ã„ã¾ã™ãŒã€æ‰‹é †ã‚’残ã—ã¦ãŠãã¾ã™ã€‚ https://mariadb.com/kb/en/library/mroonga-overview/ 「Tokenise using MeCab. Required Groonga to be buillt with MeCab support.〠ãªãŠã€OSã¯CentOS7ã€MariaDBã®ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã¯ã€10.3.8ã§ã™ã€‚ ã¾ãšã¯ã€ãƒãƒ³ãƒ‰ãƒ«ã•ã‚Œã¦ã„ã‚‹Mroongaã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ã‚’見ã¦ã„ãã¾ã™ã€‚ å…¬å¼ï¼ˆhttps://mariadb.com/kb/en/library/about-mroonga/）をå‚考ã«ã—ã¦ã„ã¾ã™ã€‚ １．プラグインã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ« MariaDB [(none)]> show eng
プãƒãƒ€ã‚¯ãƒˆã«æ—¥æœ¬èªžã®å…¨æ–‡æ¤œç´¢æ©Ÿèƒ½ã‚’åŠ ãˆãŸã„ã€æ¤œç´¢ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ã®ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ æ›´æ–°ã‚‚ã»ã—ã„ ã¨ã„ã†ã¨ãã®æ‰‹è»½ãªæ–¹æ³• - Qiita
プãƒãƒ€ã‚¯ãƒˆã«æ—¥æœ¬èªžã®å…¨æ–‡æ¤œç´¢æ©Ÿèƒ½ã‚’åŠ ãˆãŸã„ã€æ¤œç´¢ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ã®ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ æ›´æ–°ã‚‚ã»ã—ã„ ã¨ã„ã†ã¨ãã®æ‰‹è»½ãªæ–¹æ³•MySQL検索InnoDB全文検索mysql5.7 プãƒãƒ€ã‚¯ãƒˆã‚ªãƒ¼ãƒŠãƒ¼ ã‚„ ユーザã‹ã‚‰ã®è¦æœ›ã«ã‚ˆã£ã¦ 検索機能 ã®å¿…è¦æ€§ã«è¿«ã‚‰ã‚ŒãŸã¨ã〠ã‚ã‚Šãµã‚ŒãŸæ–¹æ³• ã§ã‹ã¤ 速攻 ã§å®Ÿè£…ã™ã‚‹æ–¹æ³•ã§ã™ è¦ä»¶ æ—¥æœ¬èªžæ–‡ç« ãªã©ã®ãƒ‡ãƒ¼ã‚¿ã«å¯¾ã—ã¦ã€å…¨æ–‡æ¤œç´¢ã§ãã‚‹ 検索リクエストã«å¯¾ã—ã¦ã€å分高速ã«ãƒ¬ã‚¹ãƒãƒ³ã‚¹ã‚’返㙠検索インデックスã¯ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ æ›´æ–°ã•ã‚Œã€å®Ÿãƒ‡ãƒ¼ã‚¿ã¨ç›¸é•ãŒã§ãªã„ 検索対象ã®ãƒ‡ãƒ¼ã‚¿ãŒè¿½åŠ ï¼æ›´æ–°ï¼å‰Šé™¤ã•ã‚ŒãŸã‚‰æ¤œç´¢çµæžœã«ã‚‚å³åæ˜ ã•ã‚Œã‚‹ 希望 ã§ãã‚‹ã ã‘速ã実装ï¼æä¾›ã—ãŸã„ ã§ãã‚‹ã ã‘é‹ç”¨ã‚³ã‚¹ãƒˆã‚‚å°ã•ãã—ãŸã„ ãŠã™ã™ã‚ãªæ–¹æ³• ã‚‚ã—もプãƒãƒ€ã‚¯ãƒˆãŒMySQL互æ›ã®ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã‚’使ã£ã¦ã„ãŸã‚‰ã€è¦ä»¶ã‚’満ãŸã—㦠明日ã«ã‚‚æä¾›ã§ãã‚‹ ã‹ã‚‚ã—ã‚Œã¾ã›ã‚“（気æŒã¡ã§ã™ã€ãƒ•ãƒãƒ³ãƒˆå‘¨ã‚Šã®å®Ÿè£…ãªã©äº‹æƒ…ã«ã‚ˆã£ã¦å½“然コストãŒ
MySQL5.7 InnoDB ã®N-gram全文検索を検証＆サービス導入ã—ãŸ
※ ã“ã®è¨˜äº‹ã¯ä»¥å‰Mediumã§å…¬é–‹ã—ãŸè¨˜äº‹ ã®è»¢è¼‰ã§ã™ MySQL5.7・InnoDB・N-gram ã¨ã„ã†ç’°å¢ƒä¸‹ã§å…¨æ–‡æ¤œç´¢ã®æŒ™å‹•ã‚„パフォーマンスã«ã¤ã„ã¦æ¤œè¨¼ã‚’è¡Œã£ãŸã€‚FULLTEXT INDEXã¯ä»¥å‰ã¯MyISAMã§ã—ã‹åˆ©ç”¨ã§ããªã‹ã£ãŸãŒã€ 5.6.4ã‹ã‚‰InnoDBã§ã®ã‚µãƒãƒ¼ãƒˆãŒå§‹ã¾ã£ã¦ã„ãŸã€‚ InnoDBã®å…¨æ–‡æ¤œç´¢ã¯5.7ã€ç‰¹ã«5.7.6以é™ã§ã„ã‚ゆるCJK（ä¸å›½èªžãƒ»æ—¥æœ¬èªžãƒ»éŸ“国語）ãŒN-gramã§æ¨™æº–サãƒãƒ¼ãƒˆã•ã‚Œå§‹ã‚〠CREATE TABLEæ–‡ã§ç°¡å˜ã«ãƒ‘ーサーを指定ã§ãる構文ã®ã‚µãƒãƒ¼ãƒˆã€ è¨å®šã‚„クエリã®çµ„ç«‹ã§è€ƒãˆãªã„ã¨ã„ã‘ãªã„事ãŒæ¸›ã£ãŸäº‹ã§å°Žå…¥éšœå£ãŒã‹ãªã‚Šä¸‹ãŒã£ã¦ã„る。 ※4.1ã¨5.0ã§ã‚µãƒ¼ãƒ“ス導入経験ãŒã‚ã‚‹ç§ã®å€‹äººçš„ãªæ¯”較感想ã§ã™ã€‚ FULLTEXT INDEXã‚‚ä»–ã®INDEXã¨åŒæ§˜ã«ãƒ‡ãƒ¼ã‚¿æ›´æ–°ãƒ»å‰Šé™¤ã®éš›ã«INDEXã®rebuildãŒèµ°ã‚‹ã®ã§æ›´æ–°æ™‚ã®è² è·ã«ã¯æ³¨æ„ãŒå¿…è¦ã§ã€F
Mroongaã®å…¨æ–‡æ¤œç´¢ãŒã„ã„æ„Ÿã˜ã ã£ãŸ - Qiita
tl;dr InnoDBã®å…¨æ–‡æ¤œç´¢è‡ªä½“ã¯é…ããªã„ ãŸã ã—ブール全文検索を行ã„åˆ¥é …ç›®ã§ã‚½ãƒ¼ãƒˆã‚’è¡Œã†ã¨ã€ã¨ãŸã‚“ã«é…ããªã‚‹ LIMITã§å–得件数を絞ã£ã¦ã‚‚ã‚ã¾ã‚Šå¤‰ã‚らãªã„ Mroongaã«ã¯å…¨æ–‡æ¤œç´¢ç‰¹åŒ–ã®æœ€é©åŒ–ãŒã‚りレスãƒãƒ³ã‚¹ãŒæ—©ã„ï¼ ã“ã¨ã®ã¯ã˜ã¾ã‚Š 地味ã«æºœã‚ã¦ã„ãŸãƒ†ã‚ã‚¹ãƒˆæƒ…å ±ãŒ1000万レコードを超ãˆã€ãã‚ãã‚LIKE検索もé™ç•Œãªã®ã§ã€MySQL5.7ã‹ã‚‰ä½¿ãˆã‚‹ã‚ˆã†ã«ãªã£ãŸMeCabプラグインを使ã„全文検索機能を実装ã—ã¦ã¿ã¾ã—ãŸã€‚実装当åˆã¯ãã“ã¾ã§ãƒ¬ã‚¹ãƒãƒ³ã‚¹ãŒæ‚ªããªã„ã¨æ€ã£ã¦ã„ãŸã®ã§ã™ãŒã€ãã‚Œãªã‚Šã®ãƒ¬ã‚³ãƒ¼ãƒ‰æ•°ã®ã‚るワードを入力ã—ã€ã‚½ãƒ¼ãƒˆæ¡ä»¶ã‚’指定ã™ã‚‹ã¨ã‚½ãƒ¼ãƒˆã‚ーãŒãŸã¨ãˆPKやインデックスãŒè²¼ã‚‰ã‚Œã¦ã„るカラムã§ã‚‚劇é‡ã«ï¼(ãŠãらã１テーブルã«ä½¿ãˆã‚‹ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ã¯1ã¤ã¾ã§ã¨ã„ã†MySQLã®åˆ¶ç´„) 別ã®æ–¹æ³•ãŒãªã„ã‹æ¨¡ç´¢ã—ã¦ã„ãŸã¨ã“ã‚ã€Mroongaエンジンã®å…¨æ–‡æ¤œç´¢ã‚’使ã£ã¦ã¿ãŸã‚‰ã„ã„æ„Ÿã˜ã ã£ãŸã®ã§
ã¾ã 日本語全文検索ã§æ¶ˆè€—ã—ã¦ã‚‹ã®ï¼Ÿ - Qiita
ã¾ã 日本語全文検索ã§æ¶ˆè€—ã—ã¦ã‚‹ã®ï¼Ÿ ã“ã®è¨˜äº‹ã¯ InnoDB ã®ãƒ•ãƒ«ãƒ†ã‚ストインデックスã§æ—¥æœ¬èªž NGRAM ã®ç¶šãã§ã™ã€‚ 以é™â†‘ã®è¨˜äº‹ã‚’「å‰å›žã®è¨˜äº‹ã€ã¨å‘¼ç§°ã—ã¾ã™ã€‚ 例ã«ã‚ˆã£ã¦å®Ÿé¨“ã—ã¤ã¤è¨˜è¿°ã—ã¦ã„ã¾ã™ã€‚æ•´åˆæ€§ã‚„内容ã®ä¿è¨¼ã¯ã§ãã¾ã›ã‚“。 検証ã«ä½¿ã£ãŸã®ã¯ CentOS 7, mysql 5.7.9 ã§ã™ã€‚ å‰å›žã®è¨˜äº‹ã¯ä½•ã‚’ã—ã¦ã„ã‚‹ã®ã‹ 端的ã«è¨€ãˆã°ä¸‹è¨˜ã§ã™ã€‚ æ–‡å—列を ngram 化ã™ã‚‹ãƒ•ã‚¡ãƒ³ã‚¯ã‚·ãƒ§ãƒ³ã‚’定義 全文検索ã—ãŸã„複数カラムをçµåˆã—㦠ngram 化ã—ãŸæ–‡å—åˆ—ã‚’æ ¼ç´ã™ã‚‹ã‚«ãƒ©ãƒ を定義 トリガーã§â†‘ã®ã‚«ãƒ©ãƒ ã« ngram 化ã—ãŸæ–‡å—列を放り込む ↑↑ã®ã‚«ãƒ©ãƒ ã«å¯¾ã—㦠FULLTEXT INDEX を張る 検索時㫠↑↑↑ã®ã‚«ãƒ©ãƒ ã«å¯¾ã—㦠MATCH AGAINST 検索を行ã†ã“ã¨ã§å…¨æ–‡æ¤œç´¢ ã¨ã¾ã色々ã‚ã‚“ã©ã„ã“ã¨ã‚’ã—ã¦ã„ã¾ã™ã€‚ 特ã«æœ¬ç‹ã§ã¯ãªã„トリガーã¨ãƒ•ã‚¡ãƒ³ã‚¯ã‚·ãƒ§ãƒ³ã®å®šç¾©ãŒå«Œã€‚ my
MariaDBã¨Mroongaã§ä½œã‚‹å…¨è¨€èªžå¯¾å¿œè¶…高速全文検索システãƒ
MariaDBã«ã¯è¶…高速ãªå…¨æ–‡æ¤œç´¢ã‚’実ç¾ã™ã‚‹MroongaストレージエンジンãŒãƒãƒ³ãƒ‰ãƒ«ã•ã‚Œã¦ã„ã‚‹ã“ã¨ã‚’知ã£ã¦ã„ã¾ã™ã‹ï¼ŸMroongaを使ã†ã¨æ—¥æœ¬èªžã ã‘ã§ãªãアジアåœã®è¨€èªžã‚‚å«ã‚€ã™ã¹ã¦ã®è¨€èªžã‚’サãƒãƒ¼ãƒˆã—ãŸè¶…高速ãªå…¨æ–‡æ¤œç´¢ã‚·ã‚¹ãƒ†ãƒ ã‚’ç°¡å˜ã«ä½œã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚ã©ã‚Œã ã‘ç°¡å˜ã«ä½œã‚‹ã“ã¨ãŒã§ãã‚‹ã‹ç´¹ä»‹ã—ã¾ã™ã€‚Read less
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
https://mroonga.org/ja/docs/upgrade.html
{{#tags}}- {{label}}
{{/tags}}