こんにちは、藤本です。 先日開催された Developers.IO 2017 で「Amazon Elasticsearch Service の使いドコロ」というタイトルで登壇しました。 Developers.IO 2017セッション「Amazon Elasticsearch Service の使いドコロ」で話しました #cmdevio2017 資料を作成する中で MySQL 5.7 から追加された全文検索の日本語対応に関して調べました。せっかくなのでまとめた内容をブログに書き出すとともに、RDS だとどこまでできるのかということを追加調査してみました。 MySQL 5.7 の日本語全文検索に関しては公式ドキュメントや、Oracle の方のスライドに詳しく説明されていますので、詳しく知りたい方は下記をご参照ください。 12.9 Full-Text Search Functions MySQL

日本語で全文検索できるようにする 次にElasticsearch で日本語で全文検索するためのkuromojiプラグインを有効にします。以下のコマンドのEndpointとIndex名の部分を書き換えて実行して下さい。EndpointはManagement Consoleに表示されているものです。Index名は何でもいいです。今回はdiaryにしています。最後の行は実行結果なので最後から2行目までをコピーして実行してみてください。EndpointはManagement Consoleを確認してください。 $ curl -XPOST 'http://search-full-text-search-sample-xxxxxxxxxx.ap-northeast-1.es.amazonaws.com/diary/' -d ' { "index":{ "analysis":{ "tokenizer"

Description MySQLは広く使われているRDBMSです。速いし、レプリケーションのノウハウもあるし、Web上にたくさんの情報もあるからいざというときも安心、というのがその理由でしょう。 そんなMySQLの弱点の1つがデフォルトでは日本語で全文検索できないことです。でも、日本語で全文検索したいし。。。どうしよう。 そんなあなたに最近の日本語の全文検索事情を紹介します。Solr？Elasticsearch？Groonga？PostgreSQLはどうやっているの？Mroonga？Sphinx？ いろいろ考えると日本語で全文検索するときもMySQLを使うのがいいね！と思えてくるから不思議です。最近の日本語の全文検索事情を聞いて一緒に考えてみませんか？ Page: 1 いろいろ考えると 日本語の全文検索も MySQLがいいね！ 須藤功平 日本MySQLユーザ会 OSC2014 Tokyo

全文検索システムの比較 - Elasticsearch vs Solr vs Amazon CloudSearch February 10, 2014 at 01:05 AM | categories: solr, aws, elasticsearch, web | 候補の選定方法 候補を選定するにあたって、以下の特徴をもっていることを前提とした。 LuceneやGroongaを使えば何でもできるが、ここでは対象としない。 ウェブベースのインターフェースを持つ インデックスの更新はほぼリアルタイムに反映される スケールアウトが容易 Solr https://lucene.apache.org/solr/ Luceneをバックエンドにした全文検索システム。バージョン4になってから大幅に機能が増強された。 長所 実績が十分ある 機能豊富 短所 クラスタを構築して運用するには手間がかかりそう S

第10回[実録] MySQL向け全文検索エンジン「Tritonn」から「mroonga」への移行ガイド（3） 吉田健太郎 2013-09-03 第9回mroongaを広く使ってもらうために大事なこと - mroongaのパッケージング動向の紹介 HAYASHI Kentaro (kenhys) 2013-08-20

mroongaのN-gramについては、bigramだけでなく、uni-gramやtri-gramの他、多数の派生N-gramでのトークナイザに対応しています。さらに2013年5月末リリースのmysql-mroonga-3.04にて、待望のWプラグマに対応しました。これにより、Tritonnからmroongaへ移行する際の障壁はEプラグマのみになったと言えます。 Tritonnから乗り換えるならば、mroongaの1択ですね。 Tritonnからmroongaへ移行する7つのメリット それでは早速、Tritonnからmroongaヘ移行するメリットを見てみましょう。 MySQL 5.6対応であること もはやレガシーとなったMySQL 5.0という縛りがなくなることで、MySQL 5.1以降の先進的な機能を取り入れることができます。特にMySQL 5.6ではその進化が甚だしく、次の点を始めと

こんにちは、 id:yanbe です。 全文検索エンジンLucene上に構築されたSolrという検索ミドルウェアがあります。拡張性・カスタマイズ性に富み、既存のデータのインポート機能が豊富なのもあって、広く利用されています。 参考: Solr - Wikipedia 国内のウェブサービスでのSolrの採用事例を挙げるとNAVERやCookpad、アメーバなどがありますが、はてなでも以前より一部のサービスでSolrを採用しています。 Solrの公式ドキュメント(英語)はwiki形式で提供されており、網羅的な情報はこちらで手に入ります。また、Solrの基本的な使い方を学べるチュートリアルもありますが、「すでにある典型的なLAMP構成のウェブサービスにSolrによる検索機能を組み込む」までには、ここからさらに多くの情報を調べる必要があり、Solrの導入のハードルとなっていると感じました。 そこで

2011-07-28 InnoDB純正の全文検索エンジンInnoDB FTS つい先日、MySQL-5.6.3-labs版がリリースがされました。この中にはInnoDBで動作する全文検索エンジン"InnoDB FTS"が含まれています。これまでは、MySQLとInnoDBの組み合わせで全文検索を行うためにはサードパーティの製品(mroonga 等..)が必要でしたが、これでズバっと選択肢が広がることになります。しかもInnoDBの開発チームが自ら開発した"純正の"エンジンということですから、これは大きな期待が持てます。 いったいどのような製品に仕上がっているのか、ざっくり記事やソースを読んで得た感触を述べてみたいと思います。 written by daijiro.mori どんなエンジンか? エンジンの概要については、 Overview and Getting Started with I

2010年末に、３つに勉強会にて「全文検索エンジンgroonga」の紹介をさせていただきました。 第4回Solr勉強会 groongaを囲む夕べ ドワンゴ技術勉強会(2) MySQLについて それぞれの勉強会にて用いた発表資料を公開いたします。 groongaの紹介部分については使いまわしがバレバレですが、それぞれの勉強会の特性に合わせた味付けをしているので、ぜひご覧になっていただければ嬉しいです。勉強会当日のレポートをされている方もいらっしゃるようなので、興味のある方は検索してみるとよいでしょう。 また、groongaを囲む夕べに関しては、他の発表者さんの資料も以下のリンクから見ること...

皆様、こんにちわ 新規開発局コアテクGで、現在はサービスの管理ツールなどの開発を担当しているGakuです。 現在は担当していないのですが、以前に担当しており、全面的に作り直したアメーバサーチについて書かせていただこうかと思います（一番大変だったんですが、一番楽しい開発でした）。 ■以前のアメーバサーチ Lucene使用（RMI機能を使ってました） 検索対象：6000万件ほど（直近3ヶ月～6ヶ月） スケールアップがしにくいつくり Luceneのバージョンアップもむずかしい（バージョンアップ後はRMIは非推奨化予定でした。使えないなと） 「アクセス過多のため・・・・・」と検索できない事が頻発 QPS（一秒辺りの検索数）　50ぐらい（4セット合計で） 急激にアメブロの記事数が増えていた為、明らかにキャパオーバに陥ってしまっていました。 それで・・・・・・・・・ ユーザの方々からおおいにお怒りの声

はじめまして。インターンのsato(@hilotter)です。 突然ですが、みなさんは「全文検索エンジン」って使ったことがありますか？ 「全文検索エンジン」と聞くと「何だか難しそうだな」と思われる方もいらっしゃると思います。 僕はまさにそうでした。 そんな全文検索エンジン初心者の僕のもとに、今回、HyperEstraierという全文検索エンジンを使ってキーワード検索機能を実装する機会がありました。 色々調べてみたのですがsymfonyとHyperEstraierを使って検索を行う記事がなかったのでご紹介させていただきます。 間違い等ありましたらご指摘いただければ幸いです。 今回はサンプルとして簡単なキーワード検索機能を作ってみたいと思います。 なお、使用したシステムのバージョンは symfony1.0（ORMはPropel） HyperEstraier1.4.13 となっています。 目次

クレディストは、企業向けドキュメント共有ソリューション「メールdeシェア with Kabayaki」を発表した。 SRAと三井情報の合弁会社であるクレディストは7月7日、企業向けドキュメント共有ソリューション「メールdeシェア with Kabayaki」を発表した。 同製品は、オープンソースの日本語全文検索エンジン「Namazu」をベースにタイムインターメディアが開発した「Kabayaki」を検索システムとして採用した企業向けドキュメント共有ソリューション。メールに添付したファイルをある特定のアカウントに送信するだけでファイルサーバに保存でき、保存されたメールやファイルをKabayakiで検索可能にするもの。 同社はメールdeシェアシリーズで検索エンジンの部分にGoogle検索アプライアンスを用いる「メールdeシェア for GSA」をすでに販売しているが、日本語全文検索エンジンとして

梅雨。部屋干しした洗濯物による異臭騒ぎに苦しむmikioです。今回は、Tokyo Cabinetのテーブルデータベースで超お手軽に全文検索をする方法について説明します。 使い方 テーブルデータベースについてまずおさらいしておきましょう。PerlやRubyのハッシュのようにコラム名とその値を関連づけた構造を、主キーを識別子として保存するデータベースです。例えばRubyからデータを保存するに以下のように行います。データベースであることをほとんど意識させないというのが素敵ポイントです。APIはCでもPerlでもRubyでもほとんど同じなので、言語にかかわらず同じようにレコードを操作できます。 require 'tokyocabinet' include TokyoCabinet # データベースを開く tdb = TDB::new tdb.open("casket", TDB::OWRITER

ベイジアンフィルターで日本語を取り扱う時に問題になってくるのが、文章を品詞レベルに分解する処理。英語の場合は、文章はスペースで区切られた品詞の集合で構成されるため、余分なことをせずに簡単に処理できる。例えば、'How do I set up an AirPort wireless network?'という文章の場合、ベイジアンフィルターは、スペースで区切られた単語を、分類するための判断材料として自動的に取り込んでくれる。 ところが、日本語の場合は、「エアポートの無線ネットワークはどうやって設定しますか？」という文章を、「エアポート の 無線 ネットワーク は どう やっ て 設定 し ます か ？ 」のように、品詞をスペースで区切った文章に変換して、ベイジアンフィルターに渡してあげる必要があるらしい。これはすごく高度な作業だ。自分のレベルではどうやっても出来ない。 そこで、この高度な作業を