セコン (id:secondlife, @hotchpotch) です。ウェブサービスにはよく「このエントリーに関連するブログ記事」や「このレシピに関連するレシピ」という機能が実現されてますよね。さて、この機能はどのように実現すれば良いでしょうか。例えば tf-idf で単語の類似度を求め…といった実装が必要になり、いささか面倒です。 しかしながら Elasticsearch や Solr *1を使うと手軽に実現できます。例えば、クックパッドニュースの記事では Solr を使い「この記事を読んだ人におすすめ」の機能に、最近クックパッドにジョインしたインドネシアの会社の DapurMasak では Elasticsearch を使い「Resep serupa(関連レシピ)」の機能で利用しています。 クックパッドニュースでのこの記事を読んだ人におすすめ DapurMasak での関連レシピ 使

はじめに MySQLでオープンソースの日本語対応の高速な全文検索エンジンGroongaが使えるMroongaを使って簡単に全文検索機能付きのRailsアプリケーションを作成する方法を紹介します。Railsのデモアプリケーションと実際に使えるサンプルの検索用のメソッドを使って具体的に説明します。 前準備 まず、RailsとMySQLとMroongaが使えるようにしてください。 これらはすでに情報がたくさんあると思うので、さほど苦なく用意できると思います。最近のMariaDBであればデフォルトでバンドルされていたりします。 簡単に試すことができるようにRubyとMySQLとMroongaが自動で環境構築されるVagrantファイルを用意しておきました。 naoa/start-mroonga-with-rails · GitHub vagrantとubuntu/trusty64のboxとvagr

与えられたキーワードに合致するデータをデータベースから取得することを考えた時、完全一致であれば「=」で検索を行うと思います。 では与えられたキーワードを「含む」検索、つまり部分一致を行いたいのであればどうするか。最も簡単なのは「search_column like '%キーワード%'」といった形で、「like」を使いキーワードの前後にワイルドカードを与える方法でしょう。 ですがこれを何の気無しに使うのはちょっと危険。 上記のようなlike検索ではインデックスが利用されないため（※）、全レコードをスキャンします。 かつキーワードを部分一致で探したいようなカラムは、文章等の比較的大きなサイズであると考えられます。 そのため検索コストは大きく、数千〜数万行であればまだ良いかもしれませんが、数十万ともなると利用には耐えられないでしょう。（実体験） ※ただし前方一致検索であれば、最初のワイルドカード

前回のエントリに書いたように、１年半ほどをかけて、独学で特許の全文検索サービスを開発しました。 PatentField | 無料特許検索 最初は、MySQLを使ったこともない状態だったこともあり、かなり紆余曲折しました。Groonga開発チームの懇切な対応もあって、専用サーバ1台で最大で1千万レコード超、400GiB以上のサイズのテキストデータを高速に検索できるようになりました。 今後、何回かにわけて、Mroonga(Groonga)を使って全文検索Webサービスを作ったときにはまったこと、学んだことを全て書き出したいと思います。 全文検索エンジンMroongaとは？ Mroongaは全文検索エンジンであるGroongaをベースとしたMySQL用のストレージエンジンです。Mroongaは、MySQLが使える人であれば、簡単に高速な全文検索機能が使えます。MariaDB10.0系にもバンドル

Vagrant + VirtualBox を使って Macbook Air に VM を立てて、CentOS 上に Rails4 の開発を行っています。 DB には MySQL を使っているのですが、なんともわかりづらい。 ノートで設計して、頭で設計してコマンド叩いて...の手法に限界を感じました。 できればER図かけるし、DBとも繋がっているし、な環境にならないかなぁって思っていたら、MySQL Workbenchと出会いました。（1年位前にorz） VagrantとMySQLWorkbenchを繋ぐ方法をメモります。 MySQL Workbenchのインストール こちらからどうぞ => http://dev.mysql.com/downloads/tools/workbench/ 面倒くさくて有名なORACLEの認証が必要になりますorz ナビゲーション通りにすすめば問題なくインストー

表題のとおりでございます。ストレージモードで作った全く同じテーブル＆SQLでは動作しているんですが・・・何でー。ちなみにMyISAMのラッパー。 高速化が動作する条件が公式ドキュメントから引用させていただきますと以下４点。 where句がmatch...againstのみ joinしていない limitの指定がある order byの指定がカラム(_id含む)またはwhere句に指定したmatch...againstである 使用しているSQLはこんな感じ。ストレージモードでは動作してるのだし、特に変なところはないと思うんですが・・・。 SELECT Id FROM table WHERE MATCH(Content) AGAINST("東京") ORDER BY DateTime DESC LIMIT 100; 高速化が動作すればmroonga_fast_order_limitのカウントが

5.1. 最適化# Mroongaはより速くレスポンスを返すためにいくつか最適化しています。 いくつかの最適化は ストレージモード でだけ有効です。 5.1.1. 必要なカラムだけ取得# この最適化は ストレージモード でだけ有効です。 Groongaはカラム（列）ストアアーキテクチャーを採用しています。これは、1行の1つのカラムの値を取得するために、すべてのカラムの値を取得しなくてもよいということです。Groongaは必要なカラムの値だけを取得できます。 InnoDBとMyISAMはロー（行）ストアアーキテクチャーを採用しています。InnoDBとMyISAMは、1行の1つのカラムの値が必要な場合でもすべてのカラムの値を取得する必要があります。 SELECT で必要なカラムだけを指定した場合、Mroongaは指定されたカラムの値だけを取得します。Mroongaは他のカラムの値を取得しません

専用の MATCH AGAINST 構文を用いたSELECT句で検索する事により、マッチ率の高い順 (近似値順) にソートされたレコードセットを取得することができる MySQLで全文検索 – FULLTEXTインデックスの基礎知識｜blog｜たたみラボ fulltext検索の使い方 like検索はそのまま何もしなくても使えますが、fulltext検索は事前に準備が必要です。 /etc/my.cnfの設定 $sudo vi /etc/my.cnf [mysqld] ft_min_word_len=1 MySQLファイルの設定ファイルを開いて、fulltext検索ができる最低文字数を1文字とします。 テーブル構造の変更 alter table tweet engine MYISAM; alter table tweet add fulltext(tw_txt); ストレージエンジンのきりかえ（

こんにちは。もとやんです。 DBAとしてのネタもたまには書きたい！　ということで、MySQLのインデックスをフルに使って、ネットショップや、食べログやぐるなびなどの検索サイトによくある詳細検索を高速に行うための、SQLのクエリの高速化手法と言うか、テーブル設計を今回は紹介します。 あまりネットのブログとかでは見かけないノウハウだと思うので、ショッピングカートやグルメサイトのシステムを書こうとする人にとっては参考になるんじゃないでしょうか。 とはいえ、これは私が必要に応じて数年前に頭を捻って考えたものなので、もっと高効率に書けるよ！という方がおられれば、ぜひ教えて下さい。 今回扱うような検索にはSolr(Lucene)などが実は向いていたりするんですが、新しいストレージを作ると監視対象は増えるわ、そもそも普段の運用ノウハウ（チューニングや、クラッシュ時のリカバースキル、バックアップ方法など）

mysqlで全文検索といえばTritonnが有名でした。 現在ではmysqlで全文検索をするときにmroongaというプロダクトが有望なようです。 Tritonnとの違いは以下のサイトが詳しいです。 「全文検索エンジンgroongaを囲む夕べ #1」参加メモ 簡単にいうと、 Tritonn：Sennaという全文検索エンジンをMySQL用に組み込んだものです。MyISAMを前提に組み込まれていることもあり、更新が遅く、また更新時の検索が重くなるなど、ベストなパフォーマンスが得られにくかったようです。 mroonga：groongaという全文検索エンジンをMySQL用にストレージエンジンにしたものです。MyISAMに依存しないため更新時の参照に影響を与えず、更新も速いようです。 では、さっそく導入してみます。 環境はEC2上のCentOS-6.4.1（suz-lab AMI）です。 ○groo

以前の記事(MySQLで全文検索できるって！?)で、id:tomyheroさんからMySQLの日本語全文検索は無理だからSennaで出来るよと教えてもらったので、やってみた。 基本的に構築系の作業は、自分の作業ログをメモ帳に記入しているんだけど、まとめるのが面倒でブログにそれを投稿してこなかったけど、これからは少しずつ溜まっているメモ書きをブログにアップしよう。 Sennaは日本語の字句解析のmecabを使って単語に分けて登録し、それを元に全文検索を行う。MySQLにsennaを組み込み、MySQLの関数をラッピングするのにtritonというものを使う。これはMySQLにパッチを当てたものです。 今回は、自分のホームディレクトリにsenna、mecab、mecab辞書、tritonをインストールしてみました。MySQLは元々動いているものがあったので、別ポートで動くようにインストールしてま