--adjusterによるスコア調整 Groongaのselectコマンドにはadjusterと呼ばれるスコア調整の仕組みがあります。 これは、カラムやインデックスを検索し、スコアのみを加算するものです。 --adjusterは、--queryや--filterの実行後に評価されるため、adjusterによるスコアだけでなく、 クエリ検索時のマッチスコアも加算されてしまいます。 adjusterによるスコアを重要視したいときに、マッチスコアが非常に大きくなると調整しにくいことがあります。 下記の例では、tagsにある重みよりも、bodyの出現回数が多い方のスコアが高くなってしまっています。 bodyがとても大きいようなケースでは1000や10000以上になることもあるでしょう。 table_create Tags TABLE_PAT_KEY ShortText [[0,0.0,0.0],t

Groongaのslice機能もこれに似ています。一言で言えば、検索結果の中からさらに一部分を取り出す機能ということになります。SQLではSELECT * FROM (SELECT * FROM table WHERE ...)のように、テーブル名の代わりに別のSELECTの結果を指定することでその結果をさらに絞り込んだり加工したりすることができますが、これに似たことがGroongaのselectコマンドでもできるようになりました。 準備 実際のsliceの使い方を見てみましょう。実験用に、チュートリアルで作成したテーブルにインデックスを追加したものを用意します。 $ cat dump.grn table_create Site TABLE_HASH_KEY ShortText column_create Site title COLUMN_SCALAR ShortText table_c

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Redmineで全文検索するとかなり時間がかかります。 クリアコード社内でもRedmineを使用しており、全文検索が遅いことは以前から問題視していました。 最近Redmineでの全文検索を高速に実行できるようになるプラグインを開発したので紹介します1。 リンク先を見てもらえばわかるとおり、PostgreSQLとMySQL(MariaDB)に対応しています。 それぞれPGroongaとMroongaを使用しています。 このプラグインを使うと、デフォルトの全文検索と比較して以下のメリットがあります。 高速 Ruby on RailsでPostgreSQLとPGroongaを使って日本語全文検索を実現する方法 PostgreSQLで日本語全文検索 - LIKEとpg_bigmとPGroonga Ruby on RailsでMySQLとMroongaを使って日本語全文検索を実現する方法 MySQL

Page: 1 ngx_http_groonga 全文検索nginx 須藤功平 クリアコード nginx Tech Talks 2016-02-08 ngx_http_groonga 全文検索nginx Powered by Rabbit 2.1.9 Page: 2 nginx HTTPサーバー HTTPリバースプロキシサーバー メールプロキシサーバー TCPプロキシサーバー 1.9.0から。まだmainline。 nginx = いろいろできるサーバー ngx_http_groonga 全文検索nginx Powered by Rabbit 2.1.9 Page: 3 全文検索nginx HTTPサーバー HTTPリバースプロキシサーバー メールプロキシサーバー TCPプロキシサーバー [New!]全文検索エンジン！ ngx_http_groonga 全文検索nginx Powered

はじめに Groonga Advent Calendar 2015の11日目の記事です。 GroongaはC/C++で書かれた高速な国産の全文検索エンジンです。 word2vecは、Googleが研究評価用に作った単語の特徴をベクトルで表現しニューラルネットモデルで教師なし学習をさせるツールです。 単語を文脈も考慮させたベクトルで表現しニューラルネットで学習することで、単語の意味的な足し引きができているんじゃないか( kingからman引いてwoman足したらqueenがでてきましたよとか。)ということで少し前に結構流行ったようです。 また、word2vecの作者が簡易的にsentenceのベクトル表現を使えるようにしたword2vecのコードもあるようです。 普段、Groongaを使ったそこそこの規模のデータベースをもっているので、Groongaに格納されたデータからword2vec/s

PGroongaはPostgreSQLに日本語全文検索機能を追加する拡張機能で、インデックスアクセスメソッドとして実装されています。インデックスアクセスメソッドの拡張機能は少なく、どのように実装すればよいか知らない人が多いでしょう。 PGroonga の実装を紹介することでインデックスアクセスメソッドをどのように実装すればよいかを説明します。Read less

PGroonga（ぴーじーるんが） 1.0.0リリース 今日は肉の日ですね！ PostgreSQLからGroongaを使えるようにするPGroongaの1.0.0をリリースしました！最初のメジャーリリースです！ PGroongaについて PGroongaはPostgreSQLを高速に日本語全文検索可能なシステムに拡張する魔法のような拡張機能です。PGroongaの他にも類似の拡張機能はありますが、速度・機能面で他の拡張機能とは一線を画しています。これはPGroongaはバックエンドにGroongaという本格的な全文検索エンジンを使っているためです。 速度面では類似の拡張機能であるpg_bigmよりも高速です。インデックス作成時間、検索時間ともに数倍から10倍以上高速です。 PostgreSQLで日本語全文検索 - LIKEとpg_bigmとPGroonga - ククログ(2015-05-2

マスターノードが落ちた時のために、マスターノードはPostgreSQL標準のレプリケーション機能を使ってバックアップサーバーを構築しますが、それはPostgreSQLの標準的な方法なのでここでは省略します。 それでは、まずはワーカーノードをセットアップし、その後マスターノードをセットアップします。 ワーカーノードのセットアップ ワーカーノードのセットアップ方法を説明します。ワーカーノードは2つありますが、どちらも同じ手順です。 PostgreSQLをパッケージでインストールします。 % sudo -H rpm -ivh http://yum.postgresql.org/9.4/redhat/rhel-$(rpm -qf --queryformat="%{VERSION}" /etc/redhat-release)-$(rpm -qf --queryformat="%{ARCH}" /et

はじめに 最近、Web系のエンジニアに転職して、Railsをよく触っています。 Rails界隈では、HerokuかActiveRecordの関係かよくわかりませんがPostgreSQLが利用されていることが多いような気がします。 これまで個人的に全文検索のWebサービスを開発するためにGroongaとよく戯れていたのですが、最近はなかなか戯れることができていません。 最近になってRailsとPostgreSQLを触りはじめたという状況ですが、先日、PostgreSQLでGroongaが使えるPGroonga 0.20がリリースされたようです。 PostgreSQLで簡単に日本語対応で高速な全文検索が使えるようになるなんて素晴らしいじゃないですか。 最近はRailsの使い方ばっかり調べていて、若干知識欲が満たされない感があったので、PostgreSQLの知識向上がてら、PGroongaと、P

PGroonga（ぴーじーるんが） 0.2.0リリース - PostgreSQL 9.4でGroongaを使える！ 今日は今年最初の肉の日ですね！ PostgreSQLからGroongaを使えるようにするPGroongaの最初のバージョン、0.2.0をリリースしました！ PGroongaは最新のPostgreSQL 9.4で使えます。PostgreSQLからGroongaを使うためのtextsearch_groongaという拡張機能もありますが、この拡張機能はPostgreSQL 9.4や新しいGroongaでは動きませんでした。 PGroongaはtextsearch_groongaをベースに、最新のPostgreSQL・Groongaで動くようにしたものです。 PostgreSQLで日本語全文検索をする方法には次の方法がありますが、それぞれいくつか問題があります。 pg_trgm Po

Page: 1 Groonga 改良型Ngram トークナイザー Naoya (@naoa̲y) 全⽂検索エンジンGroongaを囲む⼣べ5 2014/11/29 Groonga改良型Ngramトークナイザー Powered by Rabbit 2.1.2 Page: 2 自⼰紹介 ✓ Naoya (@naoa̲y) ✓ 数年ほど特許事務所勤務 ✓ 前は数年ほどユーザSIでインフラSE ✓ Groongaでプログラミングを学ぶ ✓ GroongaのCプラグインなら書ける Groonga改良型Ngramトークナイザー Powered by Rabbit 2.1.2 Page: 3 制作物 ✓ 特許の全⽂検索サービス を個⼈で制作(中) ✓ 専門家以外でも有用な知財情報へ迅 速にアクセスできるように ✓ 権利の死活情報でも絞込みができ 侵害調査やフリーな技術調査が可能 ✓ 知財流通促進・フリー

MySQLは広く使われているRDBMSです。速いし、レプリケーションのノウハウもあるし、Web上にたくさんの情報もあるからいざというときも安心、というのがその理由でしょう。 そんなMySQLの弱点の1つがデフォルトでは日本語で全文検索できないことです。でも、日本語で全文検索したいし。。。どうしよう。 そんなあなたに最近の日本語の全文検索事情を紹介します。Solr？Elasticsearch？Groonga？PostgreSQLはどうやっているの？Mroonga？Sphinx？ いろいろ考えると日本語で全文検索するときもMySQLを使うのがいいね！と思えてくるから不思議です。最近の日本語の全文検索事情を聞いて一緒に考えてみませんか？

2014年4月21日は、第4回Elasticsearch勉強会ですね！ http://elasticsearch.doorkeeper.jp/events/8865 第4回Elasticsearch勉強会は、参加希望者が約200名の大反響なようです。 私は勉強会に参加できないので、C言語で書かれた国産の高速な全文検索エンジンGroongaと、Javaで書かれた世界的に勢いのあるElasticsearchについて性能の比較をしたいと思います。 注意事項 今回の検証では1台あたりの馬力を比較するためにサーバ1台での全文検索性能について比較しています。 私は、Groonga(Mroonga)の利用暦が約2年であるのに対し、Elasticsearchの利用暦は2日です。このため、Elasticsearchに対するチューニングの不備や公平な比較になっていない点が含まれている可能性があります。 Ela

29日なのでgroongaの新しいアップデートが来ています！ nanapiのgroonga + mroongaで検索しまくっているわけですが、今回のアップデートはすごく嬉しい内容が含まれています。 複数の query() を select コマンドでサポートしました。例えば、キーワードごとに異なる重みづけを指定して検索するのに'query("column * weight1", keyword1) || query("column * weight2", keyword2) || ...'などと --filter に指定することができます。 2.1.2リリース - 2013/01/29 もともとSenna + MySQLのTritonnにはついていた機能だったのですごく嬉しいですね。これでスコアの重み付けができるようになると、よりnanapiの検索精度を上げることができそうですね！ 検索エ

忘れないうちにメモ。 40分くらい遅れてしまったので、そこからの話。 mroonga 全文検索エンジン MySQLで使える => wrapper mode 位置情報での検索が出来る spider を使うとshardingできる => scaleout ruby on rails サポート maria DBにbundleされることになった Geographical searching ぐるなびの人 レストラン、地図、駅、GPSの検索 緯度軽度検索 - 2点間の座標から形成される矩形、または円形内のデータを検索する geo_in_rectangle(), geo_in_circle() 距離もわかる geo_distance() : 方形近似 - 精度が低く計算が速い geo_distance2() : 円形近似 geo_distance3() : 楕円近似(ヒュベニ) - 精度が高く計算が遅