What is an Information Architecture?
経緯 前回，画像ファイルをアップロードして DB に保存する記事を書きました． 実際にファイルはどうやって DB に保存されるのかについて補足します． params をみる 前回と同じプロジェクトで進めます． def create binding.pry # <= ここの params を確認したい @user = User.new(user_params) @user.icon = params[:user][:icon].read @user.icon_content_type = params[:user][:icon].content_type ... 実際にファイルをアップロードした時のパラメータを見てみます． [1] pry(#<UsersController>)> params[:user][:icon] => #<ActionDispatch::Http::Uploaded
Rails4で1対多のリレーションをモデルに実装する - Rails Webook
Railsでは、ActiveRecordのhas_manyとbelogns_toを使うことで、DBの「1対多」のテーブル間のリレーションをモデルに簡単に実装することができます。 動作確認 Rails 4.1 ActiveRecord 4.1 目次 1対多関連とは 参照先の外部キーを追加する モデルにhas_manyとbelongs_toを追加する 使えるようになるメソッド 1. 1対多関連とは説明のために次のER図を実装してみます。 顧客1人が複数回注文をするので、「顧客」から見ると「注文」は"多"です。 また、１注文は必ず一人の顧客から注文されないので、「注文」から見ると「顧客」は"1"です。 このような関係を「1対多関係」といいます。 2. 参照先の外部キーを追加するまず、多側のテーブル（今回はordersテーブル）にxxx_idという名で外部キーを追加します。 xxxの箇所は参照先の
検索技術を使うなら知ってないと損する6つのこと～クックパッド、グリー、ぐるなび、CROOZは検索技術をどう使っているのか（2/2） - ＠IT
グリーでログ分析システムの開発を行っている一井崇氏からは、「全文検索のちょっとちがった使い方（仮）」と題する発表があった。 グリーにおける数値指標管理では、基本となるデータの総数が「1億キー×最大7年」という膨大な量に上り、さらに時間ごとに増え続けるアプリIDとの組み合わせなども考慮すると、すでに人間の手では管理しきれない状態にある。 同社ではMySQLベースのKVS（Key Value Store）によって、これらのデータを管理しているが、問題はkeyの数が膨大過ぎて必要なkeyを見つけるのが困難になっていることだという。 その解決のためにHadoopやMongoDBを導入するといった選択肢もあるが、同社が取った方法は「key stringを全文検索することで目的のkeyを探す」というものだった。一井氏によれば、グリーの数値指標管理システムの目的を整理すると、以下のようになるという。 や
MroongaでGroongaの機能を使いこなす高度なテーブル設計をする方法 - CreateField Blog
はじめに MySQL/MariaDBで高速に全文検索するためのオープンソースのストレージエンジンMroongaは、以下のように、Engine=Mroonga、FULLTEXT INDEX (${source_column})と書くだけで非常に簡単に全文検索を使い始めることができます。 CREATE TABLE memos ( id INT NOT NULL PRIMARY KEY, content TEXT NOT NULL, FULLTEXT INDEX (content) ) Engine=Mroonga DEFAULT CHARSET=utf8; 検索するときも以下のようにMATCH ... AGAINSTを使うだけです。 mysql> INSERT INTO memos VALUES (1, "1日の消費㌍は約2000㌔㌍"); Query OK, 1 row affected (
HerokuでPostgresqlのみで全文検索はできない？ | 自転車で通勤しましょ♪ブログ
Herokuで運営しているサービスの高速化のために全文検索について調査していましたが、どうもHerokuのPostgresqlだけでは完結できそうもない、というところまでわかったので、どんなことを調べたのかメモしときます。 まず、Postgresqlでの日本語の全文検索はできますが、pg_bigm拡張、もしくはpg_trgm拡張が必要のようです。 個別のサーバ環境であれば、それを入れることができますが、Herokuの場合は難しそうです。pg_bigmは入れられません。そして、pg_trgmは有効にできますが、HerokuのPostgresqlの場合だと、検索対象になるデータがアルファベットと数字のみのようで、日本語はダメっぽいです。 参考リンク： heroku dev center: Extensions, PostGIS, and Full Text Search Dictionarie
Elasticsearchでカタカナで検索する | 自転車で通勤しましょ♪ブログ
現在、Elasticsearchと格闘中です。実験的に扱っているので、まだ本稼働に使ったりとかそういうことでもないのですが、とりあえずRailsで使う際に得られた知見をメモ的に書いておこうと思います。主に自分用です。体系的に書けそうになったらまた書きます。 今回は、カタカナでの検索のメモです。 ちなみに使っているプログラミング言語はRubyで、アプリケーションはRailsで作っていますので、それが前提です。 gemは、elasticsearch-railsとelasticsearch-modelを入れています。 Elasticsearch、日本語くらいでググるとkuromojiを使ったサンプルがよく出てきます。形態素解析でいろんなキーワードに分割されるので、検索の際の速度は上がるのですが、読み仮名（カタカナ）のような情報は区切りが判別しづらいので、tokenizerとしてkuromoji_
DBのViewを作ったらRailsプログラムが綺麗になった話 | 自転車で通勤しましょ♪ブログ
最近データベースというかSQLについて勉強しているんですが、奥が深いですね。この前の第9回中国地方DB勉強会のときに聞いたrank関数を使って、ランキング機能をリファクタリングしよう！と思って最近頑張ってます。というのも、複雑なクエリ（遅い）を業種数分（10回くらい）呼んでいたため、Herokuだと結構ギリギリの速度になることもあったので、なんとかしなければ！と思っていたのです。 とりあえず、私の開発環境を載せておきます。 Mac Yosemite Ruby 2.2 Rails 4.2.1 PostgreSQL 9.3.4 ひとまずrank関数を使うところまで まず、NewRelicを使ってActiveRecordが出力しているSQLを取得し、それを0xDBEのコンソールに貼り付けて、rank関数を使って業種でパーティションしてランキングを出すところまでしてみました。rank関数は、関数名
mroongaでparserとnormalizerを同時に指定する方法 - Y-Ken Studio
mroonga-3.03より、インデックスのコメントにて、 parserとnormalizerを指定できるようになりました。 それぞれのスキーマ（テーブル構造）設計のサンプルを交えて紹介します。 その後に、mroongaで使えるparserとnormalizerの一覧を紹介します。 parserの指定例 約20種類から選ぶことが出来ます。リストは後述。 以下の例はTokenMecabというパーサを指定する際のスキーマです。 CREATE TABLE test ( id int NOT NULL AUTO_INCREMENT, content varchar(255) NOT NULL, PRIMARY KEY (id), FULLTEXT INDEX (content) COMMENT 'parser "TokenMecab"' ) ENGINE=mroonga DEFAULT CHARS
MySQLで編集距離を求めるUDF - CreateField Blog
先日、Groongaでビットパラレルで高速な編集距離の実装を検証してました。 ビットパラレルを使ってGroongaで高速な編集距離関数の検証 - CreateField Blog 編集距離とは挿入、置換、削除、並び替えの編集操作によって一方の文字列をもう一方の文字列に変形するのに必要な手順の最小回数です。 ちょこっとだけ表記ゆれしている文字列を抽出したりできます。 ちょっとMySQLでもカジュアルに使いたいなぁと思って編集距離を求めるUDFをさくっと作りました。 naoa/mysql-edit-distance · GitHub １バイト文字であればビットパラレル法でそこそこ高速に編集距離を求めることができます。 10万レコードの比較 文字数x文字数 動的計画法 ビットパラレル固定長 62x62 11.6524 sec 0.1811 sec とりあえず、英語で使いたかっただけということもあ
groonga/mroongaの文字列正規化機能 (normalizer) の挙動を追ってみる - Y-Ken Studio
groonga/mroongaが標準で備える文字列正規化機能（ノーマライザ・normalizer）として、 いわゆるgroonga独自のnormalizer(NormalizerAuto)と呼ばれるもがあります。 これは、大文字・小文字だけでなく、全角・半角を同一視できるという UnicodeのNFKCを用いた機能です。 とても便利な正規化機能なのですが、この文字列の正規化方法は MySQLで利用されているCOLLATION(照合順序)とは異なる動作です。 利用シーンによっては、MySQLでの作法に合わせた方が都合が良い場合があります。 そこで、groonga-normalizer-mysqlというパッケージの出番です。 本記事では、それら正規化機能の挙動の違いを追いかけてみたいと思います。 mroongaで使えるnormalizer いまのところ4つのnormalizerが提供されていま
InnoDB のフルテキストインデックスで日本語 NGRAM - Qiita
InnoDB のフルテキストインデックス 「使い物になんねぇ」って印象でしたが、ちょっと試してみると簡単なキーワード検索程度なら十分実用的な気がします。 試行錯誤の結果を記します。 ※ この文章は実験しつつ記述しています。整合性や内容の保証はできません ※ この文章はセキュリティ的なことを一切意識していません ※ 「5.6 からフルテキストインデックスが InnoDB でも使えるようになった」だけであり、基本的な仕様・動作は特に変わっていないはずです。設定項目名が変わっている（ft_min_word_len → innodb_ft_min_token_size 等）ようですがここでは触れません 事前作業 CREATE TABLE `article` ( `seq` INT(11) NOT NULL AUTO_INCREMENT COMMENT '連番', `title` VARCHAR(6
MySQLで全文検索をするために必要なこと - 小さな星がほらひとつ
与えられたキーワードに合致するデータをデータベースから取得することを考えた時、完全一致であれば「=」で検索を行うと思います。 では与えられたキーワードを「含む」検索、つまり部分一致を行いたいのであればどうするか。最も簡単なのは「search_column like '%キーワード%'」といった形で、「like」を使いキーワードの前後にワイルドカードを与える方法でしょう。 ですがこれを何の気無しに使うのはちょっと危険。 上記のようなlike検索ではインデックスが利用されないため（※）、全レコードをスキャンします。 かつキーワードを部分一致で探したいようなカラムは、文章等の比較的大きなサイズであると考えられます。 そのため検索コストは大きく、数千〜数万行であればまだ良いかもしれませんが、数十万ともなると利用には耐えられないでしょう。（実体験） ※ただし前方一致検索であれば、最初のワイルドカード
MySQLで高速全文検索を実現するMroongaでTokenMeCabが使えないときの対処方法 - Qiita
もっとGroongaを知ってもらおう!ということで週刊Groongaをはじめました。毎週木曜にGroongaやMroonga、Rroongaのトピックを投稿予定です。 今年も11/29に全文検索エンジンGroongaを囲む夕べ4を開催することになりました。Groongaのいろんな話を聞きたい人にはおすすめです。参加希望者が定員を超えていますが、イベントレポーターをやってくれるなら別枠(1名様)で入れます! 登録が間に合わなかった人は検討してみてください。詳細は協力者募集を参照してください。 はじめに MySQLで高速に全文検索するためのオープンソースのストレージエンジンとしてMroonga (むるんが)を公開しています。 最新のバージョンは2013年10月29日にリリースした3.09です。 今回は、Mroongaで全文検索をするときにMeCabが使えなくて困ったときの対処方法を紹介します。
groongaに追加されたNormalizerMySQLUnicodeCIExceptKanaCIKanaWithVoicedSoundMarkとは - Qiita
もっとgroongaを知ってもらおう!ということで週刊groongaをはじめました。毎週木曜にgroongaやmroonga、rroongaのトピックを投稿予定です。 いよいよ、gihyo.jpさんでgroongaの隔週更新連載が始まりました!! 第3回の記事も公開されたので、一読をおすすめします。 「第1回 全文検索エンジンgroongaを紹介します！」 「第2回 groongaをRuby On Railsでも使ってみた ～chikamap.comの事例から」 「第3回 すべてのMySQLユーザに高速な全文検索機能を！ - mroongaの紹介」 連載は始まりましたが、利用事例をどんどん紹介していきたいです。(利用事例のストックが尽きたら終了してしまいます。) groongaやmroonga、rroongaを実際に使っていて利用事例記事を書いてもいいよ、という人をまだまだ募集しています。
MySQL対応全文検索システムMroonga(むるんが)
10. インストール方法 % sudo yum install centos-release-SCL % sudo rpm -ivh http://packages.groonga.org/centos/groonga- release-1.1.0-1.noarch.rpm % sudo yum makecache % sudo yum install -y mysql55-mysql-server % sudo yum install -y mysql55-mroonga % sudo scl enable mysql55 "mysqladmin -u root password 'new-password’” % sudo yum install -y groonga-normalizer-mysql % sudo yum install -y groonga-tokenizer-me
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - naoa/activerecord-mysql-comment: Adds column comment and index comment to migrations for ActiveRecord MySQL adapters
MySQLを通じた全文検索エンジンSenna/groongaの利用について
MySQLで全文検索 - FULLTEXTインデックスの基礎知識｜blog｜たたみラボ
AST的電子記憶箱 - Web 関連 - MySQL5 [Mroonga 日本語検索]
ソースからインストールしたMySQLにMroongaをインストール - Qiita
{{#tags}}- {{label}}
{{/tags}}