2011-07-28 InnoDB純正の全文検索エンジンInnoDB FTS つい先日、MySQL-5.6.3-labs版がリリースがされました。この中にはInnoDBで動作する全文検索エンジン"InnoDB FTS"が含まれています。これまでは、MySQLとInnoDBの組み合わせで全文検索を行うためにはサードパーティの製品(mroonga 等..)が必要でしたが、これでズバっと選択肢が広がることになります。しかもInnoDBの開発チームが自ら開発した"純正の"エンジンということですから、これは大きな期待が持てます。 いったいどのような製品に仕上がっているのか、ざっくり記事やソースを読んで得た感触を述べてみたいと思います。 written by daijiro.mori どんなエンジンか? エンジンの概要については、 Overview and Getting Started with I

米Googleは6月7日（現地時間）、検索でコンテンツの著者に関するマークアップをサポートすると発表した。検索結果のコンテンツでrel属性として「rel="author"」などを設定している場合、コンテンツのスニペット（概要テキスト）にリンク付きの著者名が表示される。 WebパブリッシャーはHTML5の「rel="author"」やXFNの「rel="me"」を設定することで検索エンジンに同じ著者のWeb上のコンテンツを認識させることができる。設定方法はヘルプセンターで説明されている。schema.orgのmicrodataを使って構造化データをマークアップしている場合も、こうした著者情報を読み取るようになる見込みだ。 Googleはこの機能を促進する目的で、New York Times、Washington Post、CNET、New Yorkerなどと協力したほか、同社のブログサービス

昨年 6 月にレシピ検索の提供を開始しましたが、Google の検索技術でさまざまなレシピサイトを横断して検索できるとご好評いただいています。そんなレシピ検索がこのたびさらに便利になりました。 皆さんは、苦手あるいは嫌いな食材ありませんか？　たとえば、トマトが嫌いなのでトマトが入っていないパスタを作りたいとき、今回、新たに提供開始する材料での絞り込み機能が便利です。使い方は簡単。レシピ検索を使って[パスタ]と検索した後、左側の「材料」リストから「トマト」の列にある右側の「無」のチェックボックスをクリックします。 同様に、アレルギーがある食材を除いたり、ダイエット中だから高カロリーな食材を除くといったこともできます。逆に、好きな材料を含むレシピだけに絞り込んだり、冷蔵庫の中に入っている食材を使いたいからといった場合にも便利です。 さらに、今までは左側の「レシピ」をクリックしてからでないとレシ

マトモに使えるRPCライブラリ MessagePack-RPC for Ruby のバージョン 0.2.0 をリリースしました！ 新たにコネクションプーリングの機能を追加しました。一度接続したコネクションを共有して使い回すことができます。コネクションを何度も張り直す負荷と遅延を削減でき、リソースの消費も抑えられます。 また、不意に切断されたコネクションを自動的に再接続する機能を導入し、信頼性を向上させています。 これを使って何か作ってみようと言うことで、twitterのリアルタイム検索エンジンを作ってみました。日本語を検索できないなど機能は貧弱ですが、プログラム全体がわずか140行に収まっています（クローラ27行、インデクサ48行、クラスタ管理ノード37行、検索クライアント28行）。 新しいつぶやきを受信するたびに、リアルタイムで転置インデックスを作成していきます。インデックスを作成するノ

夏本番に向けて海に行ける体作りに励まないといかんなーと思いつつも、ついついDSのスターフォックスで遊んでしまうmikioです。さて今回は、人知れずリリースされている検索エンジンTokyo Dystopiaの概要と設計思想について述べます。 Hyper Estraierとの違い Tokyo Dystopia（以下、TDと呼びます）は、新しい検索エンジンです。しかし、私が作ったもう一つの検索エンジンHyper Estraier（以下、HEと呼びます）の後継としては位置付けていません。 Hyper Estraierの製品コンセプトは、「検索システムの需要が生じる様々なシーンで手軽に導入できる」ことです。言い換えれば、「いわゆるシロウトの人でも、お高い商用システムを買えない個人や小組織でも、ちょっとの努力で自分の要求を満たすシステムを構築できる」ことです。そのために、様々なファイル形式に対応したテ

2008年4月15日に発表したアウンコンサルティング、インデックス、ポイントオンの3社共同調査によると、「パソコンでもっとも使う検索エンジンは？」という問いに対して「Yahoo!」と回答したユーザーが58％、「Google」と回答したユーザーが38％となり、2つの検索エンジンだけで96％を占めた。 一方、「携帯電話でもっとも使う検索エンジンは？」という問いに対しては「Yahoo!モバイル」が35％、「Googleモバイル」が22％となり、2つの検索エンジンを合わせても57％にしかならなかった。 これらの他に携帯電話ではどんな検索エンジンが使われているのかというと、「各キャリアが提供する検索サービス」を利用すると回答したユーザーが27％で、「F★ROUTE」（6％）、「gooモバイル」（4％）、「CROOZ!」（1％）、などその他の検索エンジンが合計で16％のシェアを持っている。 つまり携帯

Algorithm::Diff で類似文字列検索 2008-04-22-3 [Algorithm][Programming] Perl のモジュール Algorithm::Diff[2004-12-12-2]を使って、線形時間で類似文字列検索するサンプルプログラム。 まあ、 agrep があればそれでいいんですけどね。 サンプルコード(ads.pl)： #!/usr/bin/perl use strict; use warnings; use Algorithm::Diff; use utf8; use Encode; use open ':utf8'; binmode STDIN, ":utf8"; binmode STDOUT, ":utf8"; my $key = shift; my @seq1 = split(//, decode('utf-8', $key)); while (<

フラクタリストとセランはこのほど、モバイル検索エンジンの利用とモバイルSEOへの影響に関する調査を実施、結果を発表した。 対象サイトのうちリスティング広告の効果測定を行っている6サイトについて、検索エンジンがスポンサーの意向に左右されず、自身のアルゴリズムに従って実行する「オーガニック検索」経由とリスティング広告経由のコンバージョン率（CVR）について調べたところ、オーガニック検索経由のCVRは平均約1.2％に対し、リスティング広告経由のCVRは平均約4.7％だった。 オーガニック検索経由のCVRが低い理由として、トップページへ戻るための導線がない、最下部までのスクロール量が多いなど、ユーザビリティの低下が離脱率を引き上げているようだ。ただ、全体としてオーガニック検索経由のアクセス数は対象17サイトのユニークアクセス数合計の約40％と比率は高いことから、SEOは有効な手段と言えそうだ。 ま

「モバイル検索の分野でも、キーワードのロングテール化は進んでいる」――4月20日に開催された「次世代モバイル技術セミナー」において、米GoogleプロダクトマネジメントディレクターのDeep Nisher氏がGoogleモバイルの利用状況について明らかにした。 Nisher氏によると、2006年第1〜3四半期（1月〜9月）の検索キーワードのおいて、上位100位のキーワードが検索された量は、全体のわずか12％という。モバイル検索の普及が進むにつれ、このロングテール化はますます進むとNisher氏は予測する。 また、モバイル検索の特徴的な事例として、テレビでキーワードが紹介されると急激に検索数が伸びることも示した。グーグルが検索エンジンを提供しているauのEZwebでの事例だが、2006年8月にフジテレビのドラマ「結婚できない男」において、番組のテーマ曲が携帯電話から無料でダウンロードできるこ

Webマーケティングガイドでは、モバイルインターネット調査会社のネットエイジアリサーチと共同調査のもと、10代女性のモバイル利用状況について調査を行った。 今回の調査対象は、13歳〜19歳の女性モバイルユーザー330人。キャリア比はDoCoMo:42.7％、au:43.9％、SoftBank:13.3％となっている。 10代女性に関する調査（上）では、通話やメール、携帯の利用金額等についての調査を行ったが、今回は10代の女性が「キャリアの公式メニュー」と「検索エンジン」をどのように使い分けているかについて探ってみた。 Q1では、公式メニューと検索エンジンのそれぞれについて利用頻度を尋ねた。その結果、公式メニューに関しては、「よく使う」と回答したユーザーが16.1％、そして「たまに使う」が31％となった。一方、検索エンジンはというと「よく使う」が39.8％、「たまに使う」が公式メニューと同様

Webマーケティングガイドでは、モバイルインターネット調査会社のネットエイジアリサーチと共同調査のもと、第5回携帯電話の検索に関する調査を行った。その結果、ユーザーはモバイル検索結果においても“比較”という行動をとっている可能性が浮上した。 今回の調査対象は、15歳以上〜49歳未満の男女モバイルユーザー300人で、男女比については50％ずつの均等割付けを行い、年齢比は15〜19歳：33.3％、20〜34歳：33.3％、35〜49歳：33.3％となっている。また、キャリア比はDoCoMo:47％、au:38.3％、SoftBank:14.7％となっている。 まずQ1では、携帯電話でオンラインショッピングや情報収集をしようと思ったとき、どのような方法で検索をするかを尋ねた。その結果、「商品名」という回答が最も多く60.7％、そして「カテゴリー」の34.7％、「ブランド名や会社名」の34.3％と

Webマーケティングガイドでは、モバイルインターネット調査会社のネットエイジアリサーチと共同調査のもと、第4回携帯電話の検索に関するモバイルリサーチ調査を行なった。 その結果、Yahoo!モバイルとGoogleが利用率を上げている一方で、iモード検索の利用率は減少してきていることがわかった。 今回の調査対象は、15歳以上〜49歳未満の男女モバイルユーザー300人で、男女比については50％ずつの均等割付けを行い、年齢比は15〜19歳：33.3％、20〜34歳：33.3％、35〜49歳：33.3％となっている。また、キャリア比はDoCoMo:47％、au:38.3％、SoftBank:14.7％となっている。 第2回携帯電話の検索に関する調査（2006年12月実施）から3カ月が経過したが、その間モバイル業界ではイー・モバイルが新規としては13年ぶりに業界に参入することを発表し、その他にもmix

JavaScriptでインデックス型の全文検索エンジンを作ってみた。全文検索エンジンを作る際に問題となるのは、インデックスデータを部分的に読み込む方法である。通常はmmapやpreadなどを使ってファイルの一部を部分的に読み込むのだが、もちろん、ブラウザには使えない。ブラウザでファイルの一部分を読み込むには2通りの方法がある。1つは、ファイルを多数のファイルに分割する方法であり、もう1つはHTTPリクエストのRangeヘッダを利用して、ファイルの一部を取得する方法である。前者の利点は、ブラウザのキャッシュが効くことや、対応ブラウザが多いことである。後者の利点は、ファイル数が少なくなるので、インデックスの管理が容易になることである。今回はRangeヘッダの実用性にも興味があったので、後者の方法を用いた。 参考ページ：最速インターフェース研究会 :: Ajaxを使ったシンプルなチャット 転置イ

アウンコンサルティングは12月12日、2005年に引き続き「アウンコンサルティングが選ぶ2006年の検索エンジンマーケティング（SEM）10大トピック」を発表、第1位は「携帯キャリア各社が検索システムを導入」が選ばれた。 主要携帯キャリア各社が検索システムの導入を完了、モバイル検索分野における本格競争時代が到来した。このことから、同社では2006年は「検索」がマーケティング活動を展開する新たな領域として歩み始めた「モバイル検索元年」と総括している。 また、オーバーチュア（第3位）やGoogle（第4位）などモバイル検索に対応した広告システムが相次ぎ開始。今後もユーザー側と企業側、双方からみて、モバイル検索の重要性は高まっていくことは必至で、これら一連のモバイル検索にまつわるトピックは来年も注目が集まると予想している。 一方、PCでの検索ではSEMがマーケティング手法として確固たるポジション