ヤフーは7月27日、「Yahoo！JAPAN」に、米Googleの検索エンジンと検索連動広告配信システムを採用すると発表した。開始時期は「未定」としてるが、導入が始まれば、国内検索エンジンシェアの9割をGoogleが握ることになりそうだ。Yahoo！JAPANのデータをGoogleに提供することも明らかにした。 検索エンジンと検索連動広告配信システムを、米Yahoo!のものから切り替える。検索ぺージや検索サービスはYahoo！JAPANのものを残すほか、検索連動広告の販売はヤフーが行い、広告主が希望するキーワードをオークション形式で購入する「マーケットプレイス」はYahoo！JAPAN独自のサービスとして維持する。 Yahoo！JAPANのショッピングやオークションなど各サービスで日々更新されるデータをGoogleに提供し、「双方がメリットを得られるようにする」という。 ニュースリリースで

今回は実際にLinuxマシン上にSolr/Luceneをインストールします。インデックスにデータを投入した上で，Solr/Luceneに組み込まれている管理機能の画面から検索を実施するところまでを紹介します。 今回の作業で必要になるモジュール類は以下の通りとなります。 - Solr（Luceneは同こん） - Java SDK（1.5以降） - lucene-ja（N-gram解析機能） - sen（形態素解析機能） なお，今回の作業では日本語解析モジュールを導入しますが，その中で形態素解析モジュール用の辞書の作成が必要になります。形態素解析モジュール用の辞書作成作業では以下のモジュールが必要になります。 - ant（1.7以降） - perl（5.0以降） では，導入作業を進めましょう。 （1）Javaのインストール まず，最新のSolr 1.3ではJava 1.5以上のバージョンが必要

Primary Menu Vik's Blog Posts that pay homage to Jim Gray's "Let's party on the data" line. Operations: Google, Microsoft Research, Yahoo! Labs, Sutter Hill Ventures, Infer (CEO / Co-Founder - acquired by Ignite). Education: CS @ Berkeley. Recognition: MIT TR35, Anokhi S&S List, Indian Currents IC List, Wired ("Best Mashup"), California State Champion and Kentucky Fellow (Top 12 in the country) in

相対性理論のボーカルが頭から離れないmikioです。熱いわっふるの声に応えて今回はTokyo Cabinetのテーブルデータベースにおける検索機能の実装について語ってみたいと思います。とても長いのですが、最後まで読んだあかつきには、自分でも全文検索エンジンを作れると思っていただければ嬉しいです。 デモ モチベーションをあげていただくために、100行のソースコードで検索UIのデモを作ってみました。Java 6の日本語文書を対象としているので、「stringbuffer」とか「コンパイル」とか「倍精度浮動小数」とかそれっぽい用語で検索してみてください。 インデックスがちゃんとできていれば、たった100行で某検索エンジン風味の検索機能をあなたのデータを対象にして動かすことができます。ソースコードはこちら（テンプレートはこちら）です。 でも、今回はUIの話ではないのです。ものすごく地味に、全文検索

梅雨。部屋干しした洗濯物による異臭騒ぎに苦しむmikioです。今回は、Tokyo Cabinetのテーブルデータベースで超お手軽に全文検索をする方法について説明します。 使い方 テーブルデータベースについてまずおさらいしておきましょう。PerlやRubyのハッシュのようにコラム名とその値を関連づけた構造を、主キーを識別子として保存するデータベースです。例えばRubyからデータを保存するに以下のように行います。データベースであることをほとんど意識させないというのが素敵ポイントです。APIはCでもPerlでもRubyでもほとんど同じなので、言語にかかわらず同じようにレコードを操作できます。 require 'tokyocabinet' include TokyoCabinet # データベースを開く tdb = TDB::new tdb.open("casket", TDB::OWRITER

「Java News.jp（Javaに関する最新ニュース）」の安藤幸央氏が、CoolなプログラミングのためのノウハウやTIPS、筆者の経験などを「Rundown」（駆け足の要点説明）でお届けします。（編集部） プログラミングと検索エンジンは切っても切れない プログラミングと検索エンジンの関係は切っても切り離せないものです。プログラミングに役立つドキュメントやノウハウを探したり、参考になるサンプルプログラムを見つけ出せます。 さらにバグの回避方法を見つけたり、エラーメッセージを検索エンジンで探して、解決方法が見つかることも多いでしょう。良質のソースコードから、的確なアルゴリズムや、思いもしなかったようなコード例を見いだすのも新たな楽しみです。 さて、ここではプログラミングの際に便利に利用できるソースコード専用の検索エンジンをいくつか紹介しましょう。ソースコード専用の検索エンジンを利用した検索

そろそろ落ち着いて来たころ合いなので、はてなブックマーク全文検索機能の裏側について書いてみることにします。 PFI側は、8月ぐらいからバイトに来てもらっているid:nobu-qと、id:kzkの2人がメインになって進めました(参考: 制作スタッフ)。数学的な所は他のメンバーに色々と助言をしてもらいました。 はてな側は主にid:naoyaさんを中心に、こちらの希望や要求を聞いて頂きました。開発期間は大体1〜2か月ぐらいで、9月の上旬に一度id:naoyaさんにオフィスに来て頂いて合宿をしました。その他の開発はSkypeのチャットで連絡を取りながら進めてました。インフラ面ではid:stanakaさん、契約面ではid:jkondoさん、id:kossyさんにお世話になりました。 全文検索エンジンSedue 今回の検索エンジンはSedue(セデュー)という製品をベースにして構築しています。Sedu

アルゴリズム検索の結果を相手に仕事をしている検索マーケティング担当者の大多数は、自分たちが少なくとも検索エンジンの「最新アルゴリズムを把握している」と主張しているし、僕がこれまでに聞いた（あるいは、そういう意味で言えば、担当した）クライアント仕事では、9割方この話が少なくとも1回は話題に上っていた。 しかし、この点については、まだ多くの点で本当のことがわかっておらず、最近SEOに手を染めたばかりの人たちにとっては、おそらく最も気の重い側面だろうと思う。 というわけで、みんなの苦労を少しでも軽くするため、しょっちゅう変わり続ける検索エンジンの検索結果算定式に、どうすれば遅れを取らずにいられるかという問題に関して、みんなが持つ共通の疑問に答えておいたほうがいいんじゃないかと思ったんだ。 アルゴリズムとは何か？ グーグル、ヤフー、マイクロソフトは、それぞれどのようにして、検索アルゴリズムを検索結

Introduction to Information Retrieval の 輪講 に参加しています。自分はこの輪講で復習係を担当させてもらっています。毎回輪講の頭に、前回分の内容をサマリしてプレゼンテーションする係です。 これから輪講の度、作成した資料を公開していきたいと思います。第一回目の資料を以下に置いておきます。 http://bloghackers.net/~naoya/iir/ppt/iir_01.ppt (ppt, 274K) 第一回目は、書籍の第一章 "Boolean Retrieval" の復習です。大規模データを検索する検索システムにおいて、転置インデックスはどのように作成されるか、またブーリアン検索 (「渋谷 and ラーメン」という検索クエリの類) はどう処理されるかといったことの導入部です。 先週末の第二回目は、転置インデックス作成時の前処理部分(トークナイズ、

前々回の記事「百度、本気で日本の検索エンジン市場に参入する　けど」の本文中で、Googleの検索結果が同じキーワードでも朝と夜で変化するという話を書きましたが、それについて説明している日本語の記事があまりないので、ここで解説をしておきます。この技術はもともと、米New York TimesのGoogleへのインタビューの中で紹介されたもので、QDF（query deserves freshness）と呼ばれるものです。日本国内では2007年4月以降、Googleウェブ検索によく「5分前」「1時間前」「4時間前」といったラベルつきのリンクが掲載されることがありますが、これはQDFアルゴリズムによるものです。 --------------- GoogleやYahoo!で検索した時に私たちが目にする検索結果の並び順というのは、ある時点におけるウェブページのランク付けの結果に基づいたものだ。ウェブ

米ウィキアは2008年1月7日、オープンソースで開発を進めている検索エンジン「Wikia Search」のアルファ版を公開した。処理の仕組みを公開すること、ユーザーからのフィードバックを受けて検索結果を改良していくことなどを特徴とする。ウィキアは、ユーザーの手で作られる知識共有型の百科事典サイト「Wikipedia」を創始したジミー・ウェールズ氏らが2004年に設立した会社。Wikipediaのようにユーザーの広い支持を得られれば、インターネット検索の分野で台風の目となる可能性がある。 「ウィキアの検索エンジンは、オープンで、透明性の高い、公開された方法によって、信用ある利用者のコミュニティーからのフィードバックによって作られるものと考えています」――ウィキアは、Wikia Searchの目指すところをそう説明する。 具体的には、（1）透明性（2）コミュニティー（3）品質（4）プライバシー

米Googleは10月23日、Webサイトやブログにカスタマイズされた検索エンジンを統合できる「Google Custom Search Engine」を立ち上げた。 このサービスを使えば、誰でもGoogleの検索プラットフォームを使って、好きなコンテンツ（好きなハリウッドスター、お気に入りのスポーツチーム、個人の趣味など）に的を絞った検索エンジンを作成できる。 Custom Search Engineは既に幾つものサイトで導入済み。例えば気候学のサイトReal Climateは科学的な情報を提供するWebページを検索できるカスタム検索エンジンを提供している。またMac情報サイトMacworldのカスタム検索エンジンでは、Mac専門家が推薦するMac関連情報を検索できる。 Custom Search Engineは個人でも団体でも利用可能。www.google.com/coop/cseで自

NTTデータは10月11日，同社が開発した全文検索エンジン｢Ludia｣をオープンソース・ソフトウエアとして無償公開した。オープンソースのDBMS PostgreSQLに格納されたテキスト・データの全文検索を行う。同社では「商用のデータベース管理ソフトに匹敵する速度と精度を備える」としている。 NTTデータでは「データベース内のデータの全文検索ではこれまで，オープンソース・ソフトウエアでは日本語に対応した高速・高精度なものが存在せず，データベースからデータを取り出し別のシステムを構築する必要があった。Ludiaは商用のデータベース管理ソフトに匹敵する速度と精度を備える」としている。 Ludiaは，N-gramと形態素解析の2種類の全文検索インデックス方式をサポートする。ブーリアン検索，近傍位置検索，類似文書検索といった検索が可能で，検索結果の合致度を示す｢スコア｣も提供する。 Ludiaは