米Googleは8月10日、次世代Web検索アーキテクチャをテスト公開した。 このアーキテクチャはGoogleが数カ月前から秘密プロジェクトとして取り組んでいたもの。「規模、インデックス化の速度、精度、包括性などの面で限界に挑むプロセスの最初の一歩」という。 この検索アーキテクチャは未完成であるため、Googleはデベロッパープレビューとして公開し、ユーザーからのフィードバックを募っている。現時点では、新システムと現行システムの検索結果の違いについてのフィードバックのみ求めているが、特定のサイトを特定のクエリーの検索結果に入れるべきかどうかなどについての意見にも関心があるといるという。

冬の寒さが深まる中、ルーマニアで最も人気のあるクリスマスマーケットが、シビウの大広場で開催されます。美しいイルミネーションで飾られた広場では、ルーマニアの伝統的な甘いパン「コゾナック」や、香り豊かなホットワインなどを楽しむことができます…

どうぶつの森にハマって、たぬきち商店が早終いする関係で退勤時間もめっさ早くなったmikioです。今回は、Tokyo TyrantのキャッシュとLua拡張を使って超お手軽にリアルタイム検索システムを作る方法について述べます。 ユースケース 高い頻度で更新されるWeb上のテキストをリアルタイムに検索したいと思ったことはありませんか？ mixi日記や各種のブログサービスやRSSリーダなどで扱う大量のコンテンツを安価かつ簡単に検索したいと思ったことはありませんか？ 私は結構あります。要件を箇条書きすると以下のような感じでしょうか。 最新データの合計100万件くらいを検索できればよく、古いデータは自動的に消えてほしい。 ただし、更新はリアルタイムにして、書いた瞬間に検索結果に反映されてほしい。 サーバ1台で更新1000qpsおよび検索100qpsは処理したい。 再現率よりも精度とリアルタイム性を重視

朝のジョギング生活を絶賛継続中ですが、あまり体重が減らなくてショボンヌなmikioです。さて今回は、Tokyo Dystopiaを使った検索機能「かんたん友人検索」の設計と実装についてお話しします。 全体の戦略 Tokyo Dystopia（TD）は単なる全文検索用のインデックス管理ツールです。多数の文字列の中から特定のパターンを含んだ文字列を特定する処理を高速化することはできますが、逆に言えばそれしかできないのです。住所を市区町村単位で限定して結果を絞り込むとか、ログイン時間が近い順に並び替えるとかの高機能は備えていません。Hyper Estraierにはそういったアプリケーション寄りの機能を持たせていましたが、逆にコードベースが肥大化して保守や最適化がしにくくなってしまいました。その反省を踏まえて、今回は、「全文検索による対象の絞り込み」だけはTDにやらせて、その他の機能は全て専用に書

The Rarest Domain Name Ever Registered for Patents is Now Available for Offers Patents ● Inventions ● Process Protection ● Intellectual Property The Rarest and Most Valuable Domain Name Ever Registered for Patents, Inventions, Process Protection, and Intellectual Property Management is Now Exclusively Available at Epik Premium. Patents.com - Available Now Exclusively from Epik Premium This is an u

元Googleエンジニアが立ち上げた企業Cuilが7月28日、従来とは異なる手法を使った新しい検索エンジンを発表した。 Cuil（「クール」と発音する）の検索エンジンは、従来のリンク分析やトラフィックランキングといった手法ではなく、Webページの内容を分析し、それに基づいて検索結果のランキングを決める。また類似の検索結果をグループ化し、検索結果を「雑誌スタイル」でテーマごとに表示したり、さらにカテゴリーごとに検索することもできる。 例えば「Harry Potter」を検索すると、検索結果ページは「すべての検索結果」「Harry Potter Books」「Harry Potter Games」などのテーマごとにタブで区切られ、右側には「Actors」「Movie Stars」「Directors」などのカテゴリーが表示される。 Cuilは「ほかの検索エンジンの3倍に上る1200億のWebペ

弊社森（オラの上司）が大阪市立大学で発表をしてきました。 発表資料は以下からどぞー。 検索エンジンの歴史的意義と未来 発表の前半は、コミュニケーション技術の歴史を踏まえ、 多対1のコミュニケーション技術として検索エンジンを捉える試みです。 発表の後半は、コミュニケーション技術としての検索エンジンが 現在どのような課題を抱えているか、 本来検索エンジンとはどうあるべきか、について語られています。 発表者の森と、 「検索エンジンは情報を減らすための技術だから面白い」と 盛り上がって話した記憶があります。 (ちばてつやの看板がある渋谷の中華料理店で) 大変面白い資料ですので、是非一読をオススメいたします。

Introduction to Information Retrieval 輪読会 9章の復習資料を以下にアップロードしました。 http://bloghackers.net/~naoya/iir/ppt/iir_09.ppt 9章は、検索結果の適合性を改善するするための二つのアプローチ、Relevance Feedback (RF) とクエリ拡張についての話です。 検索結果のドキュメントに対してユーザーから追加の入力 (Relevant か Non-relevant か) を受け取るのが RF です。受け取ったフィードバックは、ベクトル空間でベクトルの重心を使ってクエリベクトルを最適化することに利用できます。最適化のアルゴリズムとして Rocchio アルゴリズムを利用します。ただし、特に Web 検索などにおいては、ユーザーは明示的なフィードバックを好みません。そこで、ユーザーからの入

非公式版twitter検索は勉強会情報や面白いustreamやってないかな？というときに重宝していたのですが、 公式版twitter検索が出来たと聞いたので比較してみた。 ■非公式版で勉強会を検索 ■公式版で勉強会を検索 ↓英語じゃないよ！って言われたので「all languages」をクリック ↓言語選択を「日本語」選択 見てみると、非公式版のほうが最新の情報を引っ張ってきているし、公式版で日本語のみに設定したら現時点で2件しか検索結果が表示されなかった。 英語以外の検索の場合は非公式版のほうに軍配が上がるのかなという感じでした。

たまには自分の研究紹介 D. Okanohara, K. Sadakane. "An Online Algorithm for Finding the Longest Previous Factors". In the 16th European Symposium on Algorithms. Sep 2008. to appear. [pdf(draft)] この研究では文字列を順々に読んでいったとき、各位置で過去に一番長くマッチした部分文字列を報告する問題を扱ってます。圧縮のLZ77法を知っているなら、マッチする部分を見つける部分を解いてます。で、圧縮以外にもいろいろなパターンマッチング問題とか、インデクシングとか、データマイニングとかいろいろなことにこの情報が利用できるということが知られてるみたいです。 で、大抵はハッシュやtrieを組んで履歴を探すんですが、今回対象にするのはテキ

新たな画像検索エンジンTinEyeが、希望者によるプライベートベータ公開をアナウンスした。 さっそく申し込んで、アカウントを貰うことができたので試してみた。 以下がその検索してみた例。一番上が、僕がURLを与えることで指定した「検索したい画像」 ご覧のとおり、元の画像と同じ内容が含まれていることは人間ならわかる画像ばかりなのだけれど、たとえば 髪型が変えられていたり、 全体ではなく部分だけが抜き出されていたり、 背景や文字が加えられていたり、 といった、加工されたと見られる画像も、ネットから探し出すことができている。 TinEyeは現在までに5億枚の画像のクロールしており、画像ごとに独自のパターン認識アルゴリズムを使ってコンパクトでユニークな「指紋」を作成しているのだという。 いつものakkyロゴ でも検索してみたけれど、単純すぎて特徴がない画像は検索できない、というエラーになった。 検索

Introduction to Information Retrieval 輪読会 7章の復習資料を以下にアップロードしました。 http://bloghackers.net/~naoya/iir/ppt/iir_07.ppt 7章の前半は、6章に引き続きスコアリングの話題です。Vector space model での内積計算を真面目にやろうとすると計算量が膨大になるため、いくつかのヒューリスティクスを導入して計算量を削減します。cos 類似性算出のアルゴリズムの見直し、idf や tf あるいは静的なドキュメントの何かしらのスコア (例えば PageRank のようなもの) を使って計算対象のドキュメントを足切りする、Impact ordering により cos 類似計算のループ回数を削減する、などの手法が紹介されています。 後半では、7章までに紹介されてきた各種コンポーネントを統合

ちょっと今さら感もある話題ですが、先日やったセミナーで質問が出たりもしたので、ここで一度まとめておきたいと思います。 Q1. なぜ日本では検索エンジンが著作権侵害と言われているの？ A1. 検索エンジンでは、著作物を含む他人のウェブ・サイトをコピーしてキャッシュ（と呼んではいるが実際には永続的ストレージ）を作ったり、サムネールを作ったりしています。これは、著作権法上は複製にあたります。日本の著作権法では、権利者の許諾なく、著作物の利用（複製等）をできるケースを限定的に規定しています（引用だとか、教科書での使用だとか）。検索エンジンでの複製はこのような限定的ケースに含まれていないため、法律を厳密に解釈すると著作権侵害ということになってしまうわけです。 Q2．どういう人がこういう解釈を主張しているの？ A2． 以前から検索エンジン違法説は学識者の間で唱えられていましたが、昨年の10月に出された

みんな、［Senna-dev 884］のメールは読んだかな！？ 全文検索エンジンSennaの新しいAPIについての素案がついに公開されました。 今までのAPIのほとんどを刷新するという 大改造！劇的ビフォーアフター的API群です（APIの匠）。 んで、この新しいAPI群で何ができるようになるのでしょうか。 簡単に言うと、 「Sennaは、データベースになります！」 といいつつも、全文検索機能を充実させるために、 データベース的機能を強化した、という感じになっておりますぞ。 データベース機能 新しいSennaでは、複数のテーブルというものを持つことができます。 テーブルは、複数のレコードを持つことができます。 レコードは、複数のカラムを持つことができます。 カラムは、ある型のデータを保持します。 一般的なRDBMSの２次元表をまずはイメージしてください。 ポイント1. レコードごとにカラムが