はじめに 検索エンジンのトークナイズ処理の部分で行われている基本処理や工夫を少し調べてみたのでメモ。 トークナイズ処理 「検索クエリ」に対してマッチする「ドキュメント」を高速に検索するためにインデクス(索引)を作成する 本の最後の方にある「用語 - ページ」のような感じで、速く目的の用語が書いてあるページを調べられる インデクスは、日本語の場合文字が連続しているため、「形態素」や「(文字)N-gram」などが使われる 文1「六本木ヒルズに行った」 文2「青山さんから電話があった」 【形態素でインデクスを作成する場合の例】 文1：「六本木ヒルズ」「に」「行く」「た」 文2：「青山」「さん」「から」「電話」「が」「あっ」「た」 【文字2-gram(bigram)でインデクスを作成する場合】 文1：「六本」「本木」「木ヒ」「ヒル」「ルズ」「ズに」「に行」「行っ」「った」 文2：「青山」「山さ」「

一定期間更新がないため広告を表示しています

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? @shoitoです。 12/1に、先日発表したElasticsearch勉強会の報告を公開しました。 「niconicoの検索を支えるElasticsearch」と題して、第7回Elasticsearch勉強会で発表しました 今回は、私がElasticsearchを知るために参考にしているサイトや書籍、フォローしているtwitterアカウントなどを紹介します。１つでも参考になればと。 書籍 まずは書籍を2冊紹介します。 Elasticsearch: The Definitive Guide (英語) http://shop.oreill

2. Me •長野雅広 (Masahiro Nagano) •@kazeburo / github:kazeburo •Operations Engineer / Site Reliability •LINE corp. •ISUCON 2013,2014 連覇

大変革期に突入する検索エンジン:Wolfram AlphaやSiri、Googleの動向などから予想する次世代検索エンジンの姿 Wolfram Alphaという新種の検索エンジンをご存知だろうか?　Googleに代表される従来の検索エンジンの場合、ユーザーが検索窓にキーワードを入力すると、それに関するウエブ･サイト(ホーム･ページ)へのリンクがパソコン画面にずらずらと表示･羅列される。 これに対し、Wolfram Alphaでは単なるキーワードではなく、たとえば「What is the highest mountain in the world?(世界最高峰の山は何ですか?)」など、自分が知りたいことを文章(質問)として入力する。すると検索エンジンの方でも単なるホーム･ページの羅列ではなく、「Mount Everest(エベレスト山)」のように、答え自体をズバリと返して来る。しかも、そこで

2012年01月16日16:30 カテゴリアルゴリズム百選Lightweight Languages Algorithm - Suffix Array を JavaScript で再発明してみた WEB+DB 総集編 [Vol. 1〜60] もう10年以上前に某社のCTOだったころ、Suffix array(接尾辞配列)の解説を毎週の技術者ミーティングでしたら一名を除いて「ハァ?」状態だったことを思い出しつつ。 Suffix Arrayは何が画期的だったのか? 以下は、計算機科学者でなくても直感的に理解できると思います。 ソートされていない通常のデータの中にあるサブデータ(キー)を検索しようとすると、データの大きさに比例した時間(O(n))がかかる。 ソート済みのデータであれば、二分探索でデータの大きさの対数時間(O(logn))でキーを検索できる。 さらにキーからIDを定数時間で作成でき

検索エンジンの作り方教えます。グーグル自走カーのスタンフォード大教授が無料オンライン大学｢Udacity｣開校（動画）2012.01.30 13:006,590 satomi 昨秋、大学学部レベルのコンピュータサイエンス課程を無料で提供し、日本でも話題をふりまいたスタンフォード大。あれを担当したセバスチャン・スラン（Sebastian Thrun）教授が大学を辞め、なんとコンピュータサイエンス専門の無料オンライン大学｢Udacity｣をスタートしました！ セバスチャン・スラン教授といえば、あのグーグルの自走カーをつくったお方。グーグルのフェロー（特別研究員）でもあります。 去年2月／TEDにて（日本語訳） 氏は秋の人工頭脳（AI）入門コースをスタンフォード大とオンラインの両方とも並行して担当したんですが、ロイターによると｢オンラインコースの方が指導が密で教え方も良いため、リアルの大学のクラ

My iPhone 11 is perfectly fine, but the new buttons on the iPhone 16 are compelling

米comScoreは現地時間2011年11月11日、米国における主要検索エンジンの利用状況に関する調査結果を発表した。10月は首位の米Googleがシェアを拡大する一方、米Yahoo!と米Microsoftの連合はシェアが縮小した。 2011年10月における検索件数ベースのシェアは、Googleが65.6％で前月から0.3ポイント増加した。2位のYahoo!は同0.3ポイント減の15.2％、3位のMicrosoftは同0.1ポイント増の14.8％で、両社の合計シェアは0.2ポイント減少した。4位の米Ask Networkは0.1ポイント減の2.9％、5位の米AOLは横ばいの1.5％だった。 ■2011年10月の米国における検索エンジン別市場シェア （家庭、職場、大学ユーザーを含む） ベンダー名 2011年9月 2011年10月 前月比 （ポイント） Google 65.3％ 65.6％ 0

検索エンジンの転置インデックスなどデータ列を小さいデータサイズで持たせたい、という状況がある。こういう場合圧縮符号を使うのが一般的でunary符号やgamma符号、delta符号など様々な種類がある。 圧縮符号の中でイチオシなのがvertical code(vcode)。これは岡野原(@hillbig)氏によって提案された圧縮符号で単純な仕組みでdelta符号並の性能を誇っている。 本記事ではvcodeのポイントを絞って30分でわかるように解説してみる。 vcodeは本棚に本を並べる作業を連想すると理解しやすい。本棚は予め高さが決まっているので全ての本が入るような本棚を用意する。つまり というようなものを想像する。 この本棚は8冊の本が並んでいるが左から5冊目の本が他よりも背が高い。このため5冊目の本に合わせて背の高い本棚が必要になる。だが他の本は5冊目の本ほどに背が高くないので、5冊目が

ビジネスサーチテクノロジ（BST）は11月1日、同社が提供するサイト内検索ASP「probo」のオプションとして、ウェブ情報を効率的に収集してマルチデバイスに配信する情報ハブの構築が可能な2種の新型クローラを提供開始した。 提供を開始したのは、ウェブサイト、SNS、ブログなどのコンテンツを一元化する情報ハブを構築し、タブレット端末やスマートフォンなどをはじめとする多様なデバイスに配信できる「proboアドバンスドクローラ」と「proboソーシャルクローラ」。 proboアドバンスドクローラは、ウェブ上の情報を商品名、価格、サイズなどの属性に従って収集するクローラ。情報は、APIを利用してタブレット端末やスマートフォンアプリなどで共用できるため、これまでデバイスごとに個別の設定が必要だったコンテンツの追加や更新が手間なくできるという。 一方のproboソーシャルクローラは、ソーシャルメディア

Structured annotations of web queries まとめ 検索クエリを構造化して扱うための手法を提示． なんでそう扱いたいか 前の論文とも関連する，というかそちらの問題意識に近いけれど，商品検索のクエリは構造化されている． 通常の情報検索の文脈で"50 inch LG lcd tv"というクエリは一見何も問題無さそうだが，実はLGは50inchのlcd tvを生産していないのでこれでは商品がヒットしない．しかしクエリを構造化すればLGのlcd tvを検索できるので他のinchをユーザに提示できる． この論文の目的は2つ． クエリを構造化されたデータとして扱えるようにする．例えば"50 inch LG lcd tv"というクエリを { テーブル(クエリが意図している領域) => TV，サイズ => 50inch，ブランド => LG，テレビの種類 => lcd tv

米comScoreは現地時間2011年8月10日、米国における主要検索エンジンの利用状況に関する調査結果を発表した。それによると7月は、米Googleがシェアを落とし、米Yahoo!がわずかに拡大した。 2011年7月における検索件数ベースのシェアは、首位のGoogleが65.1％で前月から0.4ポイント減少した。2位のYahoo!は16.1％で同0.2ポイント増加し、3位の米Microsoftは横ばいの14.4％だった。以下、米Ask Networkの2.9％（前月比横ばい）、米AOLの1.5％（同0.1ポイント増）と続いた。 ■2011年7月の米国における検索エンジン別市場シェア （家庭、職場、大学ユーザーを含む） ベンダー名 2011年6月 2011年7月 前月比 （ポイント） Google 65.5％ 65.1％ -0.4 Yahoo! 15.9％ 16.1％ 0.2 Micros

第1回データ構造と情報検索と言語処理勉強会に参加して発表をしてきました．幹事の@overlast さん，ボランティアのみなさま，会場を提供してくださったmixiさんに感謝申し上げます． ランキング学習に関するハードな発表を依頼されたので，気合いを入れて2晩夜更かしして資料をまとめてみた．発表資料(公開用)をslideshareにアップしました． DSIRNLP#1 ランキング学習ことはじめ View more presentations from sleepy_yoshi ランキング学習は検索ランキングを教師あり機械学習の枠組みで最適化する方法で，どのように目的関数を設定するかという観点で3つのアプローチ (pointwise, pairwise, listwise) に分かれる．これらのアプローチは，目的関数の設定方法が違うだけで，眺めてみると (基本的な方法は) そんなに難しくないよ，