はじめに こんにちは！ AI エンジニアのヤマゾーです。 近年、生成 AI の進化が目覚ましく、生成 AI を活用したシステムの開発が盛んに行われています。その中で最も有名なテクニックが RAG です。RAG というのは検索拡張生成 (Retrieval Augmented Generation) の略で、質問の関連情報を検索し、質問と関連情報をセットで入力して回答させる技術のことです。 各企業ではこの RAG システムを積極的に導入していますが、ほぼ確実に課題になるのが検索部分の精度です。そして検索精度を上げるためには検索エンジンの知識が必要不可欠です。 本記事では検索エンジンの筆頭サービスである Azure AI Search を題材に、検索エンジンの基本的な仕組みや検索クエリの書き方について初学者向けに解説します。 RAG の検索部分を "Retriever" と呼びますが、この語源

こんにちは、@shin0higuchiです😊 業務では、Elasticsearchに関するコンサルティングを担当しています。 最近すっかり春らしく、暖かくなってきました。 新年を迎えたばかりの感覚でしたが、あっという間に時が経ちますね。 さて、今回の記事では、Elasticsearchの検索を根本的に変える可能性を秘めたセマンティック検索に関して書かせていただきます。 概要 Elasticsearchは元々、キーワードベースのアプローチを主に取っており、クエリで指定されたキーワードを対象のドキュメント内で検索し、それらの出現頻度や位置に基づいて結果をランク付けしています。この方法では、文脈や意図に関係なく、単純にキーワードの一致度に基づいて検索結果が返されます。 一方、セマンティック検索とは、ユーザーのクエリの背後にある文脈と意図を理解しようとする検索手法で、キーワードだけに頼るのではな

今 Q もお疲れさまでした！10X の @metalunk です． 3ヶ月前に 10X の検索を 10x したい というブログを書きました．その記事にあるとおり，1-3月で検索インフラの改善を実施し，検索速度 10x, インフラコスト 80% 削減という成果をあげました．そして，直近の3ヶ月では検索精度の改善に取り組みました．この記事では今 Q にリリースした機能と，それぞれの効果を説明します． 長い記事になったので飛ばし飛ばし読んでください． どんな Q だったか KPI の変化 Zero match rate Conversion rate リリースした機能 検索キーワードサジェスト システム概要 評価 カテゴリフィルタ 並び順の改善 評価 bigram 解説 評価 シノニム辞書を Search time に展開 解説 イベントログからシノニムルールの生成 解説 改善の背景 KPI D

こちらはエムスリー Advent Calendar 2022 Advent Calendar 2022の延長戦31日目の記事です。 エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(po3rin) です。検索とGoが好きです。 検索エンジニアってどこで採用できるの？ という話を至る所でよく聞きます。僕自身も、自ら検索エンジニアと名乗るエンジニアにほとんど出会ったことがありません。やはり、世の中の検索にまだ魅了されていないエンジニアを情報検索の世界に引き込むしかないので、今回は僕が情報検索にハマった経緯を紹介することで一人でも多くのエンジニアを情報検索の世界に引き込めればと思います。 情報検索との出会い 情報検索の探索 発展 まとめ 情報検索との出会い 僕が最初に情報検索に出会ったのは前職の白ヤギコーポレーションでした。そこではElasticse

Nikil Pancha | Software Engineer; Andrew Zhai | Software Engineer; Chuck Rosenberg | Head of Advanced Technologies Group; and Jure Leskovec | Chief Scientist, Advanced Technologies Group Pinterest surfaces billions of ideas to people every day, and the neural modeling of embeddings for content, users, and search queries are key in the constant improvement of these machine learning-powered recommen

検索に関わることならなんでもOKです！ 検索エンジンのアルゴリズムや実装 検索システムの構築・運用・評価 形態素解析・分かち書きなどの自然言語処理 (NLP) 技術 検索に関する UI/UX 地理検索、画像検索、情報推薦など Lucene, Elasticsearch, Solr など検索エンジンOSS 今年も作成してみました! 2021年のアドベントカレンダーはこちら

皆さん，こんにちは！MLエンジニアの柏木（@asteriam）です． 今回は前回のエントリーに続いてその後編，パイプライン構築の話になります． tech.connehito.com はじめに 再掲になりますが，我々は以下の構成で今回の検索基盤を構築しています． 検索エンジン：Amazon OpenSearch Service データベース：Amazon Aurora データ同期（ETL）：AWS Glue ワークフロー・パイプライン：AWS Step Functions・Lambda・EventBridge 後編は，検索エンジンに定期的に安定してデータを同期するために構築しているワークフロー・パイプラインに関する内容になります（下図の全量データ同期パイプラインの部分）． 検索基盤全体のアーキテクチャー概略図 もう少し具体的には，OpenSearchのindexの管理方法について説明した後に

米グーグルが、国ごとに検索サービス（総合2面きょうのことば）を最適化する。アジアの主要国に専任チームを設け、各国で異なるニーズに対応した新機能を開発する。検索・広告事業を率いるプラバッカー・ラガバン上級副社長が都内で日本経済新聞のインタビューに応じ明らかにした。ネット広告事業の成長は鈍化している。サービス改良を進めネット利用者が急増するアジアの成長を取り込む。（関連記事ビジネス面に）ラガバン氏

今回のイチオシ記事は、Doug さんの What is a Relevance Engineer? と Ubie さんの Esqa の記事です。 Search#Elasticsearch の検索精度のチューニング 〜テストを作って高速かつ安全に〜 ubie-oss/esqaという Elasticsearch の検索品質をテストできる OSS の紹介。 検索結果に対して、アサーションや過去と現在のランキングの比較を距離として計算してしきい値以上で計算する事ができるらしい。 検索結果のチューニングの辛い点をできるだけ緩和できそうで、これは便利そう。ステートフルなシステムである検索システムをデグレなどを考慮して日々のメンテナンスするの大変ですよね… What is a Relevance Engineer? - OpenSource Connections 日本だとあまり聞き慣れない Relev

エムスリーエンジニアリンググループ AI・機械学習チームの中村(@po3rin) です。 好きな言語はGo。仕事では主に検索周りを担当しています。最近、ユーザーの検索体験の向上のために、以下の検索評価に関する本を読んでいました。 情報アクセス評価方法論 作者:酒井 哲也発売日: 2015/05/19メディア: 単行本 そこで今回は検索評価指標の1つであるsDCG (session-based Discounted Cumulative Gain)を使ってエムスリーの検索ログから体験の悪かった検索を抽出してみたのでその方法を紹介します。 現状の検索監視 現状の検索監視の問題 nDCG sDCG 線形横断 最下位クリックにおける検索結果の破棄 クリック＝適合文書 nsDCGを実際の検索ログに使ってみる sDCGを使って感じたこと まとめ We're hiring !!! Reference 現

2014年最初の今回は「mdfind」について。知る人ぞ知るSpotlightを利用したファイル検索用コマンドだが、他のコマンドと組み合わせて実行すると、GUIのSpotlightでは難しい検索が可能になる。これまで度々当コラムで紹介しているものの、体系的に紹介していないことに気付き、いまさらながら取りあげようという算段だ。 OS Xにおける「Spotlight」 OS X Tigerのとき登場したSpotlightは、「デスクトップ検索機能」などという言葉で紹介されることが多い。それ自体は正しいが、木を見て森を見ずの喩えもあるように、全体像を見誤る可能性がある。なぜなら、メニューバー右端やショートカットキーから呼び出すSpotlightフィールドは「Spotlightという検索システムの外側(フロントエンド)」であり、その核心部分は他に存在するからだ。 Spotlightの核心部分とは、

ネットで本を探すとき、真っ先に利用しがちなのがAmazon.co.jpです。でも、ほかにも書籍を検索できるWebサイトはたくさんあります。思いついた文章を入力するだけで検索できたり、絵本や美術書などの目的に特化していたりと便利な使い方ができるサイトも。はてなブックマークで見つけた、7つの書籍検索サイトを紹介します。 ■ とにかく見つける！ 図書館蔵書検索サイト 最初に紹介するのは、図書館の蔵書を検索するサイトです。「貸し出し状況を確認できる」「絶版本を見つけやすい」などの特徴があります。 ▽ カーリル | 日本最大の図書館蔵書検索サイト はてなブックマークニュースでも何度か紹介している「カーリル」は、全国5,000館以上の図書館や図書室の蔵書を検索できるサイトです。図書館での貸し出し状況も確認できます。さらに「カーリルアカデミア」では、700館以上の大学図書館の蔵書も併せて検索できます。

検索オプションや演算子の紹介や「辞典になる」「電卓になる」みたいな機能紹介は省く（これについては、googleのヘルプか、たとえばここhttp://search.web-sun.com/g_help.htmlを参照）。 以下では、基本の考え方と、それを受けて、では具体的にどう検索するかを、いくつかの事例をつかって簡単に説明する。 どれも知っている人には当たり前のことばかりだが、このあたりのことをまとめたものは意外に少ないようなので、メモ代わりになるようにまとめてみた。 まとめたのは最低限のものであって、取り上げるべき事項は他にもいろいろあるだろうが、簡素なのがウリということで。 考え方は、googleで検索するときだけでなく、調べもの全般に用いることができると思う。 １．（基本）「○○について××が知りたい」→検索語「○○　××」 ［例］富士山の高さが知りたい （考え方） →富士山の高さが

「日本の著作物、世界から無視される恐れも」　長尾館長、Googleブック検索「対象外」に懸念：ウェブ学会シンポジウム 「世界のすべての人から、日本の著作物が無視されることになるかもしれない」――Googleブック検索和解案で、日本を含む英語圏外の国の著作物が対象外となったことについて、国立国会図書館の長尾真館長は12月7日開かれた「ウェブ学会シンポジウム」（東京大学）の基調講演で懸念を示した。 日本の一部の出版社などは、和解案が日本の書籍にも及ぶことに強く反対してきた。反対派の著作権者にとって、和解案の修正は「ハッピー」だったと長尾館長は話す。 だが「（米英などで）たいていの人がGoogleブック検索で本を調べるが、日本の書物は一切出てこない」という結果になることを懸念。Googleブック検索に参加しないなら、「日本独自で書物をきちんとスキャンし、世界にネット発信していくという努力がない限

Empowering MENA Startups for Global Success Universal Triumph International Growth At Plus VC, we leverage over a decade of experience and 200+ transactions to empower MENA startups for sustainable growth. We offer fair terms, fast deals, and unparalleled support to visionary founders, guiding them from seed stage to Series A with our proven expertise in tech and investment.

複数トランザクションの同時実行編 トランザクションが複数同時に実行される時，RDBMSはどのような仕組みで，それぞれのトランザクションの独立性を保つのかを説明します。これを理解することにより，さらに良いトランザクション処理のアプリケーションを開発することができるようになります。 目次 第1回　ほかのトランザクションからの影響 第2回　1番ゆるい分離レベル（リードアンコミッティド） 第3回　2番目にゆるい分離レベル（リードコミッティド） 第4回　3番目にゆるい分離レベル（リピータブルリード） 第5回　1番きつい分離レベル（シリアライザブル） 更新処理とトランザクション編 「RDBMSの更新処理とトランザクションの関係は難しい」――。こう思っている読者の方は少なくないでしょう。アプリケーションを開発するだけなら，更新処理とトランザクションの関係をきちんと理解していなくても，「見よう見まね」の開