検索しているユーザー（イメージ） はじめまして。弁護士ドットコム事業本部でエンジニアをしている狩野です。 弁護士ドットコムのサービスにはいくつかの検索機能があります。主に「みんなの法律相談」「弁護士検索」「弁護士ドットコムニュース」などで使われています。 これらは Apache Solr（以下、Solr）という検索システムで動いていました。 これを OpenSearch という別の検索システムに載せ替えました。 経緯 選定 機能 モジュール AWS サービス 実装 リリース さいごに 経緯 弁護士ドットコムのサービスにはいくつかの検索機能があり、そこで Solr を使っていました。 確認できた限りでは 2013 年から 10 年近くの間、使っていたようです。もっと以前から使っていた可能性もあります。 だいぶ昔の話なので Solr が導入された経緯などは不明ですが、当時の判断としては Sol

Linuxの主要なディストリビューションの1つであるUbuntuを開発するCanonicalは、AWSが主導するオープンソースの検索エンジン「OpenSearch」のプロジェクトへの参加を表明しました。 Great open source software is built together with a diverse community of contributors. Canonical, the publisher of #Ubuntu, is proud to be a member of the OpenSearch #opensource community. Read more about our collaboration here: https://t.co/EkQlAZtS9A pic.twitter.com/AwxCkWWFiU — Ubuntu (@ubuntu)

九州支社で生成AI関連のPMや提案、検証などをしています。将棋はウォーズ三段になりました。若返ると聞いてブルーベリーを毎日食べてます。 Elasticsearchの機械学習機能 今回はElasticsearchの教師あり機械学習（ML）機能とそれを使った類似ドメイン検知についてご紹介します。 Elasticsearchは無償（一部機能を除く）で利用できるデータ分析・可視化ツールです。一般的にはログやテキストデータの保存や検索、可視化などで使われることが多いでしょう。そのElasticsearchでML機能が使えることはご存知でしょうか。 ElasticsearchのML機能は、2016年に Elastic社がPrelert社を買収したことで、バージョン6.1から追加されました。有償なのですが、試用ライセンスで30日間試すことが可能です。今回も試用ライセンスで検証しています。 MLには教師な

発表資料について 当時の発表資料とNuCon Mini 2022 Springで登壇した際の動画のリンクを埋め込んでおきますので、もしよろしければ御覧ください。 発表資料 「チームでサービスの運用をうまく支えていくための取り組み ~SREと共に~」 ちなみにこちらの動画では発表前にジョジョネタを盛り込んでいます。もしジョジョが好きな方がいましたら何部のセリフが使われているか当ててみてください。答えは当記事の最後にあります。 過去のGit Teamの体制と課題 Git Team誕生前 BacklogのSRE課にBacklogのGit機能の開発するメンバー1名を包含していました。メンバーはアプリケーションの開発・保守をメインで担当し、BacklogのGit機能に関連するサーバーの保守（kernel updateなど）はWebOperationが担当するという作業分担をしていました。 WebOp

by yuiseki yuiseki.icon 2022/5/19 20:25 - 20:40 （明らかに15分で収まる内容の資料ではないですが、資料はモリモリで発表はスカスカでもScrapboxで盛り上がれるか、という仮説の検証を兼ねています） yuisekiですyuiseki.icon Gyazoのプロジェクトマネージャー兼ソフトウェアエンジニアです 本日お集まりいただいたみなさん、ありがとうございます 本日お集まりいただいたみなさん ノバウサギ…？nyanco.icon ユニコーンガンダム…？issac.icon タイマーちゃん！takker.icon 12年間運用を続けているB2C SaaSの検索インフラの実態（14分まで、1分間） Gyazoは2021年、「画像の瞬間発見」をテーマに、検索に力を入れていた Nota Tech Conf 2021 Springでのyuiseki.i

こんにちは、メルカリMicroservices SREチームの藤本(@jimo1001)です。 私は現在、Embedded SRE として サーチインフラチームに入り活動しています。このサーチインフラチームは、Elasticsearchを使用した検索基盤を管理し、様々なマイクロサービスに検索機能を提供するチームです。この検索基盤は非常に巨大なプラットフォームで、メルカリ全体のマシンリソースの高い割合を占めており、メルカリの検索を支える非常に重要なものです。私の Embedded SRE としてのミッションは検索基盤の信頼性の向上と自動化を推進することです。 今回は、メルカリの検索基盤で利用している Elasticsearch における運用のノウハウを紹介したいと思います。 Elasticsearch とは Elasticsearch は、Elastic社が開発する Apache Lucen

※この記事は、"Blog Series of Introduction of Developer Productivity Engineering at Mercariの一環で書かれています。 はじめに こんにちは、メルカリ、サーチインフラチームのshinpeiです。今回はメルカリの検索基盤の裏側について、そのアーキテクチャ変遷について書こうと思います。2018~2021年の4年間で、大きく3回、変化をしました。設計の段階では希望と期待にあふれているアーキテクチャでも、問題は後からやってきます。設計には良し悪しがあり、変化することで知見を得ながら、改善を続けています。え、これだと危ないのでは？、、あぁ、やはりそうなるのね。などと、ご笑覧いただければ幸いです。 前回までのお話 メルカリの検索は、創業時から、Solrをベースにしたシステムで組まれてました。その変遷はこちらのスライドにまとめてあ

検索基盤部の内田です。私たちは、約1年前よりヤフー株式会社と協力し、検索機能の改善に取り組んでいます。現在、ZOZOTOWNのおすすめ順検索に用いている、ランキング学習を利用した検索機能も、その取り組みの一部です。 本記事では、Elasticsearch上で、ランキング学習により構築した機械学習モデルを用いた検索を行うためのプラグイン「Elasticsearch Learning to Rank」の簡単な使い方を紹介します。また、このプラグインをZOZOTOWNに導入し、実際に運用して得られた知見をご紹介します。ランキング学習の話題性が世の中で増していますが、検索エンジンを絡めた情報はまだ世の中に少ない印象があります。そのため、本記事が皆さんの参考になれば幸いです。 ランキング学習のイメージ ランキング学習（Learning to Rank, LTR）とは、機械学習の枠組みのひとつであり、

前提 AWS OpenSearch ServiceでサポートするElasticsearch 7.10.2時点までの内容になります。 ノードが3つ必要という結論に関してはAWS OpenSearchの特別な話ではなく分散システムでの一般的な話になります。 理解のステップ 以下が本記事での理解の流れです。 マスターノードとは何か、他にどんなノードタイプがあるのかを把握する。 専用マスターノードとは何か把握する。 quorumとは何か把握する。 理想のquoram数を出す式がdedicated master nodes / 2 + 1の理由を把握する。 これまでマスター候補ノード(master-eligible node)はなぜ奇数台にするべきだったのか把握する。 Elasticsearch7.xでのマスター候補ノード設定の仕様変更を把握する。 マスターノードとは？ "master"の役割をする

Nrtsearch: Yelp’s Fast, Scalable and Cost Effective Search Engine Sarthak Nandi, Software Engineer and Umesh Dangat, Group Tech Lead Sep 21, 2021 Search and ranking are part of many important features of Yelp - from looking for a plumber to showing relevant photos of the dish you search for. These varied use-cases led to the creation of Yelp’s Elasticsearch-based ranking platform, allowing real-ti

Amazon Web Services(AWS)がオープンソースの分析エンジン「Elasticsearch」を利用した製品「Amazon Elasticsearch Service(Amazon ES)」の商標登録を行ったことへの対抗策として、Elasticsearchは2021年1月にライセンスが変更されました。AWSはライセンスが変更される前にフォーク版を作成することで事態への対応を試みましたが、新たな報道で、Elasticsearch公式Pythonクライアントではフォーク版がブロックされることが判明しています。 Elastic amends Elasticsearch Python client so it won't work with forks then blocks comments • The Register https://www.theregister.com/20

エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(@po3rin) です。 弊社では毎週水曜日にElasticsearchとLuceneのコードリーディング会が開催されています。最近ではLuceneのFSTやKD-Tree、もうすぐ公開されるNSWの実装周りを読んでいました。 先日、私の発表回でLuceneのメモリ上での転置インデックスのデータ構造について発表したので、その内容を紹介します。Luceneのことが少しでも身近に感じていただければ幸いです。 Luceneとは 転置インデックスに関する事前知識 Luceneの事前知識 Luceneのメモリ上での転置インデックス実装内部 確保したメモリがあふれた場合 まとめ We're hiring !!! Luceneとは github.com Elasticsearchの内部で利用されているオープン

サイボウズのクラウド黎明期から運用し続けていたSolrサーバーを Elasticsearchに置き換えるプロジェクトが先日完了しました。 プロジェクト完了報告もかねてプロジェクトのあらましを公開したいと思います。 はじめに このプロジェクトの主軸は『魔窟と化したレガシー技術をどう捌くか？』になります。 このプロジェクトの報告をする前に、いくつかエクスキューズをさせていただきます。 クラウド黎明期を支えてくれたSolrには畏敬の念に近い感謝をもっています レガシーな技術に対してマウントやディスリスペクトの意図はありません 魔窟にかかわることになってしまった人に対して負の感情は一切ありません 今回の採用している構成はElasticsearchのあるべきアーキテクチャではありません 今後、Neco 環境への移行を通して継続的に改善していきます サイボウズでのSolrの使い方と用語説明 サイボウズ

Feature Toggleとダークローンチで安全にElasticsearchクラスタをリリースした話。

クリニック検索では、Ngramと形態素解析を併用することにより検索結果のヒット数を担保しつつ検索ノイズの増加による悪影響をスコアソートにより軽微なものに抑えています。 施術メニューピックアップのための全文検索では、検索ノイズが少ない形態素解析のみを利用しています。 美容クリニックでの検索における問題 形態素解析では、辞書に含まれている単語の集合に基づいて形態素が認識されます。 Sudachiの辞書において美容医療の専門用語が網羅されておらず、問題が発生します。 形態素解析で専門用語がカバーされていない問題 上記の表の通り、形態素解析では検索漏れが多いです。 例えば、「ダーマペン」は美容医療では人気な単語ですが、Sudachiに搭載されているデフォルトの辞書ではカバーされていないので、形態素として抽出されません。 形態素解析で期待通り認識・分割されない問題 「二重」が「フタエ」でなく「ニジュ

AWS、ElasticsearchとKibanaのフォークによる「OpenSearch」プロジェクトを発表。Elasticとの溝は埋まらないまま AWSは、オープンソースの検索エンジンと可視化ツールの「OpenSearch」プロジェクトを発表しました。これは検索エンジンおよび可視化ツールとして人気のElasticsearchとKibanaをフォークしたものです。 Introducing the #OpenSearch project: a community-driven, open source fork of Elasticsearch & Kibana. https://t.co/VmlP14DiIC pic.twitter.com/YFAI0KkIx3 — AWS Open Source (@AWSOpen) April 12, 2021 すでにGitHub上には、Elastics

リクルートの大杉です。 本ブログは、2021年2月から3月に弊組織（検索ソリューショングループ）で一緒に働いてもらったアルバイトの塚越駿さんが、今回のアルバイト期間中に実施したことをまとめたものです。 彼には、我々が社内向けに量産している「情報検索API」の内部改善の一環で、Amazon Elasticsearch Service を実サービスで展開するための性能検証を行っていただき、そこで得られた知見を広く共有すべく技術ブログを書いてもらいました。 —ここから塚越さんの記事です— こんにちは、RECRUIT Job for Student 2021に参加していた塚越駿と申します。 本記事では期間中に取り組んだ、既存システムのAmazon Elasticsearch Serviceへの移行に向けた調査と、本番環境投入のための負荷試験についてご紹介します。 はじめに 改めまして、こんにちは。

クエリに対する関連キーワード機能 エムスリーエンジニアリンググループ AI・機械学習チームの中村(@po3rin) です。 好きな言語はGo。仕事では主に検索周りを担当しています。 Overview 最近の仕事で医師に質問ができるサービスで「Elasticsearchを使ってなるべく低コストで関連キーワード機能を実装する」という案件に携わっていました。本記事では関連キーワード機能を低コストで実装するための技術調査の結果と、実際に採用した方法をご紹介します。 今回紹介する方法は機械学習などは使わず、なるべく低コストである程度の品質を目指すものです。この記事を読むことで検索アプリケーションにサクッと関連キーワード機能を実装できるようになるでしょう。 Overview 検索における関連キーワード機能とは 実装の前提条件 実装パターンの紹介 (1) ログで出現した単語を数えあげる (2) ログに対

コンテナでログをどう取得すればいいの？そもそもどういうログがあるのか？ ログの取得パターンから活用方法まで、 @prog893 が選定のためのヒントとサンプルアーキテクチャで紹介します。