Search and analytics, data ingestion, and visualization – all at your fingertips.

最近、SQL アンチパターンという本を読んでいたら、MySQL、 PostgreSQL、SQLite などのデータベースでも拡張機能を利用することで全文検索を実装できることを知りました。[1] SQLite で構築されている Cloudflare D1 についても調べてみたところ、制限はあるものの全文検索の拡張機能が使えるということがわかりました。 Export is not supported for virtual tables, including databases with virtual tables. D1 supports virtual tables for full-text search using SQLite’s FTS5 module. 今回は個人ブログの全文検索 API を D1 を利用して実装してみたので、その方法について書きたいと思います。 作成した AP

はじめにこんにちは、TIGの岸本卓也です。 春の入門連載2024 の3番目です。 ある静的サイトジェネレーターで生成された膨大なドキュメントの検索において、全文検索機能はあるものの以下の課題を感じることがありました。 探したいものがヒットしないことがある どこがヒットしているのか謎なものが検索結果に含まれることがある クライアントサイドで動くため、ページ読み込み時に数十MBと大きいことも多いインデックスファイルをダウンロードするため、ページの読み込み完了が遅い原因になっている 検索にヒットしない場合は、欲しい情報がありそうなページをリンクから辿って個別に探すしかないのです。しかしこれは手間です。 このような課題を解決すべく新たな全文検索エンジンを探す中でMeilisearchという製品を見つけました。Meilisearchは日本語の検索においても良さそうでかつ手軽に試せたので、試した内容を

mytweetsという自分の Twitter/Bluesky の自己ポストの全部検索サービスをNext.js App Router(RSC)で書きなおしました。 mytweets は Twitter のアーカイブや Bluesky の API を使って自分のポストを S3 に保存しておき、 S3 Selectを使って全文検索ができる自分専用の Twilog のようなサービスです。 自分の Tweets をインクリメンタル検索できるサービス作成キット と Tweets をまとめて削除するツールを書いた | Web Scratch 過去の Tweets を全文検索できる mytweets を Bluesky に対応した。自分用 Twilog みたいなもの | Web Scratch 最初は CloudFront + Lambda@Edge + Next.js Pages Router で動かし

先日、静的サイトに特化した全文検索ライブラリとして「Pagefind」というソフトウェアがあることを、下記の記事が話題になったことで知りました。 参考：静的サイトに特化した検索ライブラリ Pagefind を試す | grip on minds 実は、いまお読みのPublickeyはまさに、Movable TypeというCMSを用いて生成された静的なWebサイトです。現在、PublickeyではGoogleが提供している「Googleカスタム検索エンジン」を全文検索エンジンとして採用しています（右上の虫眼鏡アイコンから呼び出せます）。 しかしPublickeyでは以前からGoogleに依存しない、自前の全文検索エンジンを持てないかと模索しており、まさにPagefindは私が探し求めていたソフトウェアだったと言えます。 そこでさっそくPagefindがPublickeyに導入できるかどうか、

デモとして、このブログに Pagefind を導入してみました。ヘッダーの検索アイコンをクリックすると検索フォームが表示されるので、キーワードを入力して検索してみてください。 使い方 Pagefind は構築済みの UI ライブラリと、CLI コマンドとしてインデックスを作成するためのツールから構成されています。まずは UI ライブラリの部分から見てみましょう。 UI ライブラリ Pagefind の UI ライブラリは、検索フォームと検索結果を表示するためのコンポーネントから構成されています。この UI は以下のコードを追加するだけで簡単に利用できます。 <link href="/pagefind/pagefind-ui.css" rel="stylesheet" /> <script src="/pagefind/pagefind-ui.js"></script> <div id="s

8月8日、ElasticsearchとOpenSearchのパフォーマンスとリソース利用に関する分析結果が発表されました。 この比較によると、ElasticsearchはOpenSearchに比べて40％〜140％高速であり、より少ない計算リソースを使用しています。 この記事では、テキストクエリ、ソート、日付のヒストグラム、範囲、および用語などの6つの主要な領域でのパフォーマンス比較結果を詳しく紹介します。 以下に詳細をご紹介します。 Elastic社は、2023年8月9日、ElasticsearchとOpenSearchの性能とリソース利用に関する比較結果を公開した（Elasticsearch vs OpenSearch: Performance and Resource Utilization Analysis）。 Elasticsearchは、Elastic社によって開発された検索エ

Amazon Kendra で Microsoft PowerPoint, Excel, Word ファイル内の文字を検索する全文検索を試してみました。 Amazon Kendra は次ファイル形式に対応してり、Excel ファイルの検索は既にブログになっています。 HTML files Microsoft PowerPoint (PPT) presentations MS WORD documents Plain text documents PDFs Comma Separated Values (CSV) files Microsoft Excel (MS EXCEL) files XML files JSON files Markdown Documentation (MD) files Rich Text Format (RTF) files Extensible Stylesh

記事の概要を3行でまとめ検索システムの移行や導入は組織化しましょう 指標に気を取られすぎないようにしましょう 検索を見ると様々なドメインに触れるので知識が増えてお得 はじめにnote株式会社で検索エンジニアをしているchovです。 早速ですが、noteでは全文検索エンジンを以下の箇所で利用しています。 ハッシュタグの検索 ユーザの検索 マガジンの検索 記事の検索 メンバーシップの検索 CloudSearchを利用した検索結果これまではCloudSearchを利用していましたが、2022年の4月ごろからElasticsearchへの移行プロジェクトを始め、この記事が公開される2023年2月時点でほとんどの検索をElasticsearchに移行するところまで進みました。 本稿では移行プロジェクトの進め方や検証の手法について解説しますが、これから全文検索エンジンの導入・移行を行う方の参考になれば

こんにちは。 EC基盤グループ サーチチームの 山村です。 この記事は、 Elastic Stack (Elasticsearch) Advent Calendar 2022 の 23日目です。 2か月ほど前になりますが、2022年10月26日に実施された 第50回 Elasticsearch勉強会 で発表させていただきました。 私が外部での発表するのは、2016年6月のSolr勉強会 以来で、非常に緊張しました。 日々の業務にかまけて、ブログが後回しになっていたことで大変遅くなってしまいましたが、上記の発表で話した内容とスライド資料から、話したかったポイントを抜粋するとともに、勉強会で不足していた部分について補足をします。 当日、発表を終えたところで気が抜けてしまい、Twitter で頂いていた質問に満足に答えられませんでしたので、この場で補足説明を含めて出来るだけ回答したいと思います。

過去記事ページの UI 考察 ずっと過去記事をどうやって効率よく見せるか（自分自身が効率よく読むか）ばかり考えている。一つ前の記事では絞り込み UI について書いた。ブログというものが生まれたとき、誰も 10 年以上にわたっ... portalshit.net ブログのアクティビティダッシュボード Archive ページにこだわってしまう理由、グラフを表示させてみて（ブログ過去記事をカテゴリーごとに集計してグラフ化 - portal shit!）何となくわかった気がする。過去記事ページとい... portalshit.net このブログの維持管理で一番時間を割いているのが Archives ページだ。しかしアクセスログを見ると自分以外はほとんど利用していない。完全に自己満なのだが、過去の自分を振り返ることができてとても自分には有意義なページだ。 過去記事を振り返るときには検索をしたくなる。

Elastic、AWSとの「Elasticsearch」に関する商標問題が解決したと発表。今後「Elasticsearch」を名乗るのはElasticのみに Elasticは、Amazon Web Services（AWS）との「Elasticsearch」に関する商標問題の訴訟が解決したと発表しました。 Elastic and @amazon have resolved the Elasticsearch trademark infringement lawsuit. Learn more on our blog: https://t.co/738RR78bRD — Elastic (@elastic) February 16, 2022 発表によると、今後AWSおよびAWS Marketplace上でElasticsearchサービスと名乗るのは、Elasticが提供するElastic

Developers.IO 2021 Decadeという弊社オンラインイベントにて、「Cloudflare + OpenSearch + Lambdaで始める全文検索開発入門」というテーマでお話させていただきましたので、紹介します。 セッション概要 現在開発に携わっているプロフィールビュアーサービスProfllyでは、検索エンジンとしてAmazon OpenSearch Serviceを採用しています。 サーバーレス環境において、コストを抑えつつ快適にOpenSearchを利用できる開発環境を準備すべく、Cloudflareを利用したOpenSearch + Lambdaの構築方法を解説します。 動画 スライド アジェンダ Amazon OpenSearch Service + Lambdaを組み合わせた全文検索 開発のためのローカル環境OpenSearch構築 Cloudflareを利用

GIGAZINEでは新しい記事を作成する際に過去に同じ内容の記事がないかチェックしています。2021年8月の時点で7万件以上存在する記事の中から標準で用意している検索フォームで検索すると、結果が返ってくるまでの時間が遅く作業効率が悪くなるという問題が発生していました。そこで、過去記事を素早く検索するための検索システムを作成してみました。 既存のシステムに影響を与えないように、新たに高速で検索できるデータベースアプリケーションを組み込んだサーバーを用意します。今回は、Ubuntu Server 20.04.2 LTS上にMroongaを用意しました。 Mroonga - MySQLで高速日本語全文検索 https://mroonga.org/ja/ インストール手順を参考に設定してインストールします。 universeリポジトリーとセキュリティアップデートリポジトリを有効にします。 $ su

Replacing Elasticsearch with Rust and SQLite Published on: November 21, 2017 Caveat: Elasticsearch is a multi-purpose, distributed, battle-tested, schema-free, log and document storage engine. We’ll be replacing it with a single-purpose, relational schema, me-tested, and custom nginx access log storage engine. Knowing that, let’s begin. Find this project on Github After building my home server, I

この記事は新野淳一氏のブログ「Publickey」に掲載された「AWS、商用サービス化を制限するライセンス変更に対抗し「Elasticsearch」をフォーク、独自のオープンソース版へ」（2021年1月25日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 米Amazon Web Services（AWS）はこのほど、オープンソースで開発されている検索エンジン「Elaticsearch」とデータの可視化ツール「Kibana」をフォークし、独自ディストリビューションを作成すると発表しました（AWS日本語ブログ）。 これはElasticsearchとKibanaの開発元である蘭Elastic社が、AWSはElasticsearchの商標を無断で利用しているなどとしてAWSを名指しで非難し、AWSの商用利用を制限するライセンス変更を発表したことに対抗する措置として行われる

この記事は新野淳一氏のブログ「Publickey」に掲載された「AWSをElasticが名指しで非難。ElasticsearchとKibanaのライセンスを、AWSが勝手にマネージドサービスで提供できないように変更へ」（2021年1月21日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 オランダに本社を置くElasticは、オープンソースで開発してきたElasticとKibanaのライセンスをそれまでのApache License 2.0から、商用サービス化を制限する「Server Side Public License」（SSPL）と「Elastic License」のデュアルライセンスへ変更することを発表しました。 その目的は、AWSが勝手にElasticsearchとKibanaをマネージドサービスとして提供できないようにするためであると、同社CEO Sha