Amazon MemoryDBのベクトル検索機能が正式リリース。数百万のベクトル埋め込みを保存し、数ミリ秒でベクトル検索を実現 機械学習や生成AIとの組み合わせにおいて、テキストや画像などを「エンベディング」（埋め込み）と呼ばれるベクトルで表現した上で、そのデータを保存し、取得、検索するなどのベクトルデータベースの機能は、いまさまざまなデータベースへの実装が進んでいます。 今回、ベクトル検索機能が正式版となったAmazon MemoryDBは、オープンソースとして実装されたインメモリのキーバリューストアであるRedis互換のインメモリデータベースです。 その名前の通りデータ操作はメモリ上で行われるため、超高速にデータの保存や読み出しが可能である点が最大の特徴です。数ミリ秒でのクエリと更新を実現します。 この高速性を活かして、大規模言語モデルにおけるRAG（Retrieval-Augment

株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。本記事では、RAGの性能を高めるための「Golden-Retriever」という手法について、ざっくり理解します。 この記事は何 この記事は、RAGシステムを専門用語に強くするための手法「Golden-Retriever」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー Golden-Retrieverは、RAG（Retrieval Augmented Generation）を、業界特有の用語・社内用語を含むような質問に強くするための手法です。カリフォルニア大学の研究者らによって2024年8月に提案されました。 従来のRAGシステム

こんにちは。LayerX バクラク事業部 申請・経費精算チーム エンジニアの @minako-ph です。ニホンザルYouTuberにハマって3年が経とうとしています。 この記事はLayerXテックアドカレ2023の17日目の記事です。 前回は @yu-ya4 さんが書いてくれてます（本日公開予定！）。 次回は @shota_tech さんが担当します。 今回は、Notionでスプリントのあれこれをダッシュボードで可視化する過程を紹介します。 背景 弊社では全社的に Notion というサービスを利用しています。 私が所属する申請・経費精算チームでは、スクラムを利用した開発スタイルを採用しており、スプリント管理におけるNotionの運用に以下のような課題が発生していました。 状態 スプリントタスクDBの各タスクにマルチセレクトでスプリントを選択している スプリントタスクDBの各タスクに見積

近年のデータベースの新潮流にNewSQLと呼ばれる一群のデータベース製品群の登場がある。そのコンセプトを一言でいうと、RDBとNoSQLのいいとこどりである。SQLインタフェースと強いデータ一貫性（ACID）というRDBの利点と水平方向のスケーラビリティというNoSQLの長所を兼ね備えた夢のようなデータベースである。下図に見られるように、RDBとNoSQLが鋭いトレードオフを発生させていたのに対して、NewSQLではそれが解消されているのが分かる。 RDB vs NoSQL vs NewSQL本当にそのような夢の実現に成功しているか、というのはまだ議論が続いているが（クエリのスループットを出すためにレイテンシを犠牲にしているので本当にトレードオフを解消はしていない、などの問題が指摘されている）、商用でも利用可能な製品としてGoogle Spanner、TiDB、YugabyteDB、Coc

前書き本記事では、12/19に開催されたGPTsハッカソンで優勝した『冷蔵庫GPTs』の作り方を紹介します。 ※本記事は、冷蔵庫GPTs作成者のユウスケさんに寄稿していただきました GPTsをGootleスプレッドシートやLINEと連携したい方はぜひ御覧ください。 GPTsの動作の様子は以下から見ることができます。 先日のハッカソンで1位に選ばれた『我が家の冷蔵庫GPTs』の挙動を紹介します！ このGPTsは、IoTが進んだ少し未来を想定しています。 IoT化された冷蔵庫は、自身の中身をデータベース上で管理することができます。… https://t.co/NaSlpBI87y pic.twitter.com/AnusfTAWcL — ユウスケ🍀ChatGPTで業務超改善 (@ysk_prompt) December 21, 2023 このGPTsの機能を説明します。 前提として、このGP

世間ではデータエンジニアリングが流行しており、エンジニアからは人気が出て、企業からはその能力が求められています。 データエンジニアは、データの収集、蓄積、分析、活用に必要なデータ基盤を構築・運用する職種です。データエンジニアとして活躍するためには、非常に幅広い知識と能力が求められます。 データベース プログラミング システム開発 クラウドサービス データ分析 etc……. 私は多少データエンジニアとして経験を積んできており、業務を行う上で読んで良かったと心から思える本があったのでこちらで紹介します。どなたかの一助になれば幸いです。 初級向けデータエンジニアリング 本ではありませんが、データエンジニアリングに必要な知識がスライドやPDFに綺麗にまとまっています。初めて学ぶ方には適しています。前半のデータエンジニアリングの箇所だけ参考にして下さい。（後半はAzure製品について記載されています

LLMのRAG（外部知識検索による強化）についての調査結果が報告されています。 基本フレームワークと各構成要素の詳細、評価、そして今後の発展について言及されており網羅的です。 本記事では、その報告内容を抜粋してお届けします。 参照論文情報 タイトル：Retrieval-Augmented Generation for Large Language Models: A Survey 著者：Yunfan Gao, Yun Xiong, Xinyu Gao, Kangxiang Jia, Jinliu Pan, Yuxi Bi, Yi Dai, Jiawei Sun, Haofen Wang 所属：Tongji University, Fudan University URL：https://doi.org/10.48550/arXiv.2312.10997 本記事の関連研究：LLMにナレッジグ

ベクトルデータベースに関しては、カリフォルニアのベイエリアで明らかに"多く"の活動が行われている！また、資金調達と評価の額には大きなばらつきがあり、データベースの能力と資金調達額に相関関係がないことは明らかである。 プログラミング言語の選択 高速でレスポンスが良くスケーラブルなデータベースは、近年、GolangやRustのようなモダンな言語で書かれることが一般的である。ベクトル特化ベンダーの中で、Javaで書かれているのはVespaだけである。Chromaは、C++で構築されたOLAPデータベースであるClickhouseとオープンソースのベクトルインデックスであるHNSWLibの上に構築されたPython/TypeScriptラッパーとなっている。 興味深いことに、Pineconeも[2]、LanceDBのベースとなるストレージフォーマットであるLance[3]も、元々はC++で書かれて

変更履歴 231108 現在、Pythonのバージョンが3.12だとpipでのインストールに失敗することがあるようです。 バージョン3.10または3.11のPythonを使うのがオススメです。 詳細を記載しました。 インストールの失敗について、ご報告いただきありがとうございました。 230614 Notionデータベース作成の方法に誤りがあったため修正しました。 Firstプロパティも、Selectタイプにする必要があります。 ご指摘ありがとうございました。 前置き 私はこんな感じでNotionを使って論文の管理をしているのですが、 その際に使っているPythonプログラムをコマンドラインツールとしてまとめて、配布してみました。 その名も Papnt です。 所詮素人が作ったプログラムなので大目に見てください。 このプログラムを使った結果について、一切責任は取れません。 なにができるの？

先日Notionで外部ツールとの連携機能が正式リリースされたので、早速GitHubと連携してみました。 Synced Databases bridge the gap between different tools Notionを利用して課題に感じていたこと JCS DX推進グループでは、複数のプロジェクトのドキュメントやタスク管理でNotionを利用しています。 非常に満足しているのですが、Notion上で管理しているタスクとGitHubのPR(プルリクエスト)を同期するのが面倒という課題がありました。 NotionとGitHubを連携してみた 当記事の本題です。 連携方法はこちらの通りで非常に簡単ですが、日本語情報がないので念の為さらっと記載しておきます。 1. NotionでGitHubをアプリ登録する Notionの左上にある Settings & Members -> My co

以下の記事が面白かったので、かるくまとめました。 ・Applying OpenAI's RAG Strategies 1. はじめに「Open AI」はデモデーで一連のRAG実験を報告しました。評価指標はアプリケーションによって異なりますが、何が機能し、何が機能しなかったかを確認するのは興味深いことです。以下では、各手法を説明し、それぞれを自分で実装する方法を示します。アプリケーションでのこれらの方法を理解する能力は非常に重要です。問題が異なれば異なる検索手法が必要となるため、「万能の」解決策は存在しません。 2. RAG スタックにどのように適合するかまず、各手法をいくつかの「RAGカテゴリ」に分類します。以下は、カテゴリ内の各RAG実験を示し、RAGスタックに配置する図です。 3. ベースライン距離ベースのベクトルデータベース検索は、クエリを高次元空間に埋め込み（表現）し、「距離」に基

iCloudやGoogleドライブ、Dropboxなどのクラウドストレージサービスから、所有している物理デバイスや外部ドライブに至るまで、複数のストレージにインデックスを作成してすべてのファイルを一カ所で参照することができるファイルマネージャーが「Spacedrive」です。開発開始から1年がたち、ついにアルファ版(バージョン0.1.0)が公開されたので実際に導入してみました。 Spacedrive — A file manager from the future. https://www.spacedrive.com/ GitHub - spacedriveapp/spacedrive: Spacedrive is an open source cross-platform file explorer, powered by a virtual distributed filesyste

「データ指向アプリケーションデザイン」をベースに、24時間365日動き続けるデータシステムを実装する際に必要となる技術や考え方を紹介します。 この資料は、2023年大阪大学大学院 情報科学科 マルテメディア工学特別講義で使われた資料を一般用に修正して公開しています。 参考： 「30分でわか…

はじめに FastAPIはPythonのWEBフレームワークで、同じ分類のフレームワークとしてFlaskやDjangoなどが挙げられます。FlaskとDjangoはよく比較され、Flaskが最小限のコードで書き始められるシンプルなマイクロフレームワークと呼ばれるのに対し、Djangoはログイン機能、データベース管理などが初めから備わっておりフルスタックフレームワークと呼ばれています。 FastAPIはFlaskと似ているマイクロフレームワークで公式ドキュメントでは次のように紹介されいます。FastAPI は、Pythonの標準である型ヒントに基づいてPython 3.6 以降でAPI を構築するためのモダンで高速(高パフォーマンス)な、Web フレームワークです。[1] 本記事では、以下の内容を扱います。 特徴である型ヒントとそれにより実現できるAPIドキュメントの自動生成 SQLAlch

こんにちは！皆さんLLMで遊んでますか？ LLMと切っても切れない関係であるベクトルデータベースについて今回紹介したいと思います。ただ、ベクトルデータベースはまだデファクトスタンダードがはっきりせず、私も最初はかなり選ぶのに苦労しました。特にOSSのものは同等の頻度でコミットされていますので、それぞれが結構盛り上がっている感じですね。コミュニティの活発度もかなり近い感じです。しかし、デファクトスタンダードがないからこそ、各ツールで特色が結構出ている気がしています。今回はどのツールがどんな人に向いているのかについて詳しく見ていきたいと思います！ Pinecone ベクトルデータベースの中ではかなり知名度が高いのがPineconeです。あるツイートでのアンケートでは、利用率が 40% を占めていました。 Pineconeはクラウドのマネージサービスです。しかもローカル環境を用意する方法が無いの

基本こちらのものを TS で書き直した感じです。 ▼ langchain.js のドキュメント ▼ サンプルコードがあるレポジトリ Vectorstore の準備 まず事前準備として Vectorstore なる AI のためのデータベースを用意します。 いくつかオプションがあるのですが、私は違いがよく分かっていないのでこちらの pinecone というものを使ってみました。 正直私は具体的に Vector とはなんなのか分かっておらず雰囲気で使っています。pinecone が解説記事を書いているのでこちらを読んでみると良いかもしれません。 こちらに SignUp した後、Indexes を選択し、 Create Your First Index！ をクリックします。 Index Name に適当な名前をつけ、Dimensions には 1536 と入力します。なんか1536次元のベクトル

Python での Notion API の使い方を紹介します。 既存の Notion データベースにデータを追加、更新、削除します。 追加、更新する時に必要なデータベースのプロパティを分かりやすく引数にする方法も考えたので紹介します。 Notion データベースにプログラムでデータが入れられると使い勝手が上がりますよ。 追加される Notion データベースと追加するデータは次のリンクで紹介したものです。 データベースのリンク：『ブログ記事管理🔗』 データベースの記事：『ブログの記事を管理する(使い方)【Notionデータベース】🔗』 追加するデータの記事：『はてなブログのスターとブックマークの数を取得するアプリ【フリー】🔗』 アプリを使って自分のブログの管理をしたい方は、こちらを参照してください。 データ追加するアプリの記事：『ブログの記事を管理するNotionデータベースとデー

BookNotionではハイライトの保存のために８クリック必要でしたが、BookNotion Zではハイライトするだけで、本のタイトル、著者、ハイライトを完全に自動取得します。

はじめに ドキュメントデータベースかリレーショナルデータベース、どちらを選ぶか。 この選択で、アプリケーションのパフォーマンス、コスト、コードの可読性など幅広い影響が出るため、慎重な判断が必要です。この記事では、自分が思う「考慮すべきポイント」を解説したいと思います。 考慮すべきポイント 1. どのデータモデルがアプリケーションコードに最適か スキーマ制約を課さずに、データレコードをドキュメント（つまりJSONオブジェクト）として保存すべきか？それともスキーマを正規化してデータをいくつかのテーブルに分けるべきか？ このような判断をするために、開発しているアプリケーションのモデルの関係性（例: UserとTaskの関係が1:N）と、一度に読み込むデータの種類を見た方がいいです。 ドキュメントDBがおすすめの時 アプリケーションのデータは、以下のような木構造で表現できますか？普段そのデータを一