こんにちは、松尾研究所 データサイエンティストの浮田です。この記事は、松尾研究所Advent Calendar 2025の記事です。 RAG (Retrieval-Augmented Generation) と聞くと、「ベクトルDBを構築する」という話に意識が向きがちです。もちろんベクトルDBはRAGの基盤になる重要な要素ですが、実際に使われるRAGプロダクトを作ろうとすると、ベクトルDB構築以外にも様々な工夫が必要となります。 本記事では、私が実務でRAGプロダクトを構築する中で遭遇した様々な障壁とその対応を紹介します。 プロダクト概要：社内プロジェクト検索ボット 松尾研究所は様々な企業様と共同でプロジェクトを進めています[1]。過去・現在を含めて多くのプロジェクトがあるため、自分が担当していないプロジェクトの理解はどうしても浅くなってしまいます。もちろんお互いのプロジェクトを共有する活

この記事は「 本番環境などでやらかしちゃった人 Advent Calendar 2025」の1日目です。 はじめに 「慣れてきた頃が一番危ない」 あれ、ほんとです。 当時の私は作業にも環境にも慣れてきて、油断が出始めていました。 「いつもの作業だし、サクッと終わらせよう」 完全にそんな気持ちでした。 何が起きたのか ECサイトの保守運用をしていた頃のことです。 本番／検証（STG）／ローカルの3環境でphpMyAdminを使っており、 なぜか3つとも同じテーマ・同じ色・同じUI。 ローカル 検証 仮に言えばこんな状況。 「URLをよく見ないと、どこで作業してるかわからない」 そんな、今思えば事故るためのレールはピカピカに敷かれた状態でした。 本来やる予定だった作業＆何を間違えたのか やりたいことは単純です。 STGのDBをエクスポートしてそれをローカルに流し込む。 こんなものは、お腹が空い

システムを運用していると時折直面するのが「移行作業」です。 新しい技術に触れられるのは楽しいです。一方、大量のコードの書き換えはちょっと辛いですよね。単純な置換で済めばよいのですが、そううまくはいかないことがほとんどです。 今回はこの書き換えを Claude Code を活用して楽に、精度良く実施したお話です。 データ基盤チーム/Unit9（エビデンス創出プロダクトチーム）エンジニアの坂元です。このブログはデータ基盤チーム/Unit9 ブログリレー 1 日目の記事です。 背景 はじめの一歩 独り立ち そして検証も… できたこと 残った課題 細かい工夫 全文読んでから対応すること セルフレビューしてもらう まとめ We are hiring! 背景 エムスリーのデータ基盤（BigQuery）上では数多のデータパイプラインが稼働しています。今回はそのうちの一部を dbt (data build

ユーザなどのリソースエンティティのパージするわけではないデータ削除(a.k.a. 論理削除)をどう設計するか、は単純でありながら、イミュータブルデータモデルの基本形を学ぶ良い題材なので、順を追って説明する。 リソースの検討 まずユーザがアクティブなユーザと削除されたユーザで扱いが異なるかどうかを考える。この段階で物理設計としてどうするかを考えると検討ポイントが十分考慮されないことにつながるので注意しよう 。(イミュータブルデータモデル#5e3a5f1da8e5b200009c0499) 扱いが異ならない場合を考えてみよう。 code: (mermaid) classDiagram direction LR class ユーザ { <<Resource>> ユーザID : SERIAL PK 名前 : VARCHAR メールアドレス : VARCHAR ユーザ区分 : ENUMアクティブ/削

生成AIモデルと他のツールをつなぐためのプロトコル「モデル・コンテキスト・プロトコル(MCP)」に脆弱(ぜいじゃく)性があり、アクセストークンなど機密性の高い情報が漏れてしまう可能性があることがわかりました。これは、モデルが悪意のある指示とそうでない指示を見分けられないために起こります。 Supabase MCP can leak your entire SQL database | General Analysis https://www.generalanalysis.com/blog/supabase-mcp-blog AIモデルとツールをつないでユーザーの指示を遂行する場合、MCPというプロトコルで情報の橋渡しが行われることがあります。この際、モデルからモデルへ渡されるシステムプロンプト、ユーザー指示、データコンテキストは、すべてテキストとしてLLMに提供されます。ここで問題になる

PostgreSQL開発チームは先月（2025年5月）にリリースした「PostgreSQL 18 Beta 1」で非同期I/O処理を実装したことを明らかにしています。 同チームのテストによると、シーケンシャルスキャンやビットマップヒープスキャン、バキュームといった処理において2～3倍の性能向上が見られたとのことです。 同期処理はシンプルだが待ち時間が発生する これまでのPostgreSQLは同期I/O処理を採用していました。これは例えばOSにファイルリードのようなI/O処理を依頼すると、処理が終了して結果が返ってくるまで、すべてのPostgreSQLの内部処理が一時停止することを意味します。 同期I/O処理の利点はすべてのI/O処理が同期的に行われるため、実装が比較的シンプルで容易だというメリットがあります。これはバグを引き起こしにくいとも言えます。 一方で、ひとつひとつのI/O処理が完了

知識グラフ×LLMで自然言語分析してみたを勉強会で発表してみたところ、参加者の方から『そもそもグラフDBって何がいいの？』とコメントをいただき、改めて整理してみました。 RDBMSしか使ったことない方向けに、グラフDBの基本的な価値や使いどころをまとめています。図解多めで書いたので、ご参考になれば。🙏 はじめに 「知識グラフ・グラフDB面白いよ！」って言われても、「うん、それで？🤔」ってなりますよね。 私も最初はそうでした。でも使ってみると「あ、これは確かに便利かも」と思える場面に出会えました。 この記事では「グラフDBって実際何に使えるの？」という素朴な疑問に、具体例を交えて答えてみたいと思います。 グラフDBの良いところ 1. 「つながり」を扱うのが上手 例えば、こんな場面で力を発揮します： 「友達の友達を探したい」（SNSでよくありますよね） 「この商品を買った人は、他に何を買っ

☀️ はじめに 最近 「Database Design and Implementation」 という技術書を読みました。 本書は、一般的なDBMSについての設計パターンを概説しつつ、その一つのパターンをJavaで実装するというものです。 しかし、ただJavaのサンプルをそのまま動かすのでは味気ないので、今回は Go で書き直しています。 実装する機能はごくシンプルに絞っていますが、実際に自作することで「DBMSが内部で何をしているのか」が肌感覚でわかり、非常に勉強になりました。（まだ一部実装しきれていない部分はありますが...） 📝 実装した内容 この書籍では、DBMSの設計における複数の実装パターンを解説したうえで、そのうちの1つを実際に作るという構成になっています。おかげで、シンプルなDB機能を一通り体験しながら理解を深めることができました。今回実装した機能の一部を挙げると、次のと

少し、いやだいぶ時間が経ってしまったのですが、YAPC::Hakodate 2024で登壇してタイトルの話をさせていただきました。資料は以下です。 speakerdeck.com ごく一般的なWebエンジニアならエンジニア人生で一度か二度あるくらいだろうサービスリニューアル、それに伴うデータ移行を、どういう因果か大きいもので3回も経験することができたので、その3回でどういうことを学び、どういう改善をしてきたか、という話をしたつもりです。したつもりですというのは、あまりうまく話せなかったなという反省があり、もしかしたら伝わっていないかもなと考えているからです。ちなみに「大きいもので3回」と書きましたが、細かいものや前職のものを含めると6回くらいはありそう。それだけリニューアル系の仕事に関わることができているので、振り返ってみるとラッキーだなとも思います（これは本当に思っている）。 ということ

はじめに はじめまして、さかがみ かずと(@_skgm092)です。 今回は自分がお手伝いしているプロジェクトで、本番DBへのアクセス作業中に発生したトラブルについて記録します。 自分の失敗を公開することは恥ずかしいものですが、同じような事故を防ぐための参考になればと思い、共有することにしました。 自分のしかばねを糧にして、皆様は同じ失敗をしないようにしてください。 トラブルの概要 起きてしまったこと 担当プロジェクトはコアタイムがPM10-AM03頃のSNSサービスでした。 サービスの主要機能が完全に機能停止する事態が発生し、コアタイムの大部分を緊急メンテナンスで停止せざるを得ない状況となりました。 どんな作業で発生したか マスタデータを含むテーブルの列を書き換える作業中に発生しました。 具体的には、とあるマスタデータのJSON型の列を全てブランク値で上書きしてしまいました。 何が問題だ

DDD以外の設計手法についてご教示いただきたく、DDDの主張をある程度正確に理解した上でDDDをこき下ろしているイメージの強いくまぎさんに質問させていただきました。 最近はソフトウェアの設計について調べると、DDDについての記事ばかりで辟易する一方、私がエンジニアになった頃にDDDに勢いがあった影響もあって私自身DDD以外の良い設計とされているものを知らず、DDDに胡散臭さを感じつつもDDDの考え方にとらわれている、毒親の影響を受けた子供のような状態から抜け出せずにいます。 その最たる例がリポジトリパターンです。 よく依存性の逆転・DIと一緒に語られますが、くまぎさんがおっしゃる通り余計にインターフェースを切るのはイケてないと感じます。また、DI抜きにしても、リポトリパターン由来の様々な問題（N＋1やバルクアップデート、管理画面用のメソッド生やしたくなる問題など）に対する解決策として提示さ

YAPC::Hakodate 2024 https://fortee.jp/yapc-hakodate-2024/proposal/a2e39821-a91c-4d10-9db7-1e4d624d47ff

こんにちは。 株式会社ラクスで先行技術検証をしたり、ビジネス部門向けに技術情報を提供する取り組みを行っている「技術推進課」という部署に所属している鈴木（@moomooya）です。 ラクスの開発部ではこれまで社内で利用していなかった技術要素を自社の開発に適合するか検証し、ビジネス要求に対して迅速に応えられるようにそなえる 「技術推進プロジェクト」というプロジェクトがあります。 このプロジェクトで「PostgreSQL環境における、DB定義変更を伴う無停止リリース」にまつわる検証を進めているので、その中間報告を共有しようかと思います。 ※本記事はタイトルに「概要と計画」編とあるように、通年で行う調査の前半時点の中間報告となります。 実際の検証結果については3月末に予定している後編をお待ち下さい。 課題の経緯、前提条件 課題の経緯 無停止リリース実現のモチベーション 前提条件 実現手法 候補に上

先日、社内有志で開催していたDB自作本 Database Design and Implementation の輪読会ならぬ輪実装会がついに完結を迎えました。 RDBMSをゼロから、毎週一人ずつ、1章分を実装してPullRequestを出しつつ資料も準備して発表をこなすという一見ハードな勉強会で、完走できるか不安もありつつスタートしましたが、やってみるとめちゃくちゃ楽しく最後まで完走できました。 本記事ではみなさんに「うちでもやってみたい」と思ってもらえることを願って、読んだ本の推しポイントや、どのように勉強会を進めたかを紹介したいと思います。 感動で涙の出るコード Part1: おすすめポイント 本が良い みんなでワイワイやるのが良い 3ヶ月で完走できるのがいい 完走後のモチベーションアップが良い Part2: 輪実装会 募集 参加者 進め方・実装 期間 Part3: おれたちのDB実装

MySQLやPostgreSQLといったRDBMSからデータを引いてくるとき、扱うデータの規模によっては、1000件ずつLIMITをかけて順に引いていくということがある。 以前slow queryが出たらよくやっていたのを思い出して、ふとこのあたりってどういう根拠があってやっているのだっけ、自分が知っている他に効能があったりするのかな、と思ってSlackに書き込んだところ、同僚の id:onk に教えていただいた。その内容に加えて軽く調べた内容をまとめてみる。 Web系の話です。みなさまの知見がありましたら教えてください。 TL;DR 刺さる*1から 刺さったら困るから あたりまえ 詳細 もともとSlackに書いた原文は以下の通り(MySQL前提で書いているけどPostgresといった他のRDBMSにも適用できる話。): DB引くとき、Perl時代(？)によく1000件単位でchunkin

While SQLite provides a certain number of date functions, I wanted something more. So I've created sqlean-time — a high-precision date/time extension with a structured API and a rich set of functions. Note. Adding extensions to SQLite is a breeze. Download a file, run one database command — and you are good to go. Concepts • Creating values • Extracting fields • Unix time • Time comparison • Time

ばおーばおーばおーばおー（法螺貝の音）。 はい、というわけでお約束していたクラウド戦国時代の話だよ。合戦物はいくつになったって男の子は大好きなものさ！ ああ別に女の子も見ていっても大丈夫だよ。グロ画像とか出ないから。いやちょっと出るかな。 クラウドベンダーの市場シェアさて、それでは始めよう。まずはビッグピクチャーをつかむために基礎的な数値から押さえておきたいと思う。ここら辺ができるコンサルっぽいね。クラウドベンダの市場シェアを見てみよう。 2024年1Qのクラウドベンダーの市場シェアこのグラフを見て驚くのは、まずAzureの躍進である。もう来年にはAWSを抜くのではないかという勢いだ。Google Cloudも健闘している。実数ではまだまだだが、伸び率は非常に良い。しかし今日の主役はこの二社ではない（関係はするけど）。シェアで見ると――申し訳ない言い方だが「ゴミ」にしか見えない――Orac

UUIDs are often used as database table primary keys. They are easy to generate, easy to share between distributed systems and guarantee uniqueness. Considering the size of UUID it is questionable if it is a right choice, but often it is not up to us to decide. This article does not focus on "if UUID is the right format for a key", but how to use UUID as a primary key with PostgreSQL efficiently. P