Dbt Labsのデータ分析ツールは、2020年まではフィラデルフィアにある小さなコンサルティング会社のサイドプロジェクトに過ぎなかった。ただ、ユーザーのエンゲージメントは当時から非常に高かった。 同社のCEOを務めるトリスタン・ハンディによると、それから5年の期間と1回のピボットを経て、このツールの有料顧客数は5000社以上、年間経常収益（ARR）は1億ドル（約152億円）以上にまで成長し、今では同社の中核事業になったという。 ハンディは、今から約10年前にデータアナリストとして不便なソフトウェアを扱うことに不満を感じたことから、その頃Fishtown Analyticsと呼ばれた企業を立ち上げた。当時は、アマゾンのRedshiftやFivetranなどのクラウドベースのデータツールが普及していたが、開発者たちはそれらを最大限に活用する方法を知らなかったため、彼はコンサルティングサービス

結論 データ部門は大福帳を中央集権的にユーザーに提供すべきでない。 なぜなら分析ユーザーの求めに応じて、大福帳を作って配布するということは、ビジネス上の本質的な課題を、テクノロジーの問題にすり替えるということであり、焼け石に水だからである。 データ分析者からの「購買と発送を横断して分析したいのですが、JOINキーは何ですか？」という質問は多い。これは、一つの購買に対してどのくらいの発送が紐づくかを理解していない、という分析者のビジネスプロセスの理解不足に由来する。 しかし、この問題を「一般ユーザーにはJOINなんてできないのだ」というテクノロジーの問題にすり替えてはならない。 JOINして渡したところで、結局は「JOINキーは何ですか？」という質問が「このカラムのNULLは何ですか？」に形を変えて繰り返されるだけである。 そしてデータ部門はこれはメタデータ整備の不足だと、またテクノロジーの

DBMS をフルスクラッチで作る Database Design and Implementation: Second Edition1 を読みながら、この本で作る DBMS(SimpleDB) を Go で実装しました。始めてからちょうど5ヶ月くらいかかりました。 去年も DBMS を自作していましたが、当時は DBMS の理論を学ばずに「この SQL が投げられたときにこういう結果を返すにはこういう実装にすればとりあえずそれっぽい動きをしてくれそう」という感じに実装していて理論的なところは何も学んでいませんでしたが、今回はちゃんと本に沿って実装したので理論・実装を体系だって学べました。 Database Design and Implementation: Second Edition (Data-Centric Systems and Applications) (English E

イベント背景 dbt自体が強力なツールであることに間違いはないが、サードパーティのツールなどエコシステムの存在は大きい 中でもdbt-osmosisは最近特に人気があり、導入企業が増えてきている dbt-osmosisというツール導入自体の障壁や運用方法をどうやっていくかなど、いざ使おうとすると考えないといけないポイントがそれなりにある 会で実現したいこと dbtを中心としたメタデータ管理に困っている方に参考になる事例をまとめて紹介する すでにdbt-osmosisを使っている企業の優れた使い方を共有し、知見を深める dbt-osmosisを話題の中心に起きつつもデータマネジメントの話題 / 課題とも紐付けて話題を広げたい 例: dbt-osmosisの入力となる根本のメタデータをどうやって継続的に入力し続けるか(data-contract) 例: dbt-osmosisで伝播したメタデー

お知らせ イベントページ内のフィードコメント投稿仕様を変更しました。今後、コメントの投稿は、イベントに参加登録（補欠・抽選を含む）しているユーザー、またはイベント開催関係者（管理者・発表者）のみ可能となります。参加登録をしていないユーザーで、イベントページに関する連絡や質問がある場合は、「イベントへのお問い合わせ」機能をご利用ください。 新機能 connpass APIに新しい機能を追加しました。「イベント資料一覧API」「グループ一覧API」を新たに追加し、「イベント一覧API」にグループサブドメインでの絞り込み機能を拡充しました。詳細な仕様や利用方法は、APIリファレンスをご確認ください。API利用を希望される方は、connpassのAPI利用についてをご覧ください。 お知らせ 2024年9月1日より、connpassではスクレイピングを禁止し、利用規約に明記しました。以降の情報取得に

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 日立製作所（日立）は、Amazon Web Services（AWS）上で構築可能な超高速データベースエンジン「Hitachi Advanced Data Binder」（HADB）のベストプラクティス構成（検証済みのシステム構成）の提供を開始した。 この構成は、「Amazon EC2」のインスタンス選定方法や、「Amazon S3」、「Amazon EBS」のボリューム構成・設定をDBデータの容量別にパターン化している。また安価なAmazon S3をDBデータ格納に利用するとともに、処理性能を向上させるため高速なAmazon EBSをDBデータのキャッシュとして利用する。これによりストレージのコストを抑えられるとしている。 この構成を

第11回 RDBMSをデータウエアハウスに使う際の性能劣化、OLTP用途との違いを理解 データウエアハウスにまつわるトラブル 今回はデータウエアハウス（DWH）導入時のトラブル事例を紹介します。DWHとは、組織内の様々なシステムから得られる大量の構造化データや半構造化データを集積し、保存するデータ処理システムです。保存されたデータはBI（ビジネスインテリジェンス）やデータ分析に活用されます。 現代のビジネス環境では、AI（人工知能）を活用した機械翻訳、質問応答、画像認識、機械学習などの技術が急速に進化しています。同様にBIツールを通じてビジネスデータを収集・整理・分析し、視覚的に理解しやすくする技術も進歩しています。蓄積されるデータの量は飛躍的に増加しています。データ管理と分析の重要性が高まる中で、膨大なデータの活用は企業や組織にとって欠かせなくなっています。 DWHの主な特徴は、データを

分散SQLiteを実現する「LiteFS」にスナップショット機能によるディザスタリカバリを提供する「LiteFS Cloud」、Fly.ioが発表 データセンターをグローバル展開し、アプリケーションプラットフォームサービスを提供しているFly.ioは、分散SQLiteを実現するLiteFSの付加機能として、バックアップとスナップショット、リカバリ機能などをマネージドサービスとして提供する「LiteFS Cloud」を発表しました。 LiteFS Cloud: now in preview. We love SQLite for distributed web apps! Introducing managed backups for LiteFS. Read more from Darla Shockley and @benbjohnson.https://t.co/nQxitx5x7d

ノーチラス・テクノロジーズとNEC、メニーコアと大容量メモリに最適化した国産の次世代インメモリデータベース「劔（Tsurugi）」発表。アーリーアクセス版公開 日本電気株式会社と株式会社ノーチラス・テクノロジーズは、NEDO（国立研究開発法人新エネルギー・産業技術総合開発機構）のプロジェクトとして開発をしてきた国産のリレーショナルデータベース管理システム「劔（Tsurugi）」のアーリーアクセス版の公開を発表しました（開発者の神林氏による解説「劔"Tsurugi"とは何か」）。 劔の最大の特徴は、メニーコア、大容量メモリといった最新のハードウェアに対して最適化されたインメモリデータベースとして最初から設計、開発されていることです。 これは、現在主流となっているリレーショナルデータベース製品の多くが10年以上前のコンピュータハードウェアの主流であったシングルコアやデュアルコアなど少数のプロセ

さがらです。 2023年7月8日に開催されたDevelopersIO 2023 Day2で、コードでデータ分析に関わる指標を管理できる「Semantic Layer」についてLookerとdbtの違いを話しました。 本記事では、このセッション内容について簡単にまとめます。 登壇内容 概要 昨今Semantic Layerの分野が注目されておりますが、Lookerもdbtも同様の機能を提供しているため、Semantic Layer自体について簡単な説明をした後、以下8つの観点でLookerとdbtのSemantic Layerの違いについて話しました。 定義の方法 指標の参照方法 クエリの最適化 キャッシュ WINDOW関数 連携可能なBIツール 連携可能なデータカタログ 各製品独自の強み この違いを述べたあと、どういう考え方でSemantic Layerの製品を選定すればいいのか、3つの考

Another year has gone by, and I’m still alive. As such, it is an excellent time to reflect on what happened in the world of databases last year. It was quiet in the streets as the benchmark wars between DBMS vendors have quieted down. I had fun writing last year’s retrospective, so I am excited to share with you the things that stand out from 2022 and my thoughts on them. Big Database Funding Has

ウィスキー、シガー、パイプをこよなく愛する大栗です。 2022年5月に Google I/O 2022 で新しいデータベースである AlloyDB for PostgreSQL が発表され、プレビューとして使用できていましたが、一般提供（GA）になりました！ AlloyDB for PostgreSQL の一般提供開始を発表 Announcing the General Availability of AlloyDB for PostgreSQL AlloyDB for PostgreSQL release notes - December 13, 2022 AlloyDB AlloyDB の概要について、改めてご紹介します。詳細については発表時のブログを御覧ください。 AlloyDB for PostgreSQL は要求の厳しいエンタープライズ データベース ワークロードに対応するフルマ

はじめに データベース設計のER図について、自動で生成する以下３つのツールを比較した記事です。 dbdiagram.io DBeaver A5:SQL Mk-2（A5M2） 先日、こちらの記事をQiitaに投稿したところ、多くの方に記事を見ていただき、コメントも多数いただきました。 ER図に関するお勧めのツールをコメントいただく方が多くいらっしゃいました。 今回はその中から、無料でも利用できる3つのツールの「ER図の自動生成」の機能を試します。 比較の結論としては、〇〇が一番良いという感想ではなく、どのツールも多機能で、できることは違うので、今後使うときは用途や業務の環境によって使い分けていけたらと思っています。 目次 それぞれのツールについて、下記の内容を書いていきます。 1. dbdiagram.io 1-1. 始める 1-2. 使う 1-3. 感想 2. DBeaver 2-1. 始

こんにちは。ZOZOTOWN開発本部 バックエンド1ブロックの山本です。普段はZOZOTOWNのバックエンドやマイクロサービスAPIなどの開発に携わっています。 ZOZOTOWNは膨大なデータを有しており、テーブルやカラムの数も膨大です。しかし、ER図やテーブル定義に関するドキュメントは手動で更新されていたため情報遅れが生じ、信頼性が低いものとなっていました。 本記事ではその問題を解決するための取り組み、「データカタログ作成プロジェクト」について紹介します。 目次 目次 データカタログとは Dataedo dbdocs 背景・目的 課題の解決手段 内製したソフトウェアのアーキテクチャと基本機能 ER図作成UI 利用実績に基づく仮想外部キーの作成、カーディナリティの推定 リレーションシップを持っているテーブルペアの洗い出し 1:N or 1:1の推定 0以上か1以上の推定 リレーションシップ

データモデリングである Data Vault 2.0 をベースに作られた dbtvault パッケージを使い、 BigQuery に分析用のテーブルやビューを作成する手順をまとめた本になります。 dbt に関する説明は含まれておりませんので、詳しく知りたい方は下記をご参照ください。 https://zenn.dev/dbt_tokyo/books/537de43829f3a0 https://zenn.dev/foursue/books/31456a86de5bb4

ウィスキー、シガー、パイプをこよなく愛する大栗です。 Cloudflare は今週を Platform Week と題して、様々な発表を行います。その発表で Cloudflare のエッジ側で SQL データベースが発表されました！ D1 とは？ D1 は Cloudflare のグローバルネットワーク上で動作する SQLite で構築されたサーバーレスな SQL データベースです。D1 は Cloudflare Workers 向けに設計されています。 D1 は一つの場所で状態を保存して、ユーザーがいる近くの場所に読み取り専用クローンを作成して変更の状態を最新に保つという動作をするそうです。これは全世界 ２７０ 以上の都市にある Cloudflare の拠点を利用でき、非常に高速なデータアクセスを可能にするのではないでしょうか。 また、D1 を使用してコードを記述する場合は以下のようにな