Developers Summit 2025 登壇資料

概要 去年の5月に発表された Cloudflare D1。去年11月の段階でオープンアルファ版として使用できるようになっています。 今回は、そんな D1 についてどんなものなのかをまとめていきます。 Cloudflare D1 とは D1 とは、CDN のエッジロケーション上で動く Cloudflare のエッジデータベースサービスです。 Cloudflare には AWS でいうところのリージョンの概念がなく、285以上のエッジがマスターとなります。 このマスターたちでマルチクラスター構成をとり、リレーショナルデータベースを作ることができるサービスなのです。 ちなみに、Cloudflare が提供している Cloudflare Workers や Cloudflare R2 などのサービスも同じように分散されたエッジロケーション上で実行されています。 利用方法としては、Cloudflar

〜Twilog・Togetter統合の舞台裏〜 by 吉田俊明、青山民人｜トゥギャッター株式会社 Twilog https://twilog.togetter.com/ Togetter https://togetter.com/

先日、社内有志で開催していたDB自作本 Database Design and Implementation の輪読会ならぬ輪実装会がついに完結を迎えました。 RDBMSをゼロから、毎週一人ずつ、1章分を実装してPullRequestを出しつつ資料も準備して発表をこなすという一見ハードな勉強会で、完走できるか不安もありつつスタートしましたが、やってみるとめちゃくちゃ楽しく最後まで完走できました。 本記事ではみなさんに「うちでもやってみたい」と思ってもらえることを願って、読んだ本の推しポイントや、どのように勉強会を進めたかを紹介したいと思います。 感動で涙の出るコード Part1: おすすめポイント 本が良い みんなでワイワイやるのが良い 3ヶ月で完走できるのがいい 完走後のモチベーションアップが良い Part2: 輪実装会 募集 参加者 進め方・実装 期間 Part3: おれたちのDB実装

MySQL は、データを行と列を含むテーブルとして保存できるリレーショナルデータベース管理システムです。多くのウェブアプリケーション、動的な Web サイト、組み込みシステムを支える人気のシステムです。PostgreSQL は MySQL よりも多くの機能を提供するオブジェクトリレーショナルデータベース管理システムです。これにより、データ型、スケーラビリティ、同時実行性、およびデータ整合性がより柔軟になります。 MySQL について読む » PostgreSQL について読む » PostgreSQL と MySQL はどちらもリレーショナルデータベース管理システムです。これらは、共通の列値を介して相互に関連するテーブルにデータを格納します。例を示します。 ある会社では、顧客データを Customers という名前のテーブルに customer_id、customer_name、custo

key-value storeを設計するにあたって,リカバリのためにwalを設計するとします。walを可変長にしたい場合,各wal recordにrecord長を表すheaderをつけるような実装が素直な実装の一つとしてあると思うのですが,wal recordを格納しているファイルが破損し,あるwal recordのheader部分が信頼できなくなった場合,各recordの長さがわからなくなってしまうため当該wal record以降のすべてのwal recordが信頼できなくなるような弱点があるように思えるのですが,この問題はうまく回避できるのでしょうか 前提として世の中にあるデータベースは基本的にログファイルが破損する事を想定していません。ログは信頼できるストレージに複製込で保存されており、化けたり消えたりする事はないという前提を置いています。想定する一番大きな障害でもMedia Fai

Google Cloud のサービスは、Google が長年にわたって構築してきたグローバルネットワーク、そして、世界各地のデータセンターによって提供されています。これは、Google 検索をはじめとするさまざまな Google のサービスを支えるインフラでもあり、その上では、Google 独自の技術を活用したさまざまなミドルウェアが稼働しています。 Google のエンジニアは、自分たちが開発した技術の詳細を論文として公開しており、これまでに公開された論文は、Google の研究チーム、Google Research の Web サイトにある Publication Database で検索できます。このブログシリーズでは、次の4つの分野に分けて、Google Cloud の技術に関連の深い論文を紹介していきます。 分散処理基盤（コンテナ技術）とデータセンター ネットワーク技術 データベ

PostgreSQLには、用途や環境に応じて様々な構成を組み、最適なパフォーマンスで動作させられるよう、設定ファイルpostgresql.confに多くのパラメーターが存在します。そのパラメーターを正しく設定し調整を行うためには、PostgreSQLのアーキテクチャーを理解する必要があります。ここでは、押さえておきたい、PostgreSQLの基本的なアーキテクチャーについて説明します。なお、この記事で対象にしているPostgreSQLのバージョンは9.5以降です。 1. PostgreSQLの基本構成 PostgreSQLの基本的な構成について説明します。はじめに、主なプロセス、メモリー、および、ファイルについての構成図を示します。 図1 PostgreSQLの基本構成 PostgreSQLを構成する主なプロセス、メモリー、ファイルについて、その用語と概要を説明します。 リスナープロセス

この記事は、LayerX Tech Advent Calendar 2022 7日目の記事です。 Enabling Team エンジニアの @yyoshiki41（中川佳希）です！ 直近チームで、 ORMフレームワークである ent を使う機会があり、 そこで利用している Atlas というデータベースマイグレーションエンジンについての紹介です。 ent ent の詳細な説明は省略しますが、以下のような特徴があります。 Go 用の ORM フレームワーク Go で Schema を記述し、コード生成を行う コード生成により、静的型付けされた明示的なAPIを実現 アプリケーションの中で扱いやすいようモデリングした Schema とそのリレーションを定義可能 e.g.) Edges で、エンティティ間のリレーションを表現 Eager Loading, Hook, Privacy レイヤなどの拡

You can execute database transactions using an sql.Tx, which represents a transaction. In addition to Commit and Rollback methods representing transaction-specific semantics, sql.Tx has all of the methods you use to perform common database operations. To get the sql.Tx, you call DB.Begin or DB.BeginTx. A database transaction groups multiple operations as part of a larger goal. All of the operation

リレーショナルデータベースシステムを趣味で開発している者です。 現在、開発中のシステムを並行トランザクションへ対応させることを検討しており、どのような手法があるのか調べたところ、SS2PLもしくはS2PLという手法が私と同じように自作をされている方々の中では多く採用されているようだと分かりました。 一方で、PostgreSQLやMySQLなどのプロダクションレベルで利用されているシステムではMVCCと呼ばれる手法が採用されているということも分かりました。 きっと後者の方が多くの場合で高いスループットが得られるということなのだと思うので、可能であればMVCCを採用したいのですが、あまり初学者向けの実装例も見当たらず、どうしたものかと悩んでおります。 SS2PL/S2PLとMVCCの実装の難易度・工数はどの程度違うものなのでしょうか？ また、初めてリレーショナルデータベースシステムを開発する者

※この投稿は米国時間 2023 年 2 月 7 日に、Google Cloud blog に投稿されたものの抄訳です。 データベースへの接続は、新しいアプリケーションを設定するうえで最も難しい部分のひとつです。Google 以外にも、正しい接続文字列を作成しようと何日も費やした後に、「ここにデータベースのパスワードを平文で入れればいいのか？」と自問したデベロッパーがたくさんいるはずです（ちなみに質問の正解はノーです）。 Cloud SQL は、Google Cloud Platform で提供される MySQL、PostgreSQL、SQL Server 用のフルマネージド リレーショナル データベース サービスです。これを使用すれば、Cloud SQL コネクタを使用して簡単に接続できます。 コネクタの導入前 Google Cloud では、新しい Cloud SQL データベースを数分

Define database schemas in declarative code. Use HCL, SQL or any ORM or language. Supports all popular ORMs, such as GORM, Sequelize, Django, SQLAlchemy, Hibernate, and more. Test your schemas and migrations using the Atlas testing framework.

AI & MLLearn about artificial intelligence and machine learning across the GitHub ecosystem and the wider industry. Generative AILearn how to build with generative AI. GitHub CopilotChange how you work with GitHub Copilot. LLMsEverything developers need to know about LLMs. Machine learningMachine learning tips, tricks, and best practices. How AI code generation worksExplore the capabilities and be

あけましておめでとうございます！ 今年は異世界放浪メシのアニメが放送されるらしいので楽しみなバックエンドの原田 (tomtwinkle)です。 内部で運用しているSQLレビューチェックリストの一部を抽出し思いつきで追記して行った結果、結構な分量になってしまいました。 暇な時でも流し読みして頂けるとありがたいです。 Motivation SQLレビュー観点 大きくSQLが変更される修正の際にはEXPLAINをレビュー内容に加える 検索のキーにINDEXを使用しているか SQL発行回数がN+1(1+N)の構造になっていないか サブクエリを利用したSQLはパフォーマンス要チェック Viewの利用は基本的に禁止 CROSS JOINは禁止 WHERE句で十分に絞った検索をしているか 必要なcolumnだけSELECTしているか レコード数だけ必要な場合にCOUNT用のSQLを発行しているか 集計関

「GCPUG Shonan vol.74」で使用予定のスライドです。 https://gcpug-shonan.connpass.com/event/243711/

※この投稿は米国時間 2021 年 9 月 16 日に、Google Cloud blog に投稿されたものの抄訳です。 今後データベースにパッチを適用する必要が一切なくなると想像してみてください。本番環境のデータベースを停止してオペレーティング システムを更新したことがある方なら、パッチ適用は手間のかかる作業であることをご存じのはずです。Cloud SQL を使用している場合、Cloud SQL が代わりにデータベースを定期的にメンテナンスしてくれるので、この面倒な作業をタスクリストから消し去ることができます。しかし、メンテナンスではどのような作業が行われ、完了までにどれくらい時間がかかるのでしょうか。 このブログシリーズの 1 回目では、ユーザーのインスタンスの最適な動作を維持するため、メンテナンスが Cloud SQL の他のシステム更新とどのように組み合わせられているのかをご紹介し

NoSQLデータモデリング技法.markdown #NoSQLデータモデリング技法 原文：NoSQL Data Modeling Techniques « Highly Scalable Blog I translated this article for study. contact matope[dot]ono[gmail] if any problem. NoSQLデータベースはスケーラビリティ、パフォーマンス、一貫性といった様々な非機能要件から比較される。NoSQLのこの側面は実践と理論の両面からよく研究されている。ある種の非機能特性はNoSQLを利用する主な動機であり、NoSQLシステムによく適用されるCAP定理がそうであるように分散システムの基本的原則だからだ。一方で、NoSQLデータモデリングはあまり研究されておらず、リレーショナルデータベースに見られるようなシステマティック

自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかりだと思いますが、急激にデータスケールが増大してしまったりすると環境に開発者の意識が追い付かないこともあるかと思います。 そういったケースで参考にできるかもしれません。 弊社は基本的にAWSによって運用されているので、AWSを前提にした様なキーワードやサービス名が出てきます。後、句読点があったり無かったりしますが、ご容赦ください。 追記: 社内用の資料の編集なのでかなりハイコンテキストな内容だから誤解するかもしれませんが、これらはそもそもRDBの話ではありません。(関係無くは無いけど) 1000万オ

一歩ずつ一歩ずつ前へ進んでいく、確実に。どうも、かわしんです。 到底 1 記事に収まるような内容ではなく長いので、トランザクションの作り方に興味のない方は途中の「なぜ Go なのか」まで読んでいただければ嬉しいです。 この記事は、Go2 Advent Calendar 2019 の 7 日目と セキュリティキャンプ 修了生進捗 #seccamp OB/OG Advent Calendar 2019 の 7 日目を兼用しています。 さて、僕の興味は必要になったライブラリやミドルウェアなどを自作して、作りたいプロダクトを完成させることです。必要なコンポーネントがないからといってプロダクトを作るのを諦めたり妥協したりはしたくありません。 多くのアプリケーションではデータベースは重要なコンポーネントです。大抵のアプリケーションは MySQL や Postgres、Redis など既存のデータベース