4.2.1 Shardingの手法 先ほどの表1を理解するにはSharding手法の列にあげられた各用語の理解が必要となる。 YugaByteDBのブログ「Four Data Sharding Strategies We Analyzed in Building a Distributed SQL Database」には、非常に詳しくShardingの手法が紹介されている。この記事では、大きく以下4つの分類があるという。 Algorithmic Sharding (例: Memcached/Redis) Linear Hash Sharding (例: 過去のCassandra) Consistent Hash Sharding (例: DynamoDB、Cassandra) Range Sharding (例: Spanner、HBase) 詳細は割愛するが、1つ目のアルゴリズム・シャー

Google Cloud Spanner 沼への誘い Basic GCPUG Admin Google Developers Expert Mercari / Merpay Solution Team @sinmetal

2021/7/16にCloud Native Database Meetup#1の発表資料です。

アプリ開発者、DB 管理者視点での Cloud Spanner 活用方法 | 第 10 回 Google Cloud INSIDE Games & Apps Online

本記事では、Cloud Spanner を初めて使う場合にハマってしまいがちなポイントを、クイズ形式でまとめてみました。Cloud Spanner を適切に使うために、思わぬ落とし穴にはまらないように、参考資料などにも目を通してください。 Cloud Spanner とは？？Cloud Spanner は、スケーラビリティと強整合性を兼ね備えた、エンタープライズレディーなデータベースです。急峻なスパイクに対しても瞬時に DB の性能を変更できるため、API サーバに近い感覚で、DB をスケールアウト、スケールインさせることが可能です。 そんな Cloud Spanner ですが、うまく使いこなすためには、Cloud Spanner の特性を考慮した設計が必要になります。Cloud Spanner では、うまくデータを分散させつつデータローカリティもうまく使う必要があり、そのためには、スキー

Cloud Spanner は完全に管理されたミッションクリティカルなリレーショナル データベース サービスであり、グローバルなスケールでのトランザクション整合性、スキーマ、SQL（拡張機能を含む ANSI… ただドキュメントを見てもID生成器のことなどを理解していないと、いざ設計するとき苦労するかと思い記載しました。ドキュメントの補足資料として読んでいただけたら幸いです。 Cloud Spannerの特徴特徴を簡単に記載しますと ノード、スプリットで構成されている。レコードデータはスプリットに配置される。どこに配置するかはレコードの主キーに依存する。レコードの増減に応じてCloud Spanner側で自動で(1)どのレコードをどのスプリットに配置するか。(2)スプリットの数 をコントロールするレコードをどのスプリットの配置するかはレコードの主キーの値に依存する分散されたスプリットにアクセ

こんにちは、メルペイのバックエンドエンジニアの @kazegusuri です。 メルペイではメインのデータベースとしてGoogle Cloud Spannerを利用しています。 マイクロサービスによっては秒間数千リクエストをSpannerで処理しています。 いかにSpannerをスケールできるようにして安定させられるかが会社全体として重要になっています。 本記事では数ヶ月間戦ってきたSpannerのレイテンシが高くなる問題とその解決法について紹介したいと思います。 社内への調査報告も含めて書いているため、かなり詳細で長い内容になっています。 なおこの問題の大部分はGoでSpannerを使ったときにだけ発生する問題のため、Javaなどの他の言語では該当しない可能性があります。 CreateSession問題 ここで紹介しなくても良いくらい基本的なところですが、CreateSessionが非常

本記事は Google Cloud Platform その２ Advent Calendar 2018 の4日目の記事です。 はじめにCloud Spanner はトランザクションの一貫性保証のレベルに External Consistency を採用しており、複数のトランザクションが一貫性のある状態で並行に走れるよう制御されています。 ではその一貫性保証とは、具体的にどのような問題 (Anomaly) を防いでくれるのでしょうか。 本記事では、一貫性保証のレベルが弱い時に起こりうる以下の様々な Anomaly を Cloud Spanner ではどのように防いでくれるか、実際に複数のトランザクションを実行して検証していきたいと思います。 Dirty ReadLost UpdateNon-repeatable ReadPhantom ReadRead SkewWrite Skewこれらの

こんにちは、メルペイのバックエンドエンジニアの @kazegusuri です。 メルペイではクラウド環境としてGoogle Cloud Platform(GCP)を採用しています。 そしてデータストレージとしてほとんどのマイクロサービスでGoogle Cloud Spannerを採用しています。 SpannerではMySQLのようなRDBMSとは全く異なるスキーマ設計や実装が必要となるため、日々試行錯誤しながらサービスの開発を行っています。 本記事ではサービス開発中に開発したSpanner用のコード生成ツールのYoについて紹介したいと思います。 xoについて Yoについて説明する前にYoの元になった xo について紹介します。 xoはMySQLだけでなくPostgreSQLやOracleなどの複数のデータベースに対応したコード生成ツールです。 今までGoでデータベースを扱うために data

このブラウザ バージョンのサポートは終了しました。サポートされているブラウザにアップグレードしてください。

今年のNext報告会たち 07/30 Mercari Google Cloud Next 2018 わいわい報告会 08/01 リクルート Google Cloud Next ’18 Recap/報告会 08/03 TOPGATE Google Cloud Next '18 報告会 08/17 GCPUG Google Cloud Next 2018 Extended BigData & ML Day 08/17 GCPUG Google Cloud Next 2018 Extended in Fukuoka 08/23 GCPUG 酔いどれGCPUG Next報告会 08/24 GCP...

Last update: 2018/7/5 Google Cloud でゲーム担当をやっているサミールです。 本日のトピックは私が大好きな Cloud Spanner となります。Cloud Spanner は GCP のフルマネージド・グローバルスケール・リレーショナルデータベース・サービスです。Cloud Spanner は裏では NoSQL でよくある分散データベースですので、NoSQL の特性を提供しております。 HA (高可用性）水平方向のスケーラビリティ（動的にダウンタイムなしにノードの追加・削除が可能）なお MySQL のようなリレーショナルDB と同じ特性も提供しております。 スキーマ強整合性SQL クエリ（ANSI 2011）言い過ぎかもしれないが、マルチマスターの MySQL というイメージで良いと思います。 注意点：Cloud Spanner は MySQL 互換では

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? クックパッドの新規サービスKomercoを設計した@1amageekです。 クックパッドの新規サービスKomercoはTechConfでも発表した通り全てサーバーレスで開発されています。サーバーレスの利点や開発におけるメリットはこの資料に説明しているので、今日はFirestoreについて深く説明したいと思います。また、Firestoreのざっくりした説明に関してはこちらをご覧下さい。 Cloud Firestoreは進化したFirebase Realtime Database Firebase RTDB + GCP datastore

1. 超実践 Cloud Spanner 設計講座 知ってることを全て紹介します！ Proprietary Samir Hammoudi aka サミール クラウドカスタマエンジニア JULY 21, 2017 2. Cloud Spanner とは？ Google のマネージド・スケーラブル・リレーショナルデータベース・サービス 完全マネージドのグローバルスケールで DB サービス1 2 3 4 ゾーン間・リージョン間の自動 synchronous レプリケーション スキーマ、ACID トランザクション、SQL Google内部では、既に５年以上の運用経験 (AdWords, Google Play…) 3. 注意事項：Cloud Spanner ≠ MySQL Cloud Spanner は MySQL の単なる置き換えではない ● スキーマは似てるが、分散データベースのため、MySQ

こんな記事が目に入った。 www.itmedia.co.jp 大雑把に完全に間違ったことを言っているわけでもないが、読んでいくといろいろ鼻につくところがあり、どのあたりから間違っているのかと自分に問いただすのは現時点での自分の知識を棚卸しするためにも有用かも知れないと思ったので一言一句漏らさず思うところを書いていこうと思う。 中には枝葉末節な難癖もあるので全部を真に受けない感じで読んで欲しい。 Cloud Spannerの特徴は、これまでリレーショナルデータベースで不可能とされていた「トランザクション処理の大規模分散処理」を実現したところにあります。 単一のトランザクション処理を分散して実行しているかというと、Spannerはトランザクションごとに担当のトランザクションマネージャがそのトランザクション処理全体を取り仕切って行う仕組みになっている。なので「トランザクション処理の大規模分散処理

グローバルなOLTPを可能にするグーグルのRDBサービス、「Cloud Spanner」とは：Google Cloud Next 17で知るグーグルのクラウド（2） 米グーグルは2017年5月16日（米国時間）、パブリッククラウドサービスGoogle Cloud Platformで、リレーショナルデータベースサービス「Cloud Spanner」の本格提供を開始した。本記事では、2017年3月に開催されたGoogle Cloud Next 17のセッションと、2017年5月に発表された論文から、Cloud Spannerとは何かをあらためて紹介する。 米グーグルは2017年5月16日（米国時間）、パブリッククラウドサービスGoogle Cloud Platformで、2017年2月にパブリックベータテストを開始していたリレーショナルデータベースサービス「Cloud Spanner」の本格提

7. Cloud Spannerとは - Google社のクラウドサービス（GCP）で提供開始されたデータベース （2017/3/3時点beta） - Google社ではもっと前から社内での利用実績あり。 - 地球規模の大規模分散を実現し、世界中にサーバを分散。 - NoSQLのスケーラビリティとRDBの一貫性を両立させた。 - トランザクション処理はMVCCではなくtimestampを用いて制御する。 - サーバの時刻同期はGPSや原子時計を用いて、どのサーバもズレがないようにし ている ズルいとは思うのですが、詳細は有識者（中井 悦司さん）の資料を 見ていただくのがまずは良いと思います。 https://www.slideshare.net/enakai/spanner-72217077 8. 既存RDBからの乗換えって？ 今の所、しんどいです。（まだbetaなので今後に期待） - D

Google Cloud Spannerの情報目当てで下記のイベントに言ってきたのでメモ。 イベントページ connpass.com ついに出た！Google虎の子のNewSQL RDB「Spanner」 by Google Spannerに関する技術メモ from Etsuji Nakai ACID特性 信頼性のあるトランザクションシステムの持つべき性質にACID特性があります。 ACID (コンピュータ科学) - Wikipedia スライド5ページ目でVertical Consistencyと書かれているのは同一Zone内でのACID特性。Horizontal Consistencyと書かれているのはZoneをまたぐACID特性の事のようです。 ACID特性のうち独立性（isolation）には、その独立性のレベル応じて「トランザクション分離レベル」というものがあります。 gyouz

Googleが2013年に発表したSpannerに関する論文の和訳です。長いので全6回ぐらいに分けて訳していこうと思います。 Spanner: Google’s Globally Distributed Database http://dl.acm.org/citation.cfm?id=2491245 Spanner is Google’s scalable, multiversion, globally distributed, and synchronously replicated database. It is the first system to distribute data at global scale and support externally-consistent distributed transactions. This article describes h