はてなブックマーク

はじめに July Tech Festa 2020において、「マイクロサービスの今だからこそ！理解して拡げる 分散システムの基礎知識」のタイトルで登壇をしてきました。スライドはこちらにありますが、資料内や当日のトークで話せていない部分を含めて、こちらでblogとして解説をしておきたいと思います。 1. セッションの導入 - 新たなムチャブリ - 今回は昨年の#JTF2019で私が話した、「Cloud Native開発者のためのDatabase with Kubernetes」からの続編という形にしてみました。 昨年は、 「せっかくKubernetesを使うのにアプリケーションだけじゃもったいない。 DB、そしてステートフルなワークロードにも適用していきましょう」 という話をしましたが、Kubernetes-native Testbedなど、そうした取り組みが増えつつある傾向にはとても興味を

4.2.1 Shardingの手法 先ほどの表1を理解するにはSharding手法の列にあげられた各用語の理解が必要となる。 YugaByteDBのブログ「Four Data Sharding Strategies We Analyzed in Building a Distributed SQL Database」には、非常に詳しくShardingの手法が紹介されている。この記事では、大きく以下4つの分類があるという。 Algorithmic Sharding (例: Memcached/Redis) Linear Hash Sharding (例: 過去のCassandra) Consistent Hash Sharding (例: DynamoDB、Cassandra) Range Sharding (例: Spanner、HBase) 詳細は割愛するが、1つ目のアルゴリズム・シャー

当投稿はKubernetes Advent Calenderの18日目の記事となります。 17日目はnnao45さんの「【Kubernetes】KubernetesのCronJobのcronスケジュールはどう管理されているのか？」でした。 今日はKubernetesのDatabase Operatorということで、私が何度かカンファレンスで触れているKubeDBについて解説したいと思います。今回は主に耐障害性についての設計とその動作確認をしていきます。 TL:DR KubeDBはマルチデータストアなKubernetes Operator。 しかし、Kubernetes v1.16ではうまく動かない。 PostgreSQLのレプリケーションは簡単に構築可能、障害時のFOも問題なし （開発体制に不安はあるものの）今後のリリースに期待したい。 KubeDBとは AppsCodeという会社が提供し

Disclaimer 当記事はNewSQL開発ベンダの技術ブログや各種論文、その他ニュースサイト等の内容を個人的にまとめたものです。 そのため、理解不足等に起因する誤解・誤認を含む可能性があります。更なる理解が必要な方はリファレンスに挙げた各種文献を直接参照下さい。技術的な指摘は可能であれば取り込み修正しますが、迅速な対応はお約束できません。 NewSQLの解説は二部構成 当記事は前編でNewSQLの概要編となる。 全体の目次は下記である。 NewSQLとは何か NewSQLのアーキテクチャ NewSQLとこれまでのデータベースの比較 NewSQLのコンポーネント詳解 1章から3章までの内容を当記事で解説する。 4章はさらに詳細な技術的解説となり、後編の「NewSQLのコンポーネント詳解」で記述している。 こちらも合わせて一読いただきたい。 1. NewSQLとは何か NewSQLとは、海

メリークリスマス！ この記事は「エンジニアの登壇を応援する会 Advent Calendar 2019」の24日目の記事です。 これまでもQiitaに登壇記録はいくつか投稿してきましたが、2019年も終わりということで今年一年を振り返ってのまとめをしたいと思います。 年頭に立てた目標的なもの 2018年末にPGConf.Asia 2018で登壇した後、2019年の目標として以下のようにカンファレンスで登壇を目指していくことを決めました。 KubeConでの登壇は叶わなかったものの、それ以外の３つと＋αでCFPが通って登壇することが出来ました。目標達成率という意味では上々といえると思います。 カンファレンスでの登壇 先ほど伸べたように4つのカンファレンスで登壇しています。それぞれ登壇記録へのリンクと一言感想を書いておきます。 CloudNativeDays Tokyo 2019 登壇記録はこ

本記事はKubernetes Advent Calendar 2018の6日目です。 昨日は@nnao45さんの「kubectl-completion-zshを車輪の再発明した」でした。 コマンド補完、いいですよね。あれやこれや一々打つの面倒くさいし！ さて私は「PostgreSQL on Kubernetes 2018（全部俺）」のAdvent Calenderを執筆中ですが、そこでデータベースをStatefulSetで動かしています。 その際に起きた問題や調べたことを書いていきたいと思います。 TL;DR PostgreSQLをStatefulSetで動かしたら、Failoverしなかったよ。 良く調べたらそれが仕様。 operatorを使えるようになるとつよい。 PostgreSQL on Kubernetes こちらで述べたように、PostgreSQLをContainer-Nati

TL;DR StolonはKubernetes上にレプリケーション設定されたPostgreSQLクラスタを構築してくれる。 障害時にはネットワーク分断を考慮したMaster選出が行われ、可用性を高めている。 StolonではStandbyノードへの参照クエリ振分けは行われない。 シェアードナッシングで構築は容易だが、運用にはPostgreSQLの知識を要する。 Stolonとは StolonはKubernetes上にPostgreSQLのStreaming Replicationを構成してくれるOSSです。 CNCF LandscapeでもDatabaseとして登録され、PostgreSQL on Kubernetesという観点では古参のプロジェクトになっています。 <図1 CNCF LandscapeにおけるStolonの位置付け> Stolon開発の動機はこちらのブログに書かれています