Skip to the content. List of resources on testing distributed systems curated by Andrey Satarin (@asatarin). If you are interested in my other stuff, check out talks page. For any questions or suggestions you can reach out to me on Twitter (@asatarin), Mastodon (https://discuss.systems/@asatarin) or LinkedIn. Table of Contents Overview of Testing Approaches Research Papers Bugs Testing Fault Toler

Netflix はマイクロサービスアーキテクチャ界においてプロダクションで成功例を積んでいる、いわば大先輩だと思われます。 彼らは数多くのイベント登壇や techblog の記事、 GitHub 上による OSS の公開を行っており、それらからアーキテクチャやその変遷を垣間見ることができると考えています。 本記事では筆者が最近悩んでいる、マイクロサービス前提の世界でのログ収集基盤において、 Netflix の様々な事例を調べた結果をつらつら書いていこうと思います。 あらかじめ本記事は正確性を担保しておらず、あくまで筆者個人が調べることができた範囲での記述に留まることをお断りさせていただきます。 Suro: 分散データパイプライン 2015 年くらいにメンテが止まってしまったのですが、分散データパイプラインをうたう Suro というソフトウェアが存在しました。 Suro に関しては解説記事も

事象 環境 S/W H/W 原因 対策 Direct Reclaimを避ける 設定方法 結果 その他のチューニング項目 対策② HugePage 対策③ THP無効化 結果②・③ 参考にした情報 カーネルソースコード SlideShare WEB Page 書籍 事象 Casssandra起動してから、ある一定期間経つと突然nodetoolがとても遅くなり、ring情報見るだけでも10秒ほどかかる場合も出ていました。CassandraだけでなくOS全体が不安定になり、SSH経由の操作すらも遅くなる事象が発生しました。 Nagiosで監視をしているのですが、nrpe自体や個別のコマンドが遅くなるのでTimeOutのアラートがいくつも飛んできて何度も夜中に起こされました。 CPUやメモリ、Diskもぱっと見た数字上では余裕があり、処理自体も遅くなっていない状態。Cassandraを再起動すると

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog システム統括本部アーキテクト室 今野です。 昨年は、Twitter,Facebookを始めとするクラウド各社で新規の分散システム開発のプロジェクトが相次いで発表された年でした。これらの新しい分散システムを開発する理由や、その背景にあるものは何なのでしょうか？ 今回は、昨年末に開催された高信頼性分散システム系の国際学会であるSRDS 2014[1]の発表内容に関連する論文の話題も踏まえて、昨今のクラウド各社の分散システムの動向について整理してみます。 分散システムにおけるクラウド各社の動向 近年の分散データベースの世界では、AmazonのDynamo[2]やFacebookのCassandra[3]などを代表とする結果整合性（Eve

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

Cassandra Meetup in Tokyo, Fall 2014 http://datastaxjp.connpass.com/event/9867/ Yahoo! JAPANにおけるApache Cassandraへの取り組みRead less

TOTEC2014 インフラチューニング（チューニンガソン）で優勝したはなし | サイバーエージェント 公式エンジニアブログ インフラ＆コアテク本部の仲山です。 「TOTEC2014 インフラチューニング」という社内チューニンガソンイベントで優勝をいただいたので、 技術ブログを書くことになりました。 TOTECは、サイバーエージェントグループ内の技術者コンテストで、 インフラ、フロントエンド、サーバサイドの分野ごとに、 「チューニンガソン」と呼ばれる形式でその速度向上を競い合います。 今回の「インフラチューニング」では、 参加者はソフトウェアのソースコードを改変できないため、 あくまでミドルウェア等の変更、チューニングや、サーバ構成の最適化のみで闘います。 主なレギュレーション 運営があらかじめ用意したMediaWikiの応答速度を競う。 ソースコードの変更は禁止だが、設定ファイルの編集は

Ameba Smart Phone PlatformのAPI開発を担当している狭間と申します。今回はAmeba Smart Phone Platformで使用しているCassandraのデータ設計時に気をつけていることを実際に起きた事例を交えてお話したいと思います。 Cassandraのverstionは1.1.5を使用していて、100台構成のクラスタを組んでいます。ピーク帯ではおよそ50000write/sec、40000read/secのリクエストを処理していて、およそ45TBのデータを保持しています。そのような条件下で発生した事例と対処方法を紹介させていただきます。

40. データ内容を確認してみました(Version 1.2.6) xx-Data.dbに対してsstable2json実⾏してデータを確認 1. まずはデータ登録 set student_table['id100']['name']='Yamada'; {ky:“i10,clms:[“nm"“Ymd"17513290]} "e" d0""oun" [ ae, aaa,33158300] 2. データ論理削除 del student_table['id100']; {ky:"d0""eaaa: "e" i10,mtdt" {dltoIf" {mreFreeet:33162600 "eeinno: "akdoDltA"17516970, "oaDltoTm"17516},clms:[} lcleeinie:33162}"oun" ] ⇒Deleteしたよという情報がinsertされるイメージ

はじめに EC2 インスタンス上に Cassandra をインストールしてクラスタを構成する 合わせて DataStax の OpsCenter をセットアップする AWS の操作は基本的に awscli を利用する とりあえず Cassandra とは...については別途書くとして今回はクラスタを構成してみる 参考 Cassandra Wiki Amazon EC2にapache-cassandra-1.2.5を入れてみた Cassandraクラスタと、DataStax OpsCenterの構築 これがCassandra cassandra運用監視小ネタ集 seedとは何ですか？ DataStax OpsCenter Cassandra サーバーの構築 インストールする環境は下記の通り。 Amazon Linux AMI release 2013.09 java version "1.6

前にこんなblogエントリを書いた。 dmmのエンジニアと話をしてみたいという話(追記あり) - たごもりすメモ このエントリ、Cassandra Casualという勉強会でCassandraのようなそうでないような話を聞きながら、しかもビール2本飲んだ状態で書いたものだった。書いてさっさと公開して放っておいた*1ところ、だいぶ経ってはてブがやたらとついていることにびっくりしたものだった。 正直に言おう。対象はなんでもよかったんだ。世間に知られている大規模インターネットサービスを運営していて、会社としての・中の人としての雑誌記事やイベント登壇やblogエントリがあまり見られない企業であれば。DMMでなくても、たとえばFC2でも楽天でもNTT docomoでもY!Jでもドワンゴでも。 もちろんどんな会社の人でも行くべきところに行けば中の人がいるのは知っているけれども、そういう話じゃない。単に

まあそんな内容でも誰かの役に立つかもしれないのでメモを書いておく。体系だったまとめでも無いのでそんなレベルで。 運用とか http://ameblo.jp/principia-ca/entry-11514557323.html こんなブログを書いたので、そっちを見てみて下さい（ステマ テストスクリプトとか。 https://github.com/oranie/oranie/blob/master/cassandra/cassandra_test_data.pl こんな感じで、僕の場合perlでCassandra::Lite使うと楽だった。 Cassandra::Liteメモ # Insert it. $c->put($columnFamily, $key, {title => 'testing title', body => '...'}); And get data: # Get a c

3. システム構成 • Node数：97台 • サーバスペック 機器：Dell R410、R420 メモリ：64GB CPU:16コア、24コア HDD：600GBx4 (RAID-10) 600GBx2(RAID-1)+SSD 512GB(RAID-0) • クラスタ数：1 • Cassandraのバージョン：1.1.5-2(独自バージョン) • KeySpace数：8 • ColumnFamily数：156 4. 運用状況とか Cluseter Writes Request: 32000/sec Cluseter Reads Request : 58000/sec 1 nodeあたりのデータロードサイズ 約200～230GB

4月23日に都内で開催されたエンジニア向けのイベント「QCon Tokyo 2013」。急速に人気サイトへと成長したPinterestが、その裏でいかにスケーラビリティと格闘してきたのかをPinterestのエンジニア自身が紹介するセッション「Scaling Pinterest」が行われました。 この記事は「Pinterestはいかにスケーラビリティと格闘してきたのか（前編）。QCon Tokyo 2013」の続きです。 クラスタリングは怖い スケーラブルなシステムで問題なのは、データベースがひとつのサーバに収まらなくなったときにどうするのか、ということだ。 例えば、Cassandraは自動的にスケーリングしてくれて設定も簡単。可用性も高く単一障害点はない。しかし障害はそれでも起こるもので、クラスタリングの技術はまだ枯れておらず基本的に複雑なものだ。コミュニティもまだ十分ではない。 私たち

※2013/03/05に追記 Yuki Morishita(@yukim)さんより以下のエントリについてアンサーを貰いました！！！ https://gist.github.com/yukim/5086476 - なんか呟いたら「m9(^Д^)ﾌﾟｷﾞｬｰ」な意味なのかRTとかがついたので、まとめておこう。きっと「これやれば解決するのに・・・プークスクス！」って教えて貰えるに違いない。半分くらい僕の技術力の低さから来ているのが多いので、Cassandra特有の問題から外れている気がするけど気にしない。 前提条件として HW：CPU12core メモリ64GB Disk:SSDやHDD(RAID10)を使用（詳細な構成は割愛） Cassandra 1.1.5 JDK 1.6.0_33-1 Simple Strategyを使用 1ノード辺り100〜200GB程度のデータを想定 クラスタの数とかは

図2●Zabbixの監視データ記録での、MySQLとNoSQLのCassandraの性能比較（ミラクル・リナックスのホワイトペーパーより引用） ミラクル・リナックスは2013年2月14日、RDBMSの代替としてNoSQLを利用するためのミドルウエア「History Gluon」をオープンソースソフトウエア（OSS）として公開した（図1）。オープンソースの統合監視ソフトウエア「Zabbix」が履歴データを保存する際、その保存先としてMySQLに代えてHistory Gluon経由でNoSQLのCassandraを使用することで最大3.4倍の性能が得られたとしている。 5秒の監視間隔で、30分間の監視データを書き込む処理での性能を比較した。MySQLでは、監視項目数が8000点程度までは正常に書き込みが行われ、30分間で最大約300万件の監視データが書き込まれたが、さらに監視項目数を増やすと、