【6月13日午前11時20分更新】ステータスページによると、米国時間の12日午後18時18分（日本時間の13日午前10時18分）にすべてのサービスがサービス障害から完全に回復したという。「社内調査が完了したら、この事件の分析を公開する予定」としている。 【6月13日午後5時25分更新】米国時間の12日午後11時34分、ステータスページにミニインシデントリポートが追加された。これによると、この問題は、API管理システムへの無効な自動クォータ更新がグローバルに分散されていたことが原因で発生しており、外部APIリクエストが拒否されていたという。これにより、影響を受けたサービスで、APIとUIへのアクセスに断続的な問題が発生した。 Googleは、詳細な根本原因を示す完全なインシデントレポートを数日以内に完成させるとしている。同社は「この度のサービス中断・停止により、ユーザーの皆様とその顧客に多大

JVMにチューニング項目は多々あれど、プロダクションで運用する際に予めおさえておきたい項目をまとめてみるエントリです。*1 勿論、OSもJVMもデフォルトである程度のパフォーマンスは発揮でき、計測を伴わないチューニングは悪手であることはよく知られています。 しかし、設定しておかないとパフォーマンスにそのまま影響すると分かるものを調べないのは裸で戦場に赴くようなものです。*2 どんな項目をどう変更すれば良いのか知っていることは重要な武器なのです。 なぜ調べるのか 今回、チューニングポイントを調べるにあたって、私のモチベーションはどこにあるのかを考えると、以下の要件を満たしたいということがあげられます。 アプリケーションとして求められる品質水準として動作する → 性能目標 異常時に事象を追うことができる ここでいう品質水準・異常とは、パフォーマンスが明らかに低い、アプリケーションがクラッシュす

レンタルサーバーやクラウド、ハウジングサービスといった、ネットワークの基盤を支えるサービスは、どんな時でも当たり前に稼働し続けることが求められます。しかし、この「当たり前」を実現するには、地震や台風といった、予測のつかないリスクへの備えが不可欠です。 さくらインターネットは、2018年9月に発生した北海道地震の際にも安定した運用を継続し、利用者に安心感をもたらしました。同社のサービスが安定運用を続けることができるのはなぜか？　先日紹介したデータセンター運用に続き、今回はネットワークの安定運用に焦点を当て、同社の技術本部ネットワークグループの3名に聞きました。 ※この記事は、さくらインターネット株式会社によるSponsoredContentです。 石狩、東京、大阪を結ぶトライアングルネットワークが冗長性をつくりだす ネットワークの中の人が見る、トラフィックのいま ネットワークを「湯水のように

この記事は新野淳一氏のブログ「Publickey」に掲載された「パッチ盤からケーブルを引っこ抜いてしまいCloudflareに障害発生。ケーブルにラベリングされておらずどれを戻すべきかすぐに分からず」（2020年4月20日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 CDNプロバイダーのCloudflareは、世界協定時4月15日の午後3時31分から午後7時52分（日本時間4月午前0時31分から午前4時52分）まで、ダッシュボードおよびAPIが使えなくなるという障害を発生していました。 同社のブログ「Cloudflare Dashboard and API Outage on April 15, 2020」によると、同社の2つのコアデータセンターのうちの1つで、パッチ盤から間違ったケーブルを引っこ抜いたことが原因で、対策チームは新型コロナの影響で全員在宅のまま仮

SpotifyがミスによりKubernetesの本番クラスタを二度も削除。しかし顧客へのサービスにほとんど影響しなかったのはなぜか？ 今年、2019年5月20日から3日間にわたりスペイン バルセロナで開催されたKubeCon＋CloudNativeCon Europe 2019の基調講演では、SpotifyがミスによってKubernetesのクラスタを消去してしまった経験を振り返るという非常に興味深いセッション「Keynote: How Spotify Accidentally Deleted All its Kube Clusters with No User Impact - David Xia」（基調講演：SpotifyはいかにしてKubernetesクラスタの全削除というミスにもかかわらず顧客への影響を引き起こさなかったのか？）が行われました。 障害が起こることをあらかじめ計画とし

負荷テストは、インフラ環境をサイジングするうえでの具体的なデータを与えてくれます。この記事では、インフラ事業者視点で負荷テストについての目的、種類、実施方法について考えてみます。 ※面倒な準備は無しで、簡単に負荷テストを実施したい人向けに、WEBインタフェースから負荷テストがおこなえるシステムを作成中です。 インフラ事業者から見た、負荷テストの目的 サイジングの妥当性を証明できる インフラ事業者から見た場合、負荷テストの最大のメリットはサイジングの妥当性を証明できることです。 当社も提案の際に、サイジングに必要な情報を確認していきます。月間の（想定）アクセス数、ピーク時の（想定）アクセス数、平均ページサイズ、リプレイスであれば各サーバのCPUやメモリ、ディスクなどのリソース情報などです。しかしながら、具体的な情報がでてくることは多くありません。そのため、想定しているアクセス数やシステムの内

インフラチーム改めSite Reliability Engineering チームの @kazeburo です。この記事ではまだ馴染みの薄い Site Reliability Engineer とは何かについて紹介したいと思います。 SREとGoogleのSRE Site Reliability Engineerは日本語にすると「サイト信頼性エンジニア」となりますが、あまりキャッチーではないので普段は略語の「SRE」を使用しています。SREという職種は日本ではあまり聞く事はありませんが、FacebookやAirbnb、Dropboxなどの企業でSREが募集され、それぞれのサービスを支える重要な役割を担っていると思われます。中でもSREのパイオニアとしてGoogleのSREチームが有名です。 GoogleのSREチームはGoogleの検索、広告、Gmail、YouTube、App Engin

運用をイージーにする オブザーバビリティ 誰にも馴染む操作性のUIで、監視を育てるプラットフォーム。 未知の問題に立ち向かう力を開発者に。

@ymmt2005 こと山本です。 今回は開発本部と運用本部のメンバーが協力して進めている cybozu.com やサイボウズ Live のアーキテクチャ刷新プロジェクト「Neco」について紹介します。 Neco を 3 行で説明すると、 サイボウズのクラウドインフラのいけてないところを洗い出して、 5 年程度を目安に改善するつもりだけど、 やりたいことが多すぎるので、We are hiring! で済んでしまうのですが、それだけでは面白みに欠けますので、いけてない内実を暴露しながら解説いたします。 サイボウズはクラウド 5 年生 正確に言うとサイボウズ Liveなど一部のサービスはもっと以前から取り組んでいたのですが、本格的にクラウドサービスといえるインフラを構築してサービス提供を開始したのは今から 4 年前の 2011 年 11 月となります。そこでオープンしたのが cybozu.co

Eliminate duplicate support tickets & clunky email lists Halt the flood of support requests during an incident with proactive customer communication. Manage subscribers directly in Statuspage and send consistent messages through the channels of your choice (email, text message, in-app message, etc.) Display the status of each part of your service Control which components of your service you show o

cloudpackエバンジェリストの吉田真吾（@yoshidashingo）です。 CDP Advent Calendar 2013 の6日目です。 今日は Cross-Region なクラウドデザインパターンを考えてみます。 ■前提で押さえておきたいこと Webの3層構造を主体に考えます。まずはWeb/APサーバーやデータベースの特性を押さえておきましょう。 Web/APサーバ スケールアウト/インの水平スケールが容易 ロードバランサーやDNSによる負荷分散方法がある 負荷分散方法があるので基本的には全てのノードはアクティブ-アクティブにできる マシンのテンプレートは本来1つあればよいが、サービスの実装上、リージョンごとに同じテンプレートを置いておく必要があることもある（AWSだと今のところそう）。これはサービスの仕様の問題。 データベース データベースには以下のような構成が考えられます

はじめまして、WEBエンジニアの石橋です。 エウレカではpairs全体の開発責任者としてサーバサイドの開発・管理、インフラの構築・管理を行っています。また、数字やリソースの計画・管理など一部プロデューサー業務も担当しています。 前々職では受託のWEBエンジニアを4年、前職では自社サービスの基幹システムやECシステムのインフラ構築・開発などIT部門の統括、物流・CS部門の統括、自社メディアのプロデューサーとしてマルチタスクな4年間を過ごしていました。 趣味は漫画を読むことです、が最近インフラ周りに時間を取られてなかなか読めていません。。漫画が読めない時間が長く続くと、自分の中の何かのエネルギーがどんどん減っていきいずれは枯渇するような気がしてなりません。1分でも多く漫画を読む為にも、まずはしっかりインフラを整備せねばと今日も仕事に励んでいます。 さて今回は初めての投稿ですので、まずは先日会員

AWSのリソース構成をServerspecのようにテストできる "awspec" をつくりました。 github.com 例えばEC2インスタンスであれば、以下のように書けます。 describe ec2('my-ec2') do it { should exist } it { should be_running } it { should_not be_stopped } its(:instance_id) { should eq 'i-ec12345a' } its(:private_ip_address) { should eq '10.0.1.1' } it { should have_security_group('my-security-group-name') } it { should belong_to_vpc('my-vpc') } it { should belon

中〜大規模サービスのインフラの様子を知りたいアプリケーションエンジニア向けに、もともとアプリケーションコードを書いていた視点から、個人的な体験をベースにはてなで大規模サービスのインフラを学んだ過程や学んだ内容の一部を紹介します。 Webアプリケーションのブラックボックス Webアプリケーションフレームワークの向こう側 なぜ複数のサーバが必要なのか 突然のWebサービス3層構成 リバースプロキシ アプリケーション データベース その他のコンポーネント キャッシュは麻薬 飛び道具としてのKVS/NoSQL 非同期処理 バッチ処理 Mackerelの場合 参考 まとめ Webアプリケーションのブラックボックス 今年もはてなインターンの時期が近づいてきた。 毎年ではないけど、はてなインターンでは「インフラ講義」というのをやっている。 今年はインフラ講義の講師としてアサインされたのでちょうど何を話そ

クラウドを活用した本番システムのデプロイ手法の1つに「Blue-Green Deployment」がある。Blue-Green Deploymentの目的とそのメリットを、マーチン・ファウラー氏の解説から紹介する。 1つ前の記事で紹介した、チャド・ファウラー氏によるImmutable Infrastructureの記事「Immutable Infrastructure（イミュータブルインフラストラクチャ）と捨ててしまえるコンポーネント」では、デプロイをより安心して行うために、サーバの内容を変更する際には既存のサーバに手を加えるのではなく、新規に作り直して切り替える、という方法を提案しています。これがサーバの不変性、すなわちImmutable Infrastructureにつながるわけです。 これから紹介するマーチン・ファウラー氏の記事「BlueGreenDeployment」は、Immut

買いました。 入門Chef Solo - Infrastructure as Code 読みました。 chef-soloの触りとchef-server環境の作成ぐらいは出来たのであの丘の向こうを目指して使い心地とかまとめておきます。 chefとは 引用: 入門Chef Solo #23 どこまでをChefでやるべきか chefは「ノードの状態を管理し、そのノードをあるべき状態に収束させるフレームワーク」だからです。 と、あるようにchefはサーバーをあるべき状態に収束させるフレームワークです。 サーバーの初期環境構築や設定ファイルの変更等をしてくれます。sshでログインしてパッケージインストールや設定ファイルの変更をしなくても目的のサーバーの状態にしてくれます。 chefの種類 単一で機能するchef solo 複数を管理するchef server&chef client がある。 どちら