こんにちは、EC 事業部のフロントエンド・エンジニアのおいちゃん（@inouetakuya）です。先日、社内で Redis の障害を想定した避難訓練を行ったので紹介します。 背景 カラーミーショップ では、以前は Redis を利用していていましたが、ここ一年の間に用途が変わってきました。つまり、以前はコンテンツのキャッシュやセッションの保存先だったものが、いまでは非同期処理のためのキューとして使われるようになり、かつその処理には決済に関わるものも含まれています。 つまり Redis にダウンタイムが発生すれば、それがそのままビジネス面でのダメージに直結します。そこで Redis の自動フェイルオーバーを実現するため、インフラチームとともに Redis Sentinel の導入を進めてきました。 解決したい課題 Redis Sentinel を扱うのははじめてだったので、当初は「本当に自動

14. MySQLの⾯倒を⾒る #とは DBに特化した（広義の）インフラデザイン バックアップの頻度, 保管先, ..etc. + その実装- 監視, リソースモニタリング, ..etc. + その実装- mikasafabric for MySQL + MySQL Router- メジャーバージョンアップの検証とか、Percona Serverとか MariaDBとか - DBに特化したショット作業 吊るしの ALTER TABLE 以外を使ったテーブル定義の更新 < 5.6 だったり、テーブルが⼤きすぎてレプリケーションが詰まったりするケース - スロークエリーチューニング- マイナーバージョンアップ- 13/63

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 実際には、まだ本当の本番環境では運用できてなくて開発用のステージングで運用が開始できたぐらいで、他にもやること一杯あるんだけど、ある程度知見が溜まったのでまとめておく。 ちなみに、規模はそんなに大きくないがデータ量は多いアプリケーションで運用環境はAWSのECSを想定しており、現時点で普通のEC2ノードとコンテナで並行稼動している。 docker-swarmなりで自前でコンテナプールを構築してもいいのだが、そうするとサービスディスカバリとか考えなければいけないことが増えるので、後回しにしている。 (注: かなりサービス固有の事情が含まれ

ども、@kimihom です。 私は Heroku に Rails サーバーを立ててサービスを運用している。これまでの経験を元に、定期的にチェックしておきたい指標とか項目をまとめてみる。今後のサービス開発などで参考になれば幸いだ。 サービス構成 現在の構成はというと、以下のような感じである。 Ruby 2.4.1 (執筆時点で最新) Ruby on Rails 4.2.8 Heroku Standard 1X Dyno * 4 Heroku Postgres Standard 0 Heroku Redis Premium 0 もちろん他にも使っているのはいろいろあるけど、ベースは上記のように至って標準な作りになっている。これによってインフラ周りでトラブルが起きることを最小限にとどめている。今現在でもインフラ周りで特別に問題になっていることはないので、これからも 上記の構成を使い続けていく予

Site Reliability Engineering Teamの@cubicdaiyaです。今回はSlackのライトなお話です。 SlackのAttachments SlackにはIncoming WebhooksやWeb APIでメッセージを投稿する際、ペイロードにAttachementsと呼ばれる情報を含めることでメッセージを装飾できる仕組みがあります。 これを利用すると例えばメッセージにタイトルを付けたり、 用途に応じてカラーリングするといったことができます。（画像はイメージです。実際のアラートメッセージとは異なります。） 上記の場合、障害が発生したら赤、復旧したら黄緑で色分けしています。このようにAttachementsを利用することでSlackへ投稿するメッセージを分かりやすく装飾することができます。 メルカリでのAttachementsの利用例 メルカリでのAttachme

Packer / Terraform による構成管理 Packer による AMI の作成 Terraform でのインスタンス起動時の user-data の利用 Terraform でのサーバの入れ替えの為の設定 / 作業 Auto Scaling グループに対する ELB 付け外しの利用 autoscale.tf elb.tf codedeploy.tf variables.tfvars 実際のオペレーションの手順 1. green の設定変更 / 起動 2. green サーバ群を本番 ELB に設定 3. blue サーバを本番 ELB から切り離す 4. blue の台数を 0 に 実際に運用してみて 課題や今後 まとめ こんにちは、エンジニアの野本です。先日、door 賃貸をオンプレから AWS に移行した際、Terraform & Packer を中心に行ったという話を紹介

4. システム構成（2012~2014年頃） • Node数：99台 • サーバスペック 機器：物理サーバ（DELL） CPU： 16コア、24コアが混在 メモリ：64GB HDD:以下構成が混在 600GBx4(RAID-10) 600GBx2(RAID-1)+SSD 512GBx2(RAID-0) 600GBx2(RAID-1)+HDD(SATA) 1TBx2(RAID-1) • クラスタ数：１ • Cassandraバージョン：1.1.5-2 • 1nodeあたりのデータサイズ：約200～300GB

弊社にはAWS狂が結構いるのですが、AWS Configはあまり注目されていません。 AWS公式ドキュメントでも日本語化されておらず、AWS Configについて触れた記事は数えるほどしかありません。 使えるサービスなんだよ！というのを訴えるためにドキュメントの翻訳ベースでAWS Configの魅力をお伝えします。 実際の設定手順はこちらやこちらを御覧ください。 Configとは AWSリソースの設定を可視化するサービスです。 現在のAWSリソースの設定値を見られるだけでなく、AWSリソース毎の関係性やどのように設定変更がなされたかを見ることが出来ます。 AWSリソースとは AWSが提供しているサービスで管理されるリソースを指します。 Configが対応しているAWSリソースは以下のとおりです。 Amazon Elastic Compute Cloud（EC2） EC2 instance

はじめに 当エントリはDevelopers.IOで弊社AWSチームによる『AWS サービス別 再入門アドベントカレンダー 2015』の9日目のエントリです。昨日8日目のエントリは能登の『Amazon EMR』でした。 このアドベントカレンダーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 本日9日目のテーマは『AWS Config』です。 AWS Config (AWS リソース構成の追跡) | アマゾン ウェブ サービス（AWS 日本語） 目次 サービスの基本的な説明 構成管理・変更管理ツール AWS Configの構成要素 Config Rules サービス利用のユースケース あわせて読みたい さいごに サービスの基本的な説

こんにちは。望月です。 先日(といっても結構前ですが)、ついに待望のCloudTrailの全リージョン対応が発表されました。 その前からそうだったかは未調査ですが、CloudTrailを有効にしていない場合に、AWSのTrusted Advisorで警告が出るようになりました。 この警告を消すためにも、全リージョンでCloudTrailを有効にしましょう！ スクリプト化してみた ですが、手作業でぽちぽちやるのはアレなので、自動化しました。既にj3tm0t0さんがAWS - 全リージョンのCloudTrailロギングを有効にするワンライナー - Qiitaにてワンライナーを公開されていますので、そちらを使うのもいいと思います。このワンライナーではS3バケットと適切なBucket Policyが設定されていることが大前提なので、まだBucketを作成していないアカウントでは、先にS3バケットを

AWS Blackbeltシリーズ Amazon CloudWatch & Amazon CloudWatch Logsの資料です。(2015/7/1) AWS Black Belt Tech Webinarでは、アマゾン データ サービス ジャパンのTechメンバが、AWSのプロダクトを解説します。 2015年7月は「運用月間」と題し、AWS上でのシステム運用を行うにあたり、欠かせないサービスをご紹介します。 下記より参加登録が可能です。 http://aws.amazon.com/jp/about-aws/events/

はじめに 当エントリはDevelopers.IOで弊社AWSチームによる『AWS サービス別 再入門アドベントカレンダー 2015』の19日目のエントリです。昨日18日目のエントリはFujimuraの『AWS Lambda』でした。 このアドベントカレンダーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 本日19日目のテーマは『Amazon CloudWatch』です。 Amazon CloudWatchとは モニタリングサービス CloudWatchは、AWSリソースとAWSで実行するアプリケーションのモニタリングサービスです。各種AWSサービスのメトリックスやログファイルを収集、モニタリングしアラームを設定出来ます。 対応す

背景 アカツキが提供しているサービスはリリース前に必ずテストを行っています。テストでバグが見つかったときにこれを切り分けるため、発生時のログを探すことがあります。「クライアントアプリで明らかに表示がおかしい」とか、そういったバグなら問題ないのですが、クライアントアプリからでは見えないサーバー側のバグが起きていて、それが見逃されてしまう…なんてこともあるかもしれません。 ふと、「機械的にこれを検出できるといいなー、あとログを探るためだけに毎回SSHするのもめんどくさいなー」 と思い、手を動かしてみることにしました。 今回の要件 テスト環境でサーバーエラーが起きたのを機械的に検出して、すぐ知らせてほしい アクセスしやすいところに必要なログだけがあると嬉しい できれば簡単な方法でやりたい ツールの選定 アプリケーションの例外を検知して開発者に知らせてくれるものに、ExceptionNotifie

OutOfMemoryErrorが発生してもスレッドを異空間に葬るだけでJava VMはそのまま動き続ける場合があるけど、当然ながら状態に一貫性のない状態で動いている可能性があるわけで基本的にはとっとと死んで欲しいわけである。一般的に言うところの「不定」状態。OOMEはErrorであってふつうの例外ではなく、致命的なJava VMエラーを示すものである。OOME発生後にプロセス再起動しないでそのままどうこうしようというのは絶対に避けた方が良い。 例えばJDBCのコネクションオープンしてDBからデータを読み込んでるときにOOMEが起きた場合、JDBCコネクションは大抵オープンしっぱなしで回収はされなかったりする。OOMEではfinallyブロックが呼ばれる保証はない。JDBCコネクションリークくらいならまだ良い方だが、これは全てに当てはまる。A-B-Cといったセットになっている処理は例外など

広告が邪魔なのでspeakderdeckにも上げました https://speakerdeck.com/brtriver/ying-ye-yun-yong-wozhi-eru-qi-fu-keru-guan-li-hua-mian 動画: https://youtu.be/CqMILKp3Ens?t=3h53m39s PHPカンファレンス2015での講演資料。 データを管理するだけが管理画面じゃない。サービスの質を向上させていくことができる最強の管理画面を開発運用していて意識していることを4つの工夫を軸にまとめています joind.in: https://joind.in/15322Read less