昨年非常に盛り上がっていましたので作成させていただきました。 本番環境でやらかしちゃった人のアドベントカレンダーです。 例） 本番DB吹き飛ばした 本番サーバをデストロイした ネットワーク設定をミスって本番サーバにアクセス出来なくなり、サーバが世界から孤立した などなど... 以下の２点については必須項目なので、記述お願いします。 惨劇はなぜおこってしまったのか 二度と惨劇を起こさないためにどうしたのか もう二度とあの惨劇を繰り返さないために、みなで知見を共有しましょう。 過去 本番環境でやらかしちゃった人 Advent Calendar 2019

Webアプリ負荷試験ガイド 目次 Webアプリ負荷試験ガイド 目次 前置き 時間がない人向け要約 about me 何故負荷試験を行うのか 負荷試験ツール 負荷掛けるツール 負荷計測 負荷の可視化 負荷試験の流れ 負荷試験スケジュールについて 注目すべきポイント シナリオ作成 アカウント情報は自動生成出来るようにする DB分割を行ってる場合はDB分割を意識したシナリオを用意する。 負荷試験元 http or https サーバ1台 サーバ単体での負荷 アプリの正常性の確認 サーバ複数台 KVS Memcached Redis RDB 問題になりやすいDB キャッシュの話 大前提 注意すべき点 CDNやProxyレベル local cache or remote cache local cache or memory cache(in app cache) references 更新情報 前

この記事は本番環境でやらかしちゃった人 Advent Calendar 2019 17日目の記事です。 はじめまして、ダーシノ(@bc_rikko)です。 突然ですが、懺悔します。 私は転職して10ヶ月で2回も本番環境をぶっ飛ばしました。お客様をはじめ、関係各位には多大なるご迷惑をおかけしたことを、ここでお詫び申し上げます。 1回目は2015年11月27日、入社27日目のこと。 gitの設定ミスにより壊れたブランチをmasterにforce pushしてしまい、CIが流れて本番環境が壊れた。原因はpush.defaultなのだが、詳しくはすでに記事を書いているのでそちらを読んでほしい。 2回目は翌年9月1日、入社してちょうど10ヶ月たった日のことだ。 またしても本番環境をぶっ飛ばした。しかも、前回より盛大に……。 タイトルにもあるようにrsyncコマンドが原因だ。 当記事では、この「rsy

This domain may be for sale!

This domain may be for sale!

この文章は、サーバサイドのウェブアプリケーション開発において、社内実績の少ない新しい言語を採用したときにインフラ面で考慮したことを社内向けにまとめたものです。 はてなでは、長らくPerlでウェブアプリケーション開発を続けてきた一方、ここ数年で社内でScalaまたはGoの採用事例も増えてきました。 今後開発が始まるプロダクトにおいても、Perl、Scala、Goもしくは他の言語を採用するかどうかを開発開始時に選ぶことになるでしょう。 新言語を採用するときに、考慮すべきことの一つとして、「インフラ」への影響があります。 新言語に関する雑談をしていると、ウェブアプリケーションエンジニアに「インフラ」への影響について聞かれます。 もしくは、ウェブオペレーションエンジニアから考慮するポイントを伝えることもあります。 ScalaやGo以外に、Node.jsやサーバサイドSwiftはどうかというのも雑談

1年くらいchefを使ってサーバ構築をしていたのですが、最近ansibleに乗り換えたので紹介記事を書いてみます 1. サーバ側に何もインストールする必要がない chefは管理対象ノードにchef-clientをインストールする必要がありますが、ansibleはPython 2.4が入っていて、sshでログインできればOKです。 chefもパッケージや,knife bootstrapコマンド等があるので始めやすいですが、何もする必要がないansibleの方が敷居が低いのかなと思ってます。 例えばsshでログインできれば、以下のコマンドを打てば10.0.10.1～10.0.10.3サーバの情報をとってくれます(カーネルバージョン,CPU,メモリ,ディスクサイズ,ディストリビューション等)。 この機能はchefで使われているohai相当のことをしてくれます。 echo 10.0.10.1 >

2018年7月3日日 CentOS6.10 がリリースされました、RHEL6.10(6/19リリース)からちょうど２週間でのリリースになります。前バージョンCentOS6.9からは実に約1年3ヶ月ぶりのバージョンアップです。既にRHEL6 は Production Phase 3 に移行しているため、バージョン 6.10 がリリースされることは意外でしたが、Spectre（CPUに依存するハードウェアレベルの深刻な脆弱性）対策など重要なセキュリティの修正がされています。そこで今回は、CentOS 6.10 で LAMP構成をインストールする手順をメモしておきました。 CentOS 6.10 の主な変更点 CentOS 6.10 では gcc（コンパイラ）が Retpoline に対応したことにより、Spectre Variant 2 攻撃（CVE-2017-5715）を緩和する際のオーバー

GMOクラウド ALTUSにフラッシュディスクが追加されていました（2018年8月29日追記） 少し前からですが、GMOクラウドのディスクでフラッシュディスク（SSD）が選択できるようになっていました。 この記事を書いたとき（2015年）の状況は再現できないですが、恐らくディスクアクセスに関する悩みからは開放されそうですね。 はじめに これまでの経緯はこちらにあります。 マルチコアサーバがなんか重い時に原因究明しかけていました。 管理に携わっているサーバが「なんか重い」症状に陥った件についての解決編です。 LAがちょくちょくあがって問題認識 対象サーバはマルチコアでコア別に見ると特定のコアで普段からiowaitが高い ddやfioなどでディスク負荷を掛けるとめっちゃ重い という状態でした。 調査 サポセンからの連絡 GMOのクラウドを使っていますがここサポートセンターは優しいです。ddとf

サーバーを監視するためのツールにはさまざまなものがあるが、その1つに「Zabbix」がある。Zabbixはオープンソースで開発されている多機能な監視ツールで、設定を容易に行えるテンプレート機能やWebブラウザ上で操作できるGUIが特徴だ。本記事ではZabbixの概要と、ZabbixによるLinuxサーバーの監視方法について紹介する。 テンプレート機能や豊富な監視設定が特徴のZabbix サーバー運用において重要なのが、サーバーやそこで動作しているアプリケーションが正常に動作しているかを監視することだ。監視方法としてはさまざまなものがあるが、多くの場合専用の監視用ツールを利用するのが一般的である。監視用ツールとしては「Nagios」や「MRTG」などが有名であるが、今回は豊富な監視機能を持つ「Zabbix」という統合監視ツールを使ってLinuxサーバーを監視する方法について紹介しよう。 Za

前回、VPSサーバの導入した後の初期設定とセキュリティ周りの設定について記事にしましたが、今回はそのVPSサーバにLAMP環境を構築していく方法を紹介します。 前回の初期設定とセキュリティの設定が済んでいる前提で話を進めていきます。 前回記事 さくらVPSサーバを契約した後の初期設定の方法 LAMP環境を構築しよう LAMP環境とは Linux、Apache、MySQL、Perl(PHP,Python)で構成された動的なWebコンテンツを動かすための環境です。 動的Webサイトを構築する上で一般的にOS、Webサーバ、データベース、スクリプト言語が必要になりますが、それぞれ主要なものがLinux、Apache、MySQL、Perl(PHP,Python)となります。一般的なレンタルサーバはLAMP環境になっていることが多いです。 Wordpressを動かすにはこのLAMP環境が必要になるの

休日。何かしなければという焦りがあるんだけど、何をしようか思いつかない。 現在の飯のタネである（僕はいわゆるSIer）システム系の勉強を、最近してないことに気づいてはいるんだけど、インフラの構築に気が行ってしまって、なかなかスタートを切れない（どうせなら借りているVPSに対して色々と自動化して・・・と）。 そこでインフラの部分に気を取られることは無いHerokuを使って、何か作ってみることにした。 >> できあがったもの >> http://studysuggest.herokuapp.com ※後ろの方にも書いてますが、綺麗に何かを作るより、まず動くものを作って公開するというのを主題にしてます。 Herokuとは ざっくりとまとめると 高負荷でなければ無料で利用できる 定期的にバックグラウンドで◯◯動かす　みたいな事やると、無料枠超える可能性出てくるので注意 gitにソースを上げて、流し

30+ capabilities, 750+ integrations, the power of AI, all together.

こんにちは。斎藤です。 ITインフラの障害は、多くの場合「予期せぬ」タイミングで発生します。特に、CPUリソースを多量に消費したり、Disk I/Oが輻輳している場合、その切り分けは困難な状況に陥りやすいものです。 そこで、本日はITインフラ、特にOS・ミドルウェアを支えるにあたって、問題解決を助けてくれるであろう12個のコマンドを取り上げてみます。「必ず押さえておきたい」5つのものと「更に覚えると便利なコマンド」7つの2節に分けてお話しします。 ※CentOS 6.4 (64bit)を前提に取り上げます 必ず押さえておきたいコマンド もしITインフラ管理者になりたてな方はぜひ サーバサイドのプログラマをやっていたのだけれど、ある日突然「君、サーバ管理担当ね！」と、バトンを渡される方っていらっしゃると思います。私も以前はそのクチでした...。そうなってしまったとき、まずは覚えておきたい5つ

シナップの柿内です。 最近、CloudFlareという無料で簡単に使えるCDNサービスが話題を呼んでいます。 CDN（コンテンツ・デリバリー・ネットワーク）とはコンテンツを複数地域の複数サーバーに配置し、ユーザーのリクエストに対して最適なサーバーからコンテンツを配布する負荷分散サービスです。よくオープンソースをダウンロードする時に一番近いミラーサーバーを選択してダウンロードしますが、それをユーザーの操作なしに全部自動で行ってくれると考えれば想像しやすいのではないでしょうか。 本来CDNは大規模なリクエストを円滑に処理するように生まれたサービスなので、小規模なWebサイトで導入する事はあまりありませんでした。それがCloudFlareならば誰でも（後で解説するように利用するためには簡単な条件をクリアする必要がありますが）今日にでも利用する事が可能です。しかも無料で。 同じCDNサービスである

2. VPSèµ·å‹• さくらVPSコンパネにログインしてVPS起動。 最近は初回起動時に自動的にパッケージを最新にするようで、”Updating RPMS on system: _”で1時間くらいかかる。なのでさくらからメールがくるより先にVPSを起動しておくと、メールがくるのと同時に作業に入れる。 #03 さくらのVPSを起動しよう 3. SSHでログイン SSHでrootでログイン。MACならドットインストール通り。WinならPuTTYなんかのSSHクライアントで。詳しくはさくらVPSでスタートダッシュ決めるには結局どーすりゃいいの?を参照。 最初にyum updateで全てのパッケージをアップデート。 日本語設定。 mac$ ssh [email protected] vim /etc/sysconfig/i18n LANG="ja_JP.UTF-8" ログアウト→ログイン→dat