2023年03月31日追記：この記事を基に、@sadnessOjisanさんより、コードレベルにより踏み込んだ、かつ、グリーンスレッドベースの新しいWebサーバアーキテクチャも含めて整理された記事 Webサーバーアーキテクチャ進化論2023 | blog.ojisan.io が公開されました。 主に新卒のWebエンジニア向けに、古典的なWebサーバアーキテクチャを学ぶ道のりと代表的な実装モデルの概要を紹介します。 この辺りの話題がWeb界隈で流行っていたのは数年以上前というイメージですが、Webサービスは相変わらずWebサーバの上で動いているので、流行り廃り関係なく学ぶべき内容だと思っています。 また、HTTP/2がいよいよRFC化し、既にh2oやtrusterdなどのHTTP/2のサーバ実装があり、今後Webサーバアーキテクチャを再訪することが増えるような気がしています。 ところが、We

こんにちは、Hazama チームの萩原(@hagifoo)です。 ハードウェアは故障し、ソフトウェアにはバグがあり、運用ではミスがおきるもの。もちろん、障害が発生しないのが理想ですが人間が作ったものに完璧はありません。そこで、障害の前兆や発生を捉え、その詳細を運用チームに知らせるための監視システムが必要となります。cybozu.com でも以下のようにありとあらゆるものを監視するシステムを構築し日夜監視を行なっています。 今回は、そんな cybozu.com の監視(モニタリング)システムについてお話しします。 cybozu.com と障害 監視システムの設計 3つの監視 外形監視 症状監視・リソース監視 ログ監視 その他の監視 モニタリングフレームワーク 誰が監視者を監視するのか？ まとめ cybozu.com と障害 まずは、監視対象である cybzou.com について説明します。

Sadayuki Furuhashi @frsyuki SlashdottedとYahooスパイクとか、ブログだと炎上とか、アクセス数が突然急増することはあると思うのだけども、急増したのだけども、こういうケースに対応できるインフラを組むために必要なことは何なのだろうか。 2013-09-21 04:44:26 Sadayuki Furuhashi @frsyuki 負荷の揺らぎを平滑化するのにキューはかなり便利で、監視もしやすい。キューが伸び始めたらマズイのでサーバを足すという運用も分かりやすい。でも伸び始めたらすぐに足さないとマズイから、夜中に起きないといけなくなると思うのだけども、それは防げるんだろうかなぁ。 2013-09-21 04:46:17

2013/02/18 Yahoo! Open Hack Day 参加作品 KLab賞 受賞 ソースコードはこちら: https://github.com/mirakui/tuningsan 説明: http://blog.mirakui.com/entry/2013/02/20/003401

Maximize business uptime and drive engineering excellence in the AI era.

とあるクラスタ（複数台あるサーバ）に対して性能評価しているときに dstatでリアルタイムに数値見ながら評価したいんですが さらにまとめてリアルタイムグラフ化出来たら嬉しいのではないかなーと。 お、これはfluentd+growthforecastの出番では…！ と思い早速試してみましたよっと。 全体像 ノードサーバ（監視される側） 各サーバでdstatを収集／整形しログに出力 fluentdでgrowthforecastAPIを叩く グラフ生成サーバ（growthforecast） config生成plackアプリを起動（今回はログ収集サーバで実行しているが、本来はどこで起動してもよい） growthforecastプラグインでグラフ化 ※最初考えていた構成ではグラフ生成サーバでログを受け取ってから growthforecastに流しこんでました。 ログファイル自体も収集したい時にはその

あけましておめでとうございます。SF アドベントカレンダーも書けず、2012 年のまとめとかも書けず、まぁ何をしてたかというと生きるのに精一杯だったんですが、あともう一個やってたのがアプリ書くってことでした。前から、自前で簡単につかえる Heroku っぽい PaaS があるといいなぁと思ってたのですが、やっと動くものができましたので公開します。”My Heroku”で Myroku。 riywo/myroku-cookbooks · GitHub riywo/myroku-server · GitHub どういうもの？ 基本の挙動は超シンプルです。Heroku っぽい感じ。 好きな名前のアプリを作成する(sample-app) .llenvに使いたい LL のバージョンを書く(node-0.9.3) Procfileに起動するプロセス書く(web: node app.js) 一番最初に

2012年12月11日 Tokyo Linux Study #4 #tlstudy の発表スライドです。なぜリソース監視が必要なのか？という所がメインです。

デプロイツールにcapistranoを使っているのですが、経年劣化により、何をやっているのか意味不明になり、機能追加しようにもどうにもならない感じになってきたので、もっとシンプルなものを作ってみようというわけで、ちょっとやってみています。 https://github.com/kentaro/cinnamon 設計指針は以下の通り。 role/taskという枠組みはcapistranoと同じ というか、このモジュールは、role/taskの管理 + アルファだけを提供する 設定のset/get コマンド実行(run/sudo) リモートでのコマンド実行(remote) (いまはないけどstreamみたいなのも欲しい) 普通、デプロイツールというのは、デプロイ先のディレクトリ構成をいい感じにしてくれたり、VCSとの連携を上手いことやってくれたりするわけですが、このモジュールはそういうことはし

先日(10/9)、riywoさんさんの呼びかけにより、サーバ管理をどうやったらいい感じなるかを話し合う会がもたれました。僕は、直接サーバ管理をやっているわけではないのですが、社内でそういうの欲しいという話をしていて、ツールを作りたいといっていたので、参考になればというわけで、お誘いいただいて参加してきたのでした。 riywoさんから、叩き台としてホストのキーを元にした統合的なAPIの構想を図式化したスライドを提示していただいた後、管理システムの主なユースケースや、各社の実際の管理手法などをいろいろお話をうかがいました。僕など、インフラ的な知識に乏しいもので、これはなかなか大変なことだなあというのがあらためてわかりました。 組織体制や経理ルールの複雑性が各社でだいぶ違う サーバの情報として必要な属性が各社でだいぶ違う そもそもサーバの情報が複雑 既にあるなんらかの管理の仕組みとの整合性を取る

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? # !/bin/bash ########################################################### # このスクリプトの特徴 # # 受信・通過については基本的に破棄し、ホワイトリストで許可するものを指定する。 # 送信については基本的に許可する。ただし、サーバが踏み台になり外部のサーバに迷惑をかける可能性があるので、 # 心配な場合は、送信も受信同様に基本破棄・ホワイトリストで許可するように書き換えると良い。 ########################################

環境構築を自動化すれば数分でサーバ構築して投入できますよ？@HIROCASTERでございませう。 vagrantで開発環境（仮想マシン）を自動構築しようの記事で、仮想マシンにchefやpuppetを自動的に実行させて開発環境を自動で構築する手順を紹介しました。 環境構築を自動化する内容をchefであれば、レシピと呼ばれるものを、puppetであればマニフェストと呼ばれるものを記述しなければなりません。 今回はパッケージ（NTP）を導入して、NTPの設定ファイルを自動的に配備して、サービスを立ち上げるという環境構築の自動化をchef-soloを使って、紹介したいと思います。基本的に他のソフトになっても手順は同じです。参考にしてください。 chefとchef-soloの違い chefはクライアントとサーバの形を取っており、chefを実行するためにはサーバにレシピや付随する数多くのデータがなけれ

ニフティクラウド C4SAは、2017年11月30日をもちまして、サービスを終了いたしました。 これまで長らくご愛顧賜り、誠にありがとうございました。

ヌーラボブログ「Backlog」カテゴリの記事一覧です。ヌーラボのブログでは、コラボレーションやプロジェクト管理に関するコラム、社内文化やイベントレポートなど、多彩な情報をお届けしています。最新の記事を通じて、ヌーラボの取り組みや最新情報をご覧ください。

ちょうど１年前に「高負荷サイトのボトルネックを見つけるには」という記事を掲載していますが、この手のトラブルシューティングって結構大変で悩ましいですよね。はじめまして、新入りの@pandax381です。 ログからは見えてこないもの 「サイトの応答が遅い」という問題が発生した場合、その原因はどこにあるでしょうか。 Webアプリケーションの処理に時間が掛かっている DBサーバに投げたクエリーの応答が遅い サーバの処理能力を超えている などなど、いくつもの可能性があります。通常、上に挙げているような問題は、アプリケーションやサーバのログを調査することで、原因を突き止めることができます。 一方で、こういったログの調査だけでは、その原因にたどり着くことができなかったり、相当な苦労が伴うケースもあります。 あるサイトのある日の出来事 つい先日のことですが、KLabの運営している某ソーシャルゲームにて、サ