MySQL is certainly a powerful open source database management system, but even the most robust engine struggles when queries take an eternity to execute. For DBAs and developers, improving MySQL query performance is an ongoing goal. Efficient query performance is crucial for ensuring the smooth operation and optimal user experience of applications powered by MySQL databases. When businesses rely h

『ご注文は監視自動化ですか？』 Serf と Consul を使って運用を楽しくする話 Serf とか Consul とか聞くけど、イマイチわからん！という疑問はありませんか。 どのような働きをするのかや、使いどころを、皆さんと共有したいなと思っています。 1. はじめに 2. 基本編 ・ Serf ・ Consul ・ envconsul 3. 実践編 ・ API 連携 4. まとめ July Tech Festa 2014 June 22, 2014, @ AITT Shinagawa, Tokyo, Japan #techfesta #jtf2014 Read less

踊るホスティティングサービス 変化を強いられる時代 壁を越え、進む あの日僕が BASIC に挫折した事を忘れない オープンソースを積極活用、そして一次対応へ 閾値主義からの脱却 一次対応の闇 一度は仕事を辞める覚悟をした 正直、もう人間が運用や監視対応するのは限界かもしれない Serf the Librator ――運用対応自動化が、進化への鍵か 今日よりも鮮やかに 概要と書きたかったこと 師走です。年の瀬ですね。寒くなりましたね。コタツが恋しいです。ミカンおいしいです(^q^) そんな季節柄、ふと、自分の仕事を振り返りたくなりました。 僕はこれまで、ホスティングサービスの中の人として歩んできました。自分が何を考え、どのように行動を起こしてきたか。その経緯は、今の自分しか書けない気がして。色々なスライドや twitter では伝えきれなかった事を、一度まとめたいなぁと。なので、こうやって

序章 最近筆者があるシステム上の非同期ワーカーに対して作業していたところ、新しいコードをデプロイしてこのプロセス達を再起動すると全てのワーカーが同じタイミングで停止→再起動してしまうのでアラートがちらほら流れてきました。クリティカルなものではないのですが、アラートはうざいです。さらに開発機では何回か失敗もしたのですが、その失敗のせいでワーカーが起動に失敗することもありました。その間は当然ワーカー機能は止まったままです。 アラートはできればみたくないのです。さらに万が一新しいコードが起動に失敗した場合でも前の世代が動いていればこのあたりの心配をする必要がなくなります自分がそのあたりに手を入れるタイミングでServer::Starterをかまして対処してしまうことにしました。 元のワーカー まず前提として、このワーカー達は以下のような形で「実行するワーカーのコマンド名（実際はクラス名）」と「い

運用系ツールのつもりが、新人さんに伝えたい「円環の理」資料になってしまいました。 “qpstudy 2013.04”の @zembutsu LT 発表資料です 『qpstudy３周年記念LT大会　〜新人さん、業界にようこそ！〜 with ビール』 http://www.zusaar.com/event/613004� 共有したかった事 ・2013年、這い寄る混沌・ガラケーは衰退しました ・基本コマンドの連携は必須 ・時系列リソース監視が鍵 ・仲間達と協力する心も大切Read less

デュアルCPUで計12コア24スレッド、メモリ48GBというマシンで MongoDB-2.0.8 をしばらく稼働させたところ、突然 CPU の system time が1コア分暴走したようになる、という現象が起きました。 最初は原因がよく分からず、とりあえず mongod のプロセスを kill して起動し直したら復旧したのですが、またしばらくすると同じ現象に。 mongoのメモリ使用量と Load Average をプロットしてみると、どうもある程度 (約24GB?) のメモリを使ったところで暴走が起きているような……とログを見直してみると、起動時に WARNING がでていました。 Sun Jan 20 00:10:01 [initandlisten] MongoDB starting : pid=12669 port=27017 dbpath=/var/lib/mongo 64-b

1. これからはじめる インフラエンジニア 2012/12/17 知的ヘンタイ六番勝負 第三戦 外道父@GedowFather Copyright © DRECOM Co., Ltd All Rights Reserved. 1 2. わ言そ 興 イ な かわん 味 ン に っれな が フ ？ とんこ な ラ るでと い に わも ！ ？ な ん て Copyright © DRECOM Co., Ltd All Rights Reserved. 2

久々のエントリーです。先日、3周年ということでnanapiをリニューアルしました！今回は「メディアからプラットフォームへ」をコンセプトとし、大幅なリニューアルを実施しています。 リニューアルのコンセプトとかは、詳しくはこちらに書いてあります。 nanapiがVer5.0にバージョンアップしました : けんすう日記 社内リリースの重要さ UIやデザイン、細かい機能など制作側としてはすごく作り込んでいるわけですが、数週間1つのプロジェクトにコミットしているとなかなか客観的に見ることができなくなってきます。 そんな時は客観的な意見をもいたくなるものですが、その意見のもらい方がなかなか難しい。 弊社もサービスを立ち上げてから3年が経過しているわけで、従業員数もそれなりの人数になってきています。となると、開発環境やステージング環境を見てもらうにしても、面倒な手順がちょっとでもあるとなかなか難しかった

2. もくじ ► おさらい ► クライアント(ssh/scp)の話 ポート転送の話 多段ssh その他の転送の話・他のオプション ► サーバ(sshd)の話 ► ちょっとした疑問 ► セキュリティの話 ► まとめ 2 / 62 5. RFC RFC 4250 The Secure Shell (SSH) Protocol Assigned Numbers RFC 4251 The Secure Shell (SSH) Protocol Architecture RFC 4252 The Secure Shell (SSH) Authentication Protocol RFC 4253 The Secure Shell (SSH) Transport Layer Protocol RFC 4254 The Secure Shell (SSH) Connection Protocol RF

以前http://tech.naver.jp/blog/?p=1369の記事を読んだのだけれど、それまでにprocessの知識が無かったりして、まったく理解できませんでした。そこでWorking with UNIX ProcessesやServer::Starterの中身を呼んでようやくhot deployの仕組みを理解できた(気になっている)ので、Server::Starterの実装を追いながら、それをまとめてみます。 hot deployとは hot deployとは「再起動の時にリクエストの処理を続けながら、変更の内容を反映するための手段」です。 通常serverをrestartさせるときは、stop -> startの流れになると思いますが、この場合stopしてから、start出来るまでの期間にリクエストを処理できない期間が発生します。その期間なしにdeployする仕組みがhot

予定している機能を実現するアプリが完成するだけでWebサービスが成り立つわけではありません。 運用の最中にパフォーマンスにまつわる問題が出てくる可能性があります。 それは突然大きなトラフィックがやってきたというような時だけではありません。 知識が無いうちですと、いざ運用に乗せてみるとずいぶんとサイトの読み込みが遅いといったケースが発生することもあります。 僕はいくつかのエロサイトを管理しているのですが、 その中に月間700万PVのアクセスをいただいている「サイトA」があります。 サイトAの場合、トラフィックもそこまで無かった当初からパフォーマンスに関する問題がいくつか発生し、 その都度調べては実践で試して対策をしてきました。また、できる限り少ないリソースでの運用を目指しています。 今回はWebアプリのパーフォマンスアップ作戦として、 サイトAでの運用経験からのいくつかの方針やTipsを紹介

サーバーのリソースを見るにはグラフ化は重要ですが、推移ではなくリアルタイムな状況、例えば秒単位のスパイキーな負荷を見るには、サーバー上でvmstatやiostatなどの*statファミリーを叩く必要があります。 さて、vmstatはメモリの状況やブロック数単位のI/O状況は見られますが、バイト単位のI/O状況やネットワークの送信、受信バイト数を見ることはできません。 # vmstat 1 procs -----------memory---------- ---swap--- -----io----- --system-- -----cpu------ r b swpd free buff cache si so bi bo in cs us sy id wa st 3 1 0 4724956 355452 726532 0 0 54 484 3 3 1 0 99 0 0 2 0 0 47

サーバの消費電力と発熱の増加はデータセンターを効率的に運営する上での課題として認識されており、その解決策として低消費電力、低発熱、そして実装面積を小さく抑えた「高密度サーバ」が注目されています。 米SeaMicroは、高密度サーバの分野で頭角を現しているベンチャー企業です。同社は高性能なXeonプロセッサを用いながら、通常のラックマウント型サーバと比較して電力消費量は半分、実装密度にして3倍となる新製品「SM10000-XE」を発表。4コアのXeon、32GBメモリのサーバを64台搭載しています。 高密度サーバの多くはARMやAtomといった低消費電力のプロセッサに特化して開発されており、同社もこれまでAtomベースの製品を提供してきました。しかし今回の同社製品の大きな特徴は、Xeonのような高性能プロセッサを用いて高密度サーバを実現した点にあります。 同社はどのような技術を用いて高密度サ

1. Making 1U sized server by yourself. Akinori YOSHIDA Hatena Co,Ltd 2. About me Akinori YOSHIDA Infrastructure engineer at Hatena Database admin Develop backend application Server admin (over 400 servers) etc Hatena Co,Ltd. Social bookmarking service.(the most popular SBM in Japan) http://b.hatena.ne.jp Blog service. http://d.hatena.ne. jp

2. 今回の目的 1. 「データを保存する」ということが、実際にど ういうことなのかを知る。 2. 中の動作を踏まえることで、効率のよいアプ リを書けるようになる。 3. 問題が起きたときに、その原因を突き止めら れるようになる。 一般論をメインとし、MySQL等の細かい 個別ノウハウは取り上げません。 3. おしながき 1. 「データを保存する」とはどういうことか 2. MySQLがディスクに書くまで 3. 仮想メモリとページキャッシュ 4. とっても複雑なストレージの動作 5. MySQLのインデックスとメモリの関係

2011年夏、はてなは自社サーバー群の保守運用を、自社管理から「さくらインターネット」への業務委託に切り替えました。はてなが自作サーバーの自主運用から大規模データセンターへのアウトソースに切り替えた理由や、さくらインターネットが2011年11月にサービス開始を予定している「さくらのクラウド」について、さくらインターネットの田中邦裕社長、はてな最高技術責任者（CTO）の田中慎司（id:stanaka）、はてなエンジニアの吉田晃典（id:marqs）が語り合いました。 （※この記事は、さくらインターネットの提供によるPR記事です） クラウドサーバーはIaaS型のさくらのクラウド http://ishikari.sakura.ad.jp/ http://ishikari.sakura.ne.jp/blog/ ■ はてな、脱「自作サーバー」宣言の理由 stanaka　この度はてなは、さくらインター