はてなのサーバやネットワークの各種最適化、ハードウェア選定、運用保守などを手広く担当するid:halfrackこと村松雄介と申します。ハードウェアならなんでも大好きです。おかげさまで趣味と実益を兼ねた日々を過ごしております。さて、この世にはたくさんの愛すべきハードウェアがあるわけですが、そのなかでも筆者が特に愛するハードウェアが、はてなのサービスを支えるサーバ群です。いまご覧いただいているこのページも、愛するサーバ群が正しく動作してこそ！ この、はてなのサービスを支えるサーバのほとんどは、さくらインターネット様のデータセンターに設置しています。 （※この記事はさくらインターネットの提供によるPR記事です） ■ 「中2病を実現」と語るデータセンター 石狩データセンターの見学を案内してくれた、さくらインターネット 取締役 副社長の舘野さん。なにを話していても技術力とコスト感覚のバランスがすごく

2011年夏、はてなは自社サーバー群の保守運用を、自社管理から「さくらインターネット」への業務委託に切り替えました。はてなが自作サーバーの自主運用から大規模データセンターへのアウトソースに切り替えた理由や、さくらインターネットが2011年11月にサービス開始を予定している「さくらのクラウド」について、さくらインターネットの田中邦裕社長、はてな最高技術責任者（CTO）の田中慎司（id:stanaka）、はてなエンジニアの吉田晃典（id:marqs）が語り合いました。 （※この記事は、さくらインターネットの提供によるPR記事です） クラウドサーバーはIaaS型のさくらのクラウド http://ishikari.sakura.ad.jp/ http://ishikari.sakura.ne.jp/blog/ ■ はてな、脱「自作サーバー」宣言の理由 stanaka　この度はてなは、さくらインター

こんにちは、はてなのサーバーやネットワークの各種最適化、ハードウェア選定、運用保守などを手広く担当するエンジニアのid:halfrackこと村松雄介と申します。はてなのサービスを支えるサーバーのほとんどは、自家発電装置を備えたさくらインターネット様のデータセンターに設置しています。はてなの東京オフィスにも、開発用などの用途で一部のサーバーを設定しています。もし停止しても、ユーザーさまに直接ご迷惑をおかけすることはありません。とはいえ、それなりに大事な役割を担っていて、不意の停電で困ることもあります。「インテリジェントなUPS（無停電電源装置）を導入したいな」と思っていたそんな中！ APCの中容量UPSを試せるという願ったり叶ったりな話が舞い込んできました。 （※この記事は、株式会社エーピーシー･ジャパン提供によるPR記事です。） APC, a flagship brand of Schne

2010年11月11日、幕張メッセで開催されたイベント「第2回クラウドコンピューティングEXPO」会場内に設置されたさくらインターネットの特設ブースで、さくらインターネットと、はてなのエンジニアによるパネルディスカッションが開かれた。その内容は、さくらインターネットが提供する「さくらのVPS」や、今後提供が予定されている「さくらのクラウド」、さらに新たにオープンする石狩データセンターなどに、はてなのエンジニアが激しくツッコミを入れるものだった。さくらのVPSやクラウド、データセンターの実際と、はてなが気にするサーバやデータセンターの使い方、技術を、Webエンジニアを対象にまとめる。 VPS（仮想専用サーバー）｜さくらインターネット http://ishikari.sakura.ne.jp/blog/ 本パネルディスカッションのタイトルは「はてなが気になる、さくらの石狩IDCやクラウドや仮想

昨晩、自作サーバカンファレンスを開催しました。その時のオープニングプレゼンを公開します。(オープニングなので短かいものですが) Original Server ConferenceView more presentations from Shinji Tanaka. カンファレンスの内容については、id:rx7さんのエントリとBB watchさんの記事があがっておりますので、それらをご参照ください。id:rx7さんのエントリには、Ustreamの録画もありますので、是非、ご覧ください。 他のスピーカーの方にも資料公開をお願いしております。公開され次第、リンクを追加していきたいと思います。 来年もネタが溜まれば、是非開催したいと思いますので、今後ともよろしくお願いします。

KOF2009にて、「ウェブサービスのパフォーマンスとスケーラビリティ」と題して発表してきました。発表資料を以下に置いておきます。 Performance and Scalability of Web ServiceView more presentations from Shinji Tanaka. 概要は、「ウェブサービスのパフォーマンスを向上させスケーラビリティを高めるために、はてなでは様々な取組みを行っています。本セッションでは、はてなで採用している具体的な技術、ノウハウ、可視化手法と、それらの効果について紹介します。」というものです。 最近の、Interopやカーネル読書会あたりで話した内容をまとめつつ、レスポンスタイムの可視化という最近の取り組みについて話しました。 最近、レスポンスタイムについては、以下のようなグラフを使っています。 x軸がレスポンス時間、y軸がその時間内に収

2日目の発表も終えました。資料を公開します。 はてなブックマークのシステムについてView more presentations from Naoya Ito. 今日も少し駆け足気味でした。YACP::Asia 2009、今年も楽しかったです。Hackathon 出ずに京都に戻らなければならなかったのが悔やまれます。 発表の様子 撮影: id:hirose31

はてなでは以前から自社製サーバを使用しているのですが、今年の春に、新たに自社製1Uハーフサーバを開発しました。 最近、タワー型だとメーカー製でもかなり安価なサーバがあるのですが、データセンターでの運用を考えると1ラックへの集積度が問題になってくるので、必然的にラックマウント可能なサーバが求められます。1Uサーバの中で価格対性能比のよいものを探すと、まだまだはてな的に使いやすいサーバが少ないので、今回このような1Uラックマウント可能なサーバを自社開発しました。 さてこのサーバの特徴としては、 ケーブル類がフロントアクセス 組み立て簡単 いけてるインフラアルバイトのid:hxmasakiが組み立てると15分 1ラックに60台以上搭載可能 もちろん、電源容量との兼ね合いもあります ディスクのホットスワップが可能 低消費電力 お値段据え置き 以前の自社製サーバとほぼ同価格 といったところがあげられ

株式会社はてなでは創業以来、ある一定数のサーバは自作のものを使ってきました。例えば、これまで主に活躍していたサーバの「金森」（愛称）は社長の近藤が設計したもの。そして、このたび新型の「marqs-60(マルクス60)」（愛称）がデビュー、無事稼動を始めました。 1Uラックマウント可能なサーバを自作する この新しいサーバ、例えてみるなら長身でスリム、おしゃれも気遣うイケメンだぜ……？とにかく今すぐどこかに自慢しにいきたい。そういえば、データセンターをお借りしているさくらインターネットさんとはお互いに勉強会を開く仲。さくらインターネットさんも「自前主義」を掲げサーバを自社で作っていらっしゃるとか。そこで、お互いの自作サーバを持ち合い、お披露目と情報交換をすることとなりました。 さくらインターネットさん側の参加者は、田中邦裕社長(写真右端）、技術部主任の加藤直人さん（写真右から二番目）。 はてな

シンプルでスケーラブルな分散ストレージを自社開発したライブドア 一方ライブドア執行役CTOの池邉智洋氏は，同社のブログや写真投稿サービスなどのインフラで利用中のストレージ仮想化ソフトを自社開発した事例を紹介した。ライブドアのサービス群が求める要件が「いかに安価に容量を追加できるか。過剰な機能と信頼性は不要」（池邉氏）と判断。メーカー製のネットワーク・ストレージの利用を止め，「ファイルのパスがそのままURLになるため，ファイル・システムのパスをURLに変換しなくて済む」HTTPで入出力する分散型仮想ストレージの開発に踏み切ったのだという（写真4）。 設計思想は「複数ノード間の一貫性はCAP定理に基づいて遅延を妥協し，スケーラビリティと読み出しの速さにこだわった。一方で書き込みはそこそこの速度でよく，認証とアクセス制御はアプリケーションで実装するので不要」（池邉氏）というもの。HTTPサーバー

少し前にmizzyさんに そういえば、まっさらなサーバを30分で本番投入できるようにする で stanaka さんが「CPANの依存関係を解析してrpm化する手製スクリプトで、CPANモジュールのrpm化が、ほぼ自動化されています」と書いてるんだけど、これって公開してくれないのかなー。 HowToRpmizeCpanModules - mizzy.org - Trac と突かれたので、githubで公開してみます。 http://github.com/stanaka/cpan-dependency/tree/master 突かれたついでにmizzyさんに軽く動作確認してもらったところ、それなりに動いているようです。また、はてなでは、このスクリプトを利用して、日々それなりの数のCPANモジュールのrpm化を行っていますので、だいたいうまく動くのではないかと思います。 CentOSやFedor

先週、AMD主催のセミナーで「はてなでの仮想化技術の使い方」という発表をしてきました。 はてなでは、1年半ほど前から仮想化技術に取り込んでおり、現在では300台以上のサーバが仮想化されています。仮想化技術には、様々なメリットがありますが、はてなではサーバリソース利用率の向上と、システムの安定化の二つの利点を重視しています。サーバを仮想化していく際に、どのようなポリシーで一つの物理的なサーバに仮想化ホストを積み重ねているか、とか、実際どれぐらい効率を上げられているか、とか、あとAMDさんのセミナーなので、消費電力的にはOpteronが実測結果からは10〜20%程度効率がいい(負荷時にOpteron 1.82A, Xeon 2.17A)、というあたりの話をしてきました。 How to use Virtualization Technology in HatenaView more presen

id:HolyGrail (堀愚霊瑠氏) の「はてなブックマークが重い件について、Page Detailerというツールを使って調べてみる - id:HolyGrailとid:HoryGrailの区別がつかない日記」とか見てて、色々問題点が指摘されてて、うん、まぁそうだねーとか色々と思いつつ、YSlow は、有用なツールである反面、減点基準が必ずしも全てのサイトに適合しないというか、ハッキリ言ってしまえば Yahoo! Inc. 基準すぎるので、鵜呑みにし過ぎるのもどうかなーとか思ってた。 で、気になったのは 13. Configure ETags ETagsっていうのはサーバ上のファイルとブラウザのキャッシュが一致しているかどうかを検証するためのものなのですが、正しく利用できていないのであれば、ETagsは無駄なだけなので取り除いてやりましょう、という項目です。 http://s.hat

JavaScriptの部分は というわけでid:amachangに任せましょう。 というわけでそれ以外の部分でいったいどこが重いのか 何が重いの？ということで重たい箇所を分析していきましょう。 IBM PageDetailer 解析ツールとしてIBM PageDtailerを利用します。 alphaWorks Community 解説するよりも見てもらうほうが早いと思うのでさっそく使ってみるよ。 ちなみに上記ソフトのダウンロードにはIBMアカウント（無料）が必要なので、使いたい人は登録しよう！ http://b.hatena.ne.jp/HolyGrail/ の結果 こんな感じのグラフが出てきます。 では、詳細を見てみましょう。 このグラフですが、長い部分が http://b.hatena.ne.jp/HolyGrail/ のHTMLそのもののロード時間になっています。 内訳としては 濃い

大阪南港ATCで開催された「関西オープンソース2008」の2日目（11月8日）午前中のセッションで、株式会社はてなCTOの伊藤直也氏が「はてな流大規模データ処理」と題した発表を行った。 CodeZine で先日の KOF 2008 (あらかじめ言っておきますが King of Fighters ではないですよ、関西オープンフォーラムです) の発表を記事にしていただきました。ありがとうございます。 発表資料は以下のエントリーにありますので一緒にご覧いただければと思います。 http://d.hatena.ne.jp/naoya/20081111/1226395400 さて、記事内容について少し補足をしておきたいと思います。 メモリとディスクの速度比較について 「メモリはディスクの 150 倍」という話ですが、その後知人と話して検索のインデックスをシークする場合などは ms 対 ns くらい違

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

2008年08月08日00:00 カテゴリ書評/画評/品評iTech DIY 24/7 - 書評 - [24時間365日]サーバ/インフラを支える技術 技術評論社土井様より献本御礼。 24時間365日 サーバ/インフラを支える技術 伊藤直也 / 勝見祐己 / 田中慎司 ひろせまさあき / 安井真伸 / 横川和哉 初出2008.08.03; 販売開始まで更新 実に面白かった。本書単体で読んでも面白いが、「Googleを支える技術」と読み比べると面白さ22倍といったところだろうか。 本書「24時間365日 サーバ/インフラを支える技術」は、はてなとKLabという、実際に24時間365日稼働するサービスを運用している「中の人々」が、それをどうやって実践してきたかを一冊の本にまとめたもの。「外から見て」書いた「Googleを支える技術」は、そこが決定的に違う。 書籍案内：［24時間365日］サーバ