トップ > IT > 自作サーバカンファレンス「はてなの自作サーバの実際」＋他セッション講演メモ

自作サーバカンファレンス「はてなの自作サーバの実際」＋他セッション講演メモ

IT

本日の自作サーバカンファレンス、申し込みして楽しみにしていたのですが、体調がよろしくなかったので泣く泣く不参加・・・にしようとしていたところ、なんと！Ust(USTREAM)配信されているようだったので、そっちで視聴しました。感謝！！

1つ目のトークの"はてな"の自作サーバ事情の話、他各トークセッションのメモ書きを今後の自分のために残しておきます。

田中さん(id:stanaka)のオープニングセッション

  • 自作サーバは安い早いうまい
    • 必要十分な仕様
    • 部品単位で調達・組立
    • 独自のカスタマイズ(SSD使いたい、など)
      • はてなでは1年くらいSSD使っている！
  • 安い
    • Core2Quad + 8GB + SSD X25-M 80GB
    • \100,000 + 5,000/month (1A)
      • \160,000/year
    • Amazon EC2と比べても、1年でもとが取れて、SSDも付いてくる
  • 自作サーバの将来
    • ベースとなる処理 ⇒ 自作サーバ
    • 突発的な処理・負荷 ⇒ クラウド

はてなの自作サーバの実際

  • 株式会社はてな
  • 吉田晃典 氏 (id:marqs)
  • インフラチームのエンジニア
  • 2008/05入社
  • ハードウェア全般、データベース、バックエンドアプリなど担当

はてなの自作サーバ

  • ハーフ1Uシャーシ(marqs-60)
    • フロントアクセス
    • さくらiDCに最適化設計
    • シャーシ奥行き310mm
    • リア吸気、フロント排気
  • 量産化
    • 半年運用
    • 90台以上運用
  • スペック
    • Intel DQ45CB
    • Core2Quad Q9400
    • 8GB (Transend => ACTICA)
    • シャーシ・電源スイッチは自社開発

シャーシ

  • 設計はid:marqs氏
  • 製作は板金工場の職人さん
  • 440mm x 43mm x 310mm
  • 本体
    • 処理鋼板1.2mm厚
    • ケーブルガイドをスポット溶接
  • 耳
    • メッキ加工

電源

  • Enhance社のFlex300
  • 初期
    • 延長ケーブルで対処
    • 毎回延長ケーブルを発注/取り回しが難しい
  • 現在
    • 業者に依頼してケーブル長をカスタマイズ/取り回しGood
    • カスタマイズ電源価格 ＜ (電源＋4pin延長＋24pin延長)の価格

電源スイッチ

  • 最初期
    • ドライバ？で突いてた
  • 初期
    • ユニバーサル基盤に自作ハンダ(最初の10台)
  • 現在
    • プリント基板業者に依頼して一括作成(実装を安くやってもらえる)
    • (ユニバーサル基盤を使っている)

消費電力

  • 低負荷(アイドル)時0.5A
  • 高負荷時1.1A
  • 平均0.7〜0.8A
  • 1電源あたり15台
  • 1ラックに45台

ラッキング

  • ラックに60台収納可能
  • 実際は電源の制限あり〜45台
  • M6ケージナット x 4 で取り付け
  • レールは無し(レール自体は完成している)
  • L字アングルで使える
  • タップ位置重要
    • (8口の電源タップをサイドに取り付けている)

用途(1) アプリケーションサーバ

  • Intel DQ45CB + 2.5inch HDD x 1 + 8GB Memory
  • 基本かつ最安構成
  • HDDが壊れたら即交換
  • Pros: 価格・機動性・AMTでリモートON/OFF
  • Cons: DDR2メモリが高騰している(が、あらかじめ予想して、はてなでは買いだめしているｗ)

用途(2) DBサーバ

  • Intel DQ45CB + Intel SSD X25-M + 8GB Memory
  • DBスレーブ
  • Intel SSDは、まだ1台も壊れていない
    • (安物SSDは壊れまくった)
  • Pros: SSDいけてる(Readのパフォーマンスがかなり良い)
  • Cons: SSDの入手性(はてなでは買いだめしているｗ)/搭載メモリの限界

用途(3) ネットワーク特化サーバ

  • サーバ用M/B(LANx2 + IPMI)
  • トラフィックの多いところ(ルータ、LVS)で利用
    • はてなでは10台くらい
  • 最安構成＋25000円程度
  • ネットワーク担当エンジニアid:maoe氏が愛用
  • Pros: NICの性能・IPMI・メモリレイアウト
  • Cons: 入手性・価格

用途(4) ストレージサーバ

  • 2Uハーフサーバ
    • 既存のシャーシを2枚重ねて、2階建て構成
      • (既存のシャーシを使いまわせるので、シャーシの納期を気にしなくて良い)
    • MogileFS用クラスタに使用
  • Pros: 高密度、特別なパーツが不要、常にギガバイト単位の安いディスクを投入できる(最近は1.5TB使っている、年明けには2.0TBにする予定)
  • Cons: HDDを選ぶ(ピンアップ電流が足りなくて2発しか使えない場合があった)、SATA電源分岐ケーブルが必要、ホットスワップができない

まとめ

  • 自作サーバを量産して
    • ベンダ製サーバを1年くらい買っていない
      • (自作サーバで事足りている)
    • アーキテクチャを自分で決められる
    • ハードウェアトラブルを自分たちで解決する覚悟
  • 今後
    • P55などLGA1156(今はLGA775など)
    • ホットスワップ可能なモジュール
    • RAIDカードの搭載

質疑応答など

  • どんなハードウェアトラブルが多いか？
    • 電源が足りなくてディスクが全部が動かないとか、BIOSを新しくしないとAMTのリモート管理が使えなくなったりとか。
  • リコール対策はどうしているか？
    • 特別なことはしていない。壊れたら捨てる。まったく使えなかったパーツはあまりない。
  • ハードウェアが壊れたときの対応は自社でやっているか？
    • すべて自社で行っている。インフラエンジニアは社員が4人、バイトが3人。実際にDCで手を動かしてるのはバイト。
  • 熱対策は？
    • さくらのデータセンターに任せている。下から冷気があがってくるだけ。
  • 深夜の対応は？
    • 駆け付けは必要だろうけど、リモート対応で大体カバーできる。ここ1〜2年はリモート対応だけ。

追記：自作サーバカンファレンス各セッションの動画

よく考えたらUstなので、各セッションの動画が公開されていますね。
どのセッションも大変参考になる話ばかりです！気になった部分だけ掻い摘んでメモを貼っておきます。
どこも自作サーバのM/BはIntel DQ45CBでしたね。大人気。
あと個人的に、チームラボさんのサーバオフィスの話は、運用ストーリー(苦労話)が普通に面白すぎるので是非みてくださいｗｗｗ

オープニング (はてな、田中氏)

http://www.ustream.tv/recorded/2638311
メモは上記。

はてなの自作サーバの実際 (はてな、吉田氏)

http://www.ustream.tv/recorded/2638321
メモは上記。

ピクシブの自作インフラ事情 (pixiv、上薗氏)

http://www.ustream.tv/recorded/2638380

  • 自作サーバ170台、全て自社サーバルームで運用
  • pixiv、140万ユーザ、9å„„5000万PV/月、3300万PV/æ—¥
  • ベニヤ板にすべてのパーツが載っている自作サーバ！約5万円/1台
    • サーバの固定はガムテープで、ちなみにGoogleはマジックテープらしい
  • 自社サーバルームの電気代は、電気使用量125A(2009/11現在)で、1台あたり平均0.7〜0.8Aの消費
  • 電気代 (オフィス分込み)
    • 2007/10: \91,666 (pixivリリース、社員8人)
    • 2008/10: \175,696 (サーバ70台、社員10人)
    • 2009/8: \312,226 (サーバ120台、社員20人)
  • 回線の太さは2Gbps以上だが、ルータは家庭用ブロードバンドルータを使っている！

自作サーバ運用アメーバピグ編 (サイバーエージェント、桑野氏)

http://www.ustream.tv/recorded/2638413

  • アメーバピグ(Amebaのアバターサービス)、2009/2オープン、2009/11現在150万ユーザ
  • ストレージサーバ(低コストで安定したサーバ)と高密度サーバ(スケールアウト前提で、AtomとCore2Quadを用途で使い分け)で自作サーバを使う
    • Core2Quadモデルは、Web・APサーバ等、ロードバランサで負荷分散される用途
      • アイドル0.4A〜0.5A、最大負荷時0.9〜1.0A
    • Atomモデルは、分散KVS
      • アイドル0.3〜0.4A、最大負荷時0.4〜0.5A
  • ラッキングは、16台1組で6U、1ラック最大96台まで搭載できる
  • 1台20分前後で組み立て。100台構築〜インストール〜サーバ設定まで7時間程度
  • 故障率は9ヶ月で4/200、ただし初期不良は結構あるらしい

自作ラックの作り方 (Cerevo、岩佐氏)

http://www.ustream.tv/recorded/2638493

自作ラックのつくりかた！！すごいよ。
自作サーバの設計もかなり深い話で、消費電力は最小17Wまでになったとのこと！

サーバオフィス作っちゃいました (チームラボ、田村氏)

http://www.ustream.tv/recorded/2638546

この運用苦労話の面白さは、残念ながらテキストでは伝わりません！是非動画をみてください。サグールハウス・・・。
漏電ｗｗ感電ｗｗサーバオフィスｗｗ浸水ｗｗ土嚢ｗｗｗ
自作サーバを作ることもそうですが、それ以上に運用の大変さ・面白さが伝わってきますｗ

関連リンク

rx7 読者になる

関連記事
コメントを書く