JJUG CCC 2009 fall に行ってきました

スーパー台風が直撃し、山手線をはじめ主要交通機関が全面的にストップするなか、CCC は午前中 30 分遅れになったものの、基本的につつがなく進行。すごいよ。

頓知・の井口さんの基調講演に何とか滑り込み、セカイカメラの野望を聞きながら、会場にペタっとエアタグを貼ったりしていました。 :-p

午後のセッション最初の、日経BP社 / 日経コンピュータの中田敦さんのお話が個人的にはとても楽しかったので、少し詳しめにメモを残しておきます。

# 聞き間違いや勘違いがあるかもしれないので、ご容赦ください。

データセンター視点で比較したクラウドの内側

• 中田さん
  • 日経コンピュータクラウド担当
  • 著書: クラウド大全 サービス詳細から基盤技術まで
  • その他、日経コンピュータの Google 特集で "Google は異形のメーカー" とか
  • (そう言えば、Erlang User Conference のときに名刺交換したな...)

• 問題意識
  • なぜクラウドを使うのか
  • 安いからというのは誤解
  • クラウドが提供するアプリのほうが、PC のアプリより優秀だから
    • CPU もメモリもディスクもすべて性能が上
    • 検索エンジン、Google Maps、...とかローカルアプリとして実現しようとしたら大変だよね
    • Web ブラウザ以外での利用も可能に

• Google が提供するアプリケーションはなぜ高速なのか？
  • Ken Thompson 氏:「重要なのはクラウドコンピュータが Google にあること」
  • 個人がもちえない超高速コンピュータ、それをつくったという意味で異形のメーカー

• サーバ生産台数
  • DELL、HP に続いて世界 3 位の可能性!!!
  • データセンターでは 300 万台が稼動してるらしく、年に数百万台生産しているはず
  • 世界的には、年間 800万台のサーバが生産
  • MS,Google,Amazon,Yahoo! の 4社で 20%、約 150万台のサーバを 1年で購入？

• Google の先進性
  • 2006年に Project Black Box ã‚’ Sun が発表したとき誰が使うの？と思ったが、
  • 実は 2005å¹´ 11月から Googleはすでに運用していた!?
  • 去年の今頃には、潮力発電の水上型データセンターの特許をとっている...
  • もうできつつあるのかもしれない

• Google サーバ
  • ノートPC のように 12V のバッテリー内蔵
  • UPS 使わない
  • 200 or 400 V で蓄電しても無駄なので、マザーボードのそばで蓄電したほうが効率が高い

• 電力利用効率
  • PUE
  • 冷却コストが高いほど値が大きくなってしまう
  • Google は 1.2 を実現
  • 日本の標準的なデータセンターは PUE 2.3 - 2.5 とか
  • IBM の最新鋭で 1.8、日立の最新鋭で 1.6
  • でもこれは計画値であり、データセンターが満床にならないとだめ
  • Google はすでに実測値なのがすごい

• 影響を受けているのはマイクロソフト
  • Gmail 1GB のとき、MS は 25MB
  • 追い付こうとしたが、追い付けない
  • MS は組織を全面変更、デンターセンター運用部門を内部にもった
  • ATOM 搭載サーバは DELL がつくってるらしい
  • 二階建コンテナサーバもすべて MS のためにつくって、シカゴのデータセンターに納入されている
  • MS のデータセンター部門が設計したものを、DELL につくらせているっぽい

• Amazon
  • データが公開されてないので規模を推測してみた
  • Rackable System (現 SGI)のサーバ売上 2å„„5千万ドルのうち 35% が Amazon
  • 1年で 2万5千台くらい調達しているはず
  • となるとデータセンター的には 7-10万台くらいあるはず
  • 最近は Amazon も自作をはじめたという噂がでている

• Yahoo!
  • 本社前にコンテナ型データセンター
  • なかで Hadoop まわしてる？
  • SGI の ICEcube で水冷方式
    • コンテナ 1台あたり 2400台
    • ストレージ容量も 1台でペタバイト級

• MS のシカゴのデータセンター
  • コンテナ 112台 (当初は 200台の予定だった)
  • サーバ 22万4000台 (予定は 50万?)
  • コンテナ型をつかう理由
    • 冷却効率がいい
    • ラックにマウントするコストがばかにならない
    • 年間何十万台もデプロイできない
    • どーんと駐車場のような広い場所にコンテナを並べるだけ
  • 第四世代データセンター構想
    • 建物もつくらずにコンテナを野晒しでおくだけ
  • HP, DELL, IBM は Google ã‚’ 3年遅れくらいでおいかけてるのが現状

• シカゴのデータセンターの規模感
  • 日本の年間のPCサーバの出荷代数 55万台
  • シカゴデータセンター、30 - 40万台
  • 50M ワットの年間電気料金は 110億円 (東京電力)
  • 1サーバあたり、100-150 ワット

• ATOM とか ARM とか
  • ATOM は超低消費、数十ワット？
  • James Hamilton は ARM プロセッサでサーバをつくるとか言ってる
    • LADIS (Large-Scale Distributed Systems and Middleware) でキーノートしゃべったひと
    • http://mvdirona.com/jrh/TalksAndPapers/JamesRH_Ladis2008.pdf
  • ATOM は ECC メモリに対応してないが、ARM は対応している (サーバにいいよね)
  • そして ARM は超超低消費、2W..!?

• The Data Center as a Computer
  • 今回のネタ本w
  • 日経BP社から翻訳決定、年明けくらいにでる
  • 原著の訳に加えて、MapReduce とかの論文も入れたいそうな
  • ちなみに原著の PDF 版は無料で公開

The Data Center as a Computer: An Introduction to the Design of Warehouse- Scale Machines (Synthesis Lectures on Computer Architecture)

• チラーレス
  • Google のベルギーのデータセンタはチラータワーがない
  • 高いとこに水を運んで落とすことで気化熱で冷ます、これがチラータワー
  • ベルギーみたく水が豊富なとこではそれが不要
  • 川から水をひいてあっためたまま返すのかな？ (^^;
  • さらに、寒いとこにデータセンターつくることで冷却コストなしにしようとしてる

• 逆に、冷やす必要はない!?
  • データセンターは、27 - 29 度が最適とも言っている by Google
  • 摂氏50度未満ならハードディスク温度と故障率に相関関係はない
  • サーバルームの高温化競争
  • これがグリーンIT ww
  • 「グリーンデータセンター」

• サーバの管理
  • MS では 1人の管理者が 5000台を管理
  • こわれたサーバは修理/交換しない、定期的なメンテナンス時にのみ交換する
  • サーバのメンテナンスはバッチ処理的に行ったほうが効率的
  • Amazon でも Google でもそうしてるらしい
  • 50万台あっても100人で管理
    • シカゴの創出雇用は50人から100人？
    • 誘致しても無駄..w

• 自前主義
  • 一番大事なデータセンターのプロパティはオープンにしてない
  • Android はある意味どうでもいい部分
  • 「巨大なクラスタを保有しないサードパーティ、ソフトウェア、プロバイダがソフトウェアのテストやチューニングを十分な水準で行うのは困難だ」
  • OS レイヤがあるとしたら、それは「Cluster-Level Infrastructure」のことだ
    • Linux は OS だと思ってない？
  • ProLiant の価格性能比は、SuperDome の4倍
    • どんな大きな SMP サーバでも1台ではまかないきれない
    • レイテンシはLANに集約されるので、SMP サーバを利用するのは無駄
  • プロセッサ使用率が高いほど消費電力効率が良い
    • つまり、安い遅いほうがよい

• Google にとっての障害 (上から順に重い)
  • 喪失、データが再生成できない
  • 未到達、サービスがダウン
  • 劣化、サービスは使えているが劣化している状態
  • 隠蔽、S/W H/W で問題をカバーできてる状態

• スループット指向とレスポンス指向
  • 両立できないといけない
  • MapReduce がうまくいくのは数千台が連携しながらもうまくいける対障害性

• Salesforce CTO
  • 近い将来 Oracle がなくなるかもしれない
  • クラウドベースのデータベースの時代の到来を予感している
  • Oracle べったりなとこから、Google のやりかたをとり入れはじめてる

From SQL way to Bigtable way by ひがやすをさん

• Bigtable 使ったことあるのは会場の 3割くらい
• Bigtable の制限にどう対応していくか
  • Join 使えないよとか文句言ってると、それ RDBMS
  • atomic put ã‚„ atomic get の話
  • index ã‚„ table の話
  • 複雑なクエリは API で取得して、オンメモリでがちゃがちゃ

クラウドにおけるスケールアウト設計を掘り下げる by 萩原正義さん

• Azure には SQLAzure があるらしい
  • スケーラビリティは劣るが、既存資産の移行では便利
  • クラウドの使用料としては RDBMS はかなり高い
  • 自分でやったほうが安くなるw
• クラウドのアプリケーションアーキテクチャをどう考えるか
  • 概念モデルからデータとデータの関係性
    • 意味、コンテキスト
    • 関数従属性、正規化
  • ユースケースから一貫性の条件
    • トランザクションというかたちでモデル化
    • ACID ではなく、一貫性要求にもとづいたもの
    • 一貫性に対する要求の強弱に応じてモデル化
      • Immediate/Eventually/No Consistency
    • 参照/更新、CRUD、アクセス頻度
    • 並列性、可換性
    • テスト可能性
    • 保守性、配布

クラウドアプリケーションのつくり方

• edge2.cc の浅海智晴さん
  • モデル駆動開発×クラウドコンピューティングの実証プロジェクト
• GAEJ
  • 基本的には Servlet コンテナ
  • 使用できる API が限られているのでフレームワークなどは完全に動作しない
  • RDBMS サポートしない、KVS のみ
  • スレッドは使用できない
  • MOM は未サポート
  • Cron による定期的実行
  • 1.2.5 から experimental として TaskQueue をサポート
• GAEJ で開発してみた経験から
  • REST でいくのが楽
  • MVC2 (Webアプリケーション向け)から、MVC (GUIアプリケーション向け)
  • サーバ側の開発手法は既存の F/W が利用できないので変わるかも
  • HTML5 & REST、あるいは敷居が高ければ GWT も候補か
  • メッセージ指向、いずれは Apache Camel？
• SimpleModeler の話
• TwitterRecommender の話

最後はライブコーディングを少し覗きつつ、引きあげてきましたー。slim3 や wicket のライブコーディングが見れたのは面白かったです。

スタッフの皆様、講演者の皆様、おつかれさまでした。