RiakCSとmixiプライベートクラウド環境
•
32 likes•6,749 views
Riak Meetup Tokyo #3 の資料です。 RiakCS自体の運用と社内のプライベートクラウドの中でどのように使っているかという内容がメインです。
RiakCSとmixiプライベートクラウド環境
- 1. RiakCSと mixi プライベートクラウド環境 Hidetaka Kojo / @hdtkkj mixi, Inc. 1
- 7. なぜプライベートクラウドなの？ （以前の環境） • 巨大な単一リポジトリのcodeを管理する開発者 • deployとミドルウェア、物理サーバを管理するops • 飛び交うサーバ確保依頼と設定依頼 7
- 8. なぜプライベートクラウドなの？ （指向する未来） • 小さなチームで複数のプロダクトを作成 • 開発者が好きにサーバリソースを使える環境 • もうチケット処理に追われたくない.... 8
- 9. mixiのプライベードクラウド環境 1 • OpenStack + Chef + 独自のDeployTool • • • • GUI(horizon)からインスタンスを作成 gizmo yamlに各サーバの構成を記載して反映 DeployToolでアプリケーション配布 社内での名前は gizmo 9
- 15. RiakCSの検証 2 容量（オーバーヘッド) node member-‐status 実際 (理論値) [email protected] 18.8% -‐> 452G (441G) [email protected] 18.8% -‐> 452G (441G) [email protected] 18.8% -‐> 452G (441G) [email protected] 18.8% -‐> 452G (441G) [email protected] 25.0% -‐> 602G (586G) • nodeに対してばらつきがあるのはvnodeの数が 16個のため • • 少ない追加容量でデータが格納されている 削除に関してはフラグ管理して、後ほど削除が走るので、 すぐに減らないので気をつける... 15
- 16. RiakCSの検証 3 PUT性能 • DiskはSAS 15rpm x 6のRAID5 (ext4 noatime,data=writeback,barrier=0) • 5nodeのclusterで、2Mのファイルのputを80req/sく らいは食えていた • • node側のtrafficは900M程度 CPU,io,trafficが詰まった様子はないが、403のエラ ーがぽつぽつ出て頭打ちに... 16
- 18. RiakCSの検証 5 検証中に気になった点 • lsが遅い • keyのprefixを使ってファイルシステムのようにlsをする とnodeをまたいでリクエストが飛ぶのでかなり遅い • • • トラフィックとread IOがかなり出る 1.4系でだいぶ改善 3min -> 15sec程度 でも遅いので、サービスから叩いたら負けだと思います 18
- 20. mixiでのRiakCSの構成 • • • LBの下に並べてる trafficが結構でるので10Gエッジスイッチの下に... stanchionはシリアライズする必要があるので、vipをはっ ている 20
- 22. RiakCSのモニタリング 2 • RiakCSのstatsで見ているもの • オブジェクトに対するget/put/delete/headの数と latency(median & 95%) • bucketへのlistリクエストの数のlatency (median & 95%) 22
- 23. RiakCSの死活監視 • riak ping, stanchion ping, riak-cs ping • • snmpdのextend MIBに登録 clusterのnode状態監視 • Riakのstatsからconnected_nodesの数を監視 23
- 26. 実用例 26
- 28. ログ保存用のクラスタ 28
- 30. 新しいログ構成1 30
- 32. 新しいログ構成 3 • 複数のアカウントを管理するツールを作成 • アカウント管理,バケット操作,ACL操作etc.. • RiakCS Controlは今のところまだまだ... • RiakCS触るならFogが便利 • 解析チームには全バケットのread権限をやりたい • ただpolicyファイルによる特定IDに対する 権限付与はまだ未実装 • コードにはToDOで記載されてるので今後に期待! 32
- 36. ログの利用(To Do) • 一通り動いているが、本当に大量のデータを使った 動作検証は現在継続中。 • • • とりあえずこの部分がだめでもRiakCSは使う予定(笑) 今のところ、変な動きはない ElasticSearchインスタンスにRiakCSから bulk insertするliver pluginとか継続して試してみたい 36