【15-B-1】AmazonのDevOpsを支えるAWSクラウド
- 1. Developers Summit AmazonのDevOpsを支える AWSクラウド 2013年2月15日 アマゾン データ サービス ジャパン 株式会社 テクニカルエバンジェリスト 堀内康弘 Developers Summit 2013 Action ! Friday, February 15, 13
- 2. Developers Summit Who am I ? • 堀内 康弘 (ほりうち やすひろ) – 1978年生まれ 山梨県出身 • AWS テクニカルエバンジェリスト ※2012年年の実績 – 130回以上の講演 、35回以上のハンズオン – 120本以上のブログ記事(AWSの最新情報を投稿) Amazon Web Services ブログ h>p://aws.typepad.com/aws_japan/ @horiuchi • 10+ years web engineer in startups horiyasu – Director of V-‐cube (perl), 2001 -‐ 2006 – CTO of FlipClip (perl), 2006 -‐ 2009 フォロー、友達申請歓迎! – CTO of gumi (python), 2009 -‐ 2012 Developers Summit 2013 Action ! 2 Friday, February 15, 13
- 3. Developers Summit 何の数字でしょうか? 11秒に1回 Developers Summit 2013 Action ! 3 Friday, February 15, 13
- 4. Developers Summit 何の数字でしょうか? A. Amazon.comで新しいコー ドがデプロイされる平均間隔 11秒に1回 Developers Summit 2013 Action ! 4 Friday, February 15, 13
- 5. Developers Summit 何の数字でしょうか? 1079回 Developers Summit 2013 Action ! 5 Friday, February 15, 13
- 6. Developers Summit 何の数字でしょうか? A. Amazon.comで1時間に デプロイされた最大回数 1079回 Developers Summit 2013 Action ! 6 Friday, February 15, 13
- 7. Developers Summit どうして実現できるのか? • 物理制約がなくなり、ITリソースに制限が なくなった。 • あらゆるリソースがプログラマブルになっ た Developers Summit 2013 Action ! 7 Friday, February 15, 13
- 8. Developers Summit 2003年年当時、年年商約4000億円の (1ドル80円換算) 企業であったAmazon.comが 必要だったITリソース ＡＷＳに毎⽇日追加 Developers Summit 2013 Action ! Friday, February 15, 13
- 9. Developers Summit Amazon Simple Storege Service (S3)の利用規模 1.3兆 オブジェクト！ 1.3 Trillion Total Number of Objects Stored in Amazon S3 905 Billion Peak Requests: 835,000+ 762 Billion per second $0.15/GB/Mo $0.12/GB/Mo $0.105/GB/Mo 継続した $0.095/GB/Mo $0.09/GB/Mo 値下げ実施 262 Billion $0.06 /GB/Mo 102 Billion 14 Billion 40 Billion 2.9 Billion Q4 2006 Q4 2007 Q4 2008 Q4 2009 Q4 2010 Q4 2011 Q1 2012 Nov 2012 Developers Summit 2013 Action ! Friday, February 15, 13
- 10. Developers Summit 全てがプログラマブルなリソースに コンピュート セキュリティ スケーリング CDN バックアップ DNS データベース ストレージ ロードバランサ ワークフロー モニタリング ネットワーキング メッセージング Developers Summit 2013 Action ! Friday, February 15, 13
- 11. Developers Summit プログラマブルなリソース ec2-run-instances ami-b232d0db --instance-count 3 --availability-zone ap-northeast-1a --instance-type m1.small ec2-run-instances ami-b232d0db --instance-count 3 --availability-zone ap-northeast-1b --instance-type m1.small Developers Summit 2013 Action ! 13 11 Friday, February 15, 13
- 12. Developers Summit 古い世界 • あらゆるリソースに制約があった – 初期投資 – キャパシティ – 場所 Developers Summit 2013 Action ! 12 Friday, February 15, 13
- 13. Developers Amazon.com 11月のトラフィック Summit Capacity Held Developers Summit 2013 Action ! 13 Friday, February 15, 13
- 14. Developers Summit ピークに合わせてシステム構築 Capacity Held 76% Capacity Used 24% Developers Summit 2013 Action ! 14 Friday, February 15, 13
- 15. Developers Summit 現在では・・・ Developers Summit 2013 Action ! 15 Friday, February 15, 13
- 16. Developers Summit 2010年11月10日 • Webサーバーを全てクラウドに移行完了 – 無駄なキャパシティを削減 • EC2とオートスケールにより、スケールにあわせて1台単位で 柔軟に対応 – スパイクトラッフィックにも、より容易に対応可能に – 調達のための時間が不要になり、お客様やサービス改 善ために費やせる時間が増加 Developers Summit 2013 Action ! 16 Friday, February 15, 13
- 17. Developers Summit • リソースに制限がある世界 – リソースにフォーカス • リソースに制限がない世界 – ビジネスにフォーカスできる! Developers Summit 2013 Action ! 17 Friday, February 15, 13
- 18. Developers Summit The New World 物理理制約のない世界 Developers Summit 2013 Action ! Friday, February 15, 13
- 19. Developers Summit 新しい世界の4つルール コントローラブル レジリエント アダプティブ データドリブン Developers Summit 2013 Action ! 19 Friday, February 15, 13
- 20. Developers Summit コントローラブル Developers Summit 2013 Action ! Friday, February 15, 13
- 21. Developers Summit コントローラブル ビジネスがアーキテクチャをコントロールする Developers Summit 2013 Action ! 21 Friday, February 15, 13
- 22. Developers Summit コントローラブル • ブロック単位でコントロール • ブロック=小さく、疎結合、ステートレス • APIによる自動化 • 使った分だけの従量課金 Developers Summit 2013 Action ! 22 Friday, February 15, 13
- 23. Developers Summit コントロールの単位は疎結合、ステートレスなブロック お客様のアプリケーション ライブラリ & SDKs IDEプラグイン Web管理理画⾯面 モニタリング デプロイと⾃自動化 デプロイ & 管理理 認証 Java, PHP, .NET, Eclipse Management Amazon AWS Elastic Beanstalk AWS IAM Python, Ruby Visual Studio Console CloudWatch AWS CloudFromation メッセージ Amazon SNS 検索索エンジン ワークフロー管理理 Amazon SQS Amazon Cloud Search Amazon SWF Amazon SES アプリケーション サービス コンテンツ配信 分散処理理 キャッシング Amazon CloudFront Elastic MapReduce Amazon Elasticache コンピュータ処理理 ストレージ データベース Amazon S3, Amazon EBS Amazon RDS Amazon EC2 Amazon Glacier Amazon DynamoDB Auto Scale AWS StorageGateway Amazon SimpleDB インフラ ストラクチャ ネットワーク & ルーティング サービス Amazon VPC / Amazon Elastic Load Balancer / Amazon Route 53 /AWS Direct Connect AWS グローバルインフラ Region AZ Developers Summit 2013 Action ! Geographical Regions, Availability Zones, Points of Presence Friday, February 15, 13
- 24. Developers Summit 疎結合の例: IMDb Before: 密結合。 Amazonのアクセスが増えると、すぐにIMDbがパンク Amazon IMDb Amazon Webサーバ IMDBサービス エンド ユーザ サービスコール 描画 IMDB データベース Developers Summit 2013 Action ! 24 Friday, February 15, 13
- 25. Developers Summit 疎結合の例: IMDb Aer: 疎結合。ページのレイテンシが削減 、独立して開発可能 S3の堅牢性、スケーラビリティを利用 Amazon Amazon IMDB Webサーバ S3 エンド S3からHTML ユーザ 取得 ajax HTMLを保存 Developers Summit 2013 Action ! 25 Friday, February 15, 13
- 26. Developers Summit APIによる自動化 • 負荷に合わせてオートスケール – amazon.com • Puppet、Chefの利用 Developers Summit 2013 Action ! 26 Friday, February 15, 13
- 27. Developers Summit 使った分だけの費用負担：Pay as you go クラウドサーバ ＝ 約1.6円〜～280円 / 時間 Amazon EC2 EC2 クラウド ストレージ ＝ 約８円/ 1GB / 1ヶ⽉月 使った分だけの⽀支払いで Amazon S3 クラウド 無駄がなくなる •アーカイブ ＝ 約1円/ 1GB / 1ヶ⽉月 コンピュートリソースは必要な時にだけ1時間単位で利利⽤用 • Amazon ストレージも1GB単位で必要な分だけ利利⽤用 Glacier • データ転送も必要な帯域だけ利利⽤用 (帯域絞りがない) データ転送 ＝ 約16円 / 1GB （上りは無料料） (⽉月1GBまでは無料料） Developers Summit 2013 Action ! ※1円＝80円で計算 Friday, February 15, 13
- 28. Developers Summit エンジニアはコスト意識を持つべき • 物理制約のある世界 = ハードウェア単位 • 新しい世界 = CPU、メモリ、ストレージ、 通信料 使った分だけ支払い Developers Summit 2013 Action ! 28 Friday, February 15, 13
- 29. Developers Summit レジリエント 顧客のビジネスを守る Developers Summit 2013 Action ! 29 Friday, February 15, 13
- 30. Developers Summit リジリエント • 回復力のあるシステム設計を心がける – 最初から2つ以上のAZを使い、DCレベルの冗長化を実現 – 障害を例外として扱わない • メモリ・プロセッサ・電源あらゆるものは壊れる Developers Summit 2013 Action ! 30 Friday, February 15, 13
- 31. Developers Summit 世界に広がるAWSインフラストラクチャ― リージョン エッジローケーション オレゴン GovCloud 東京 ダブリン バージニア カリフォルニア シンガポール サンパウロ ⽇日本を含めて世界8リージョンから選択可能 Developers Summit 2013 Action ! 31 Friday, February 15, 13
- 32. Developers Summit クリック一つで複数DCを選択可能 アベイラビリティ ゾーン A EC2 任意のゾーンに 分散配置可能 アベイラビリティ ゾーン B EC2 S3 データを 3箇所以上に S3 ⾃自動複製 S3 サーバもデータも、国内の 複数のデータセンターで冗⻑⾧長性を確保 Developers Summit 2013 Action ! Friday, February 15, 13
- 33. Developers Summit 導入事例：花王様 • 対外向けコーポレートウェブサイトおよび CMSを全てAWSに完全移⾏行行 http://www.kao.co.jp http://www.kao.com http://www.sofina.co.jp etc. • グローバルの花王グループのインフラを統合 するためにAWSを選定 • 従来のデータセンター利利⽤用時より年年間コスト 80%削減 • AWS利利⽤用正式決定後、システム構築から移⾏行行 まで4ヶ⽉月で完了了 機器設置が数⽇日で完了了する点が⾮非常にメリット • Multi-‐‑‒AZ構成により冗⻑⾧長構成化を⾏行行いシステ ム可⽤用性を向上 “AWSは柔軟性が⾼高いため常に最適なサーバーを利利⽤用することで性能を格段に上げられ ました。今後はハードウェアの陳腐化を気にすることなく運⽤用することが可能となりま Ca した。” se 花王株式会社 デジタルコミュニケーションセンター ⽥田中 剛 様 St Developers Summit 2013 Action ! ud y Friday, February 15, 13
- 34. Developers Summit 事例：東芝メディカルシステムズ様 • 東芝メディカルシステムズのPACS医 ⽤用画像保存にAmazon S3を利利⽤用 • ⼆二重の暗号鍵とクラウドストレージの活 ⽤用で信頼性を確保 • ⼩小規模から⼤大規模の医療療機関まで対応 “医療療機関として保管が義務付けられている診療療データ（画像）を、安全な場所に 保管することにより、災害時やシステムトラブルなどで院内に保管している画像 データが消失しても速やかに復復元または参照できるようになります” Ca se St 東芝メディカルシステムズ株式会社 参与 川本卓司様 ud Developers Summit 2013 Action ! y Friday, February 15, 13
- 35. Developers Summit アダプティブ 固定したリソースに依存しない柔軟性 Developers Summit 2013 Action ! 35 Friday, February 15, 13
- 36. Developers Summit アダプティブ • 顧客のビジネスにフォーカスするところか らはじめる • サーバがどれだけ必要か、何も仮定しない • リソースは必要な時に追加できる。 Developers Summit 2013 Action ! 36 Friday, February 15, 13
- 37. Developers Summit 調達に時間をかけるのはナンセンス オンプレミス・既存DC クラウド 新しいインフラの構築は ワンクリックで新しい 複雑かつ遅くなりがち インフラを⽤用意 必要 調査 評価 新しいデプロイ環境 エンジニ 新しいテスト環境 設計 計画 新しい環境を⽇日本に追加 コミッショ 調達 契約 ン 100サーバ追加 デプロイ 100サーバ削除 Developers Summit 2013 Action ! 37 Source: PTS Data Center Solutions Friday, February 15, 13
- 38. Developers Summit プロモビデオ作成サービス トラフィックの急増にも対応 (ピーク時は5000サーバー) EC2サーバの数 Facebook上での公開 Ca se St 4/12/2008 4/14/2008 4/16/2008 4/18/2008 4/20/2008 ud Developers Summit 2013 Action ! y 38 Friday, February 15, 13
- 39. Developers Summit gumi事例：AWS運用モデル • ゲームのライフサイクルにあわせて、サーバー台数、サーバースペッ クを調整 開発時 申請時 公開時 ロードバランサー ロードバランサー APサーバ APサーバ APサーバ c1.xlarge 1台にまとめて開 発者毎に準備 Cacheサーバ KVSサーバ DBサーバ 最少構成で準備 Ca Cacheサーバ DBサーバ DBサーバ se (マスター) m1.large (スレーブ) KVSサーバ m1.large St m1.large APサーバ群を増強し、DBをマルチAZ構成に変更更 ud Developers Summit 2013 Action ! y Friday, February 15, 13 39
- 40. Developers Summit gumi事例：ピーク時のさばき方 • 突発的な対応が必要なときは、EC2、RDSの台数増加や、スペックを 上げて、時間をかせぐ ロードバランサー スケールアウト APサーバ c1.xlarge → 60台 m1.large m2.4xlarge メモリ 7.5GB CPU 4ECU メモリ 68GB スケールアウト スケールアップ CPU 26ECU Ca Cacheサーバ DBサーバ se DBサーバ (マスター) (マスター) m1.large → 4台 St KVSサーバ m1.large m2.4large m1.large → 8台 ud y Developers Summit 2013 Action ! Friday, February 15, 13 40
- 41. Developers Summit データドリブン 実際のデータに基づく Developers Summit 2013 Action ! 41 Friday, February 15, 13
- 42. Developers Summit データドリブン • 全てのデータを集め、計測する。 – データを取得できない理由はもはやない Developers Summit 2013 Action ! 42 Friday, February 15, 13
- 43. Developers Summit ビッグデータの解析もシンプルに実現可能 Glacier S3 分析クラスタ EC2 Dynamo RDS Amazon EMR EC2＋BI DB 結果の共有 データ収集 データ保存 データ解析 ビジュアライズ 1 2 3 4 Developers Summit 2013 Action ! 43 Friday, February 15, 13
- 44. Developers Summit オバマ大統領選挙戦 • システム要件 – 投票解析データベース – 寄付受け付け用コールセンターアプリ – サポーター用プラットフォーム – barackobama.com ウェブサイト 投票日当日 – その他 200のアプリ 27TBの解析DB 7000人同時通話 計100万コール Ca se 50万トランザクション/秒 St ud Developers Summit 2013 Action ! y 44 Friday, February 15, 13
- 45. Developers Summit 4つのルールのまとめ • コントローラブル – ビジネスレベルでのコントロール – コストを最初のオブジェクトと考える • レジリエント – 障害を例外として扱わず、最初から組み込む • アダプティブ – 最初から制約を考えず、後から追加できるようにする – どこまでもスケールできる設計を心がける • データドリブン – すべてログを取る Developers Summit 2013 Action ! 45 Friday, February 15, 13
- 46. Developers Summit Acaon! Developers Summit 2013 Action ! Friday, February 15, 13
- 47. Developers Summit クラウドのパワーを⼿手に⼊入れよう! Developers Summit 2013 Action ! Friday, February 15, 13
- 48. Developers Summit Acaon!のためのAcaon! Developers Summit 2013 Action ! Friday, February 15, 13
- 49. Developers Summit AWS無料セミナー・ハンズオン • ⾃自社ECサイト構築に興味のある⽅方 – 2/18 EC-‐‑‒CUBE x Amazon ⾃自社ECサイト構築セミナー • AWSのストレージサービス詳細をご紹介（バックアップ〜～アーカイブまで） – 2/21 AWSバックアップ＆アーカイブソリューションセミナー • AWSって何?を知りたい⽅方 – 2/21 はじめてのアマゾンウェブサービス • 実際にAWSをさわって体験してみたい⽅方 – 3/5 AWS体験ハンズオン 〜～アカウント作成 & 仮想サーバー EC2編 〜～ – 3/13 AWS体験ハンズオン 〜～ セキュア&スケーラブルウェブサービス基 盤構築編 〜～ http://aws.amazon.com/jp/event_̲schedule/ Developers Summit 2013 Action ! 49 Friday, February 15, 13
- 50. Developers Summit AWS クラウドデザインパターン 実装ガイド • 設計ガイドに続く第二弾 • 日経BP社より、2/7 発売開始 • 実装手順を画面に沿って解説 – コンテンツ配信 – Eコマース – キャンペーンサイト • アカウント作成/基本操作も網羅 • ハンズオンにも最適！ Developers Summit 2013 Action ! 50 Friday, February 15, 13
- 51. Developers Summit JAWS-‐UG (Japan AWS User Group) 現在 全国31⽀支部! 札幌 岩⼿手 シンガポール ⻑⾧長岡 福井 仙台 京都 ⾦金金沢 さいたま東京 ⼭山⼝口 岡⼭山神⼾戸 福岡 つくば 佐賀 横浜 ⻑⾧長崎 広島 ⼤大阪 湘南 熊本 名古屋 浜松 静岡 ⼤大分 徳島 クラウド⼥女女⼦子会 宮崎 ⿅鹿鹿児島 沖縄 ハッシュタグ #jawsug Developers Summit 2013 Action ! 51 Friday, February 15, 13
- 52. Developers Summit JAWS DAYS 2013 (3/15 -‐ 3/16) http://jaws-‐‑‒ug.jp/jawsdays2013/ Developers Summit 2013 Action ! 52 Friday, February 15, 13
- 53. Developers Summit 25ドルのAWSクーポン差しあげます! • AWSアカウント未取得の方 – AWSアカウント取得後、@horiuchi 宛てに 「AWSアカウント取得なう」 • AWSアカウント取得済みの方 – CDP実装ガイド購入後、@horiuchi 宛てに「CDP 実装ガイド購入なう」 Developers Summit 2013 Action ! 53 Friday, February 15, 13