Nttドコモ事例から見るモバイル＆クラウド時代のサービス開発についてr4(public)
•
23 likes•9,769 views
http://www.awssummittokyo.com/session.html 「AWS re:Invent2013」においてドコモが公表した音声エージェントサービスのEC2数千規模のAWS大規模実装について紹介する。数か月という短期間でのシステム開発、米国西海岸と東京をまたがるクロスリージョンでのシステム運用、可用性とスケーラビリティを担保するためのデザインパターンがその内容である。またオンプレミスと同等レベルの高セキュリティ化構成を新たなシステム開発事例として紹介して、AWSの利用がビックデータ処理にまで進展している事例を述べる。 さらに開発スタイルそのものを変革することの重要性、部署間にまたがる課金、リソース配分最適化など大組織特有の課題についても議論する。
![[de:code 2019 振り返り Night!] Data Platform](https://cdn.slidesharecdn.com/ss_thumbnails/20190610decode2019dataplatformrecap-190610113039-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (19)
Viewers also liked (20)
Similar to Nttドコモ事例から見るモバイル＆クラウド時代のサービス開発についてr4(public) (20)
![Wireless Japan[講演]八子 20110526](https://cdn.slidesharecdn.com/ss_thumbnails/wirelessjpr20110526-1307275528-phpapp02-110605070856-phpapp02-thumbnail.jpg?width=560&fit=bounds)
![LTEモバイルクラウドセミナ[講演1] R 20101116](https://cdn.slidesharecdn.com/ss_thumbnails/lte1r20101116-1307258219-phpapp01-110605060008-phpapp01-thumbnail.jpg?width=560&fit=bounds)
More from Osaka University (20)
Recently uploaded (9)
![ElasticsearchでSPLADEする [Search Engineering Tech Talk 2025 Winter]](https://cdn.slidesharecdn.com/ss_thumbnails/searchtech-250228102455-ddc5ce09-thumbnail.jpg?width=560&fit=bounds)
Nttドコモ事例から見るモバイル＆クラウド時代のサービス開発についてr4(public)
- 1. © 2014 NTT DOCOMO, INC. All rights reserved. NTTドコモ事例から見る モバイル＆クラウド時代のサービス開発について 1 栄藤 稔 @mickbean NTT DOCOMO
- 2. WebサービスのAWS大規模利用 © 2014 NTT DOCOMO, INC. All rights reserved. モバイル＆クラウド時代のお話 2 使ってみることが大事 社内の反応にも変化 クラウド機能の進化 開発スタイルにも変化 業務系サービスのAWS大規模利用 ビリングの最適化も課題
- 3. © 2014 NTT DOCOMO, INC. All rights reserved. 3 AWS re:Invent 2013
- 4. © 2014 NTT DOCOMO, INC. All rights reserved. 基本アーキテクチャ２０１０ Logging Voice Recognition Task Recognition Logging Voice text text contents Service Providers’ DB contents text Text to speech (inspired by Microsoft Bing, and Google Voice Search) 4
- 5. © 2014 NTT DOCOMO, INC. All rights reserved. 急発進 •Mar 2012 –0.5M accesses/day •Apr 2012 –1.5M accesses/day •Jul 2012 –2.5M accesses/day 5
- 6. © 2014 NTT DOCOMO, INC. All rights reserved. Version 1 Implementation (Mar. 2012) A LB B Started with two local cloud providers in Japan, and soon faced two difficulties: •Scalability in terms of #servers •Inflexible monthly payment 6
- 7. © 2014 NTT DOCOMO, INC. All rights reserved. 引っ越し２回 • 2012年４月 • ローカルクラウド事業者からAWSへ ! • 2012年７月 • 東京から北カリフォルニアへ • Deploy mixture instance types (c1.xlarge and m2.4xlarge) ! • Sep 2012 • 北カリフォルニアから東京へ –Unified to m2.4xlarge –遅延の改善 7
- 8. © 2014 NTT DOCOMO, INC. All rights reserved. システムアーキテクチャ２０１２ Availability Zone #1 SmartPhone Management Server Log Server for VR Availability Zone #2 Voice Recognizer(VR) Task Recognizer(TR) Log management system Same as AZ #1 TR Servers ELB (across multiple zones) Tokenizer Access Log Servers Availability Zone #3 VPC VR Servers LB ELB (across multiple zones) ELB (across multiple zones) 8
- 9. © 2014 NTT DOCOMO, INC. All rights reserved. 必須デザインパターン: Multi-Data Center Availability Zone #1 Availability Zone #2 LBLB VR servers Route 53 m2.4xlarge x ~300 !! HAProxy Voice VPC VR servers Voice Recognition Part 9
- 10. © 2014 NTT DOCOMO, INC. All rights reserved. Cloud Nativesでよかった！ • 他のサービスも含めて２１のデザインパターンを利用 （総計４８） ! • とくに ‘Queuing Chain’ と ‘Scale Out’ パターンを多用. 10
- 11. © 2014 NTT DOCOMO, INC. All rights reserved. 他にも大事なデザインパターン •Scheduled Scale Out ! •Clone Server 11
- 12. © 2014 NTT DOCOMO, INC. All rights reserved. Traffic Pattern 0:00 1:00 2:00 3:00 4:00 5:00 6:00 7:00 8:00 9:00 10:00 11:00 12:00 13:00 14:00 15:00 16:00 17:00 18:00 19:00 20:00 21:00 22:00 23:00 Normal traffic 12
- 13. © 2014 NTT DOCOMO, INC. All rights reserved. サーバー起動の準備 AMI の毎日リフレッシュ –音声認識モデルの更新 スパイクトラフィックに対応 したAMI の起動 –10 min - 30 min前に準備 13
- 14. 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 © 2014 NTT DOCOMO, INC. All rights reserved. Auto-Scaleで追いつかない爆発的トラフィック TV commercial causes a spike traffic. 30x traffic # of servers 20:38 20:40 20:43 20:45 10min 14
- 15. © 2014 NTT DOCOMO, INC. All rights reserved. プラットフォーム テクノロジー リーダー グローバルな 顧客基盤 AWS 革新的 パートナー エコシステム パートナーエコシステム Scale! 15
- 16. © 2014 NTT DOCOMO, INC. All rights reserved. Cloud 2.0 な設計とは？ ① 「Design for failure」「共有責任モデル」を使いこなす。 ② クラウドに多くの機能を求めない。As Isで使う。依存しない。 ③ ハードを意識しない。ソフトで調整する。 ④ 小さく作って大きく伸ばす（伸ばせる）ようにする。 ⑤ 従来より「設計」に時間とコストをかける。 ⑥ 従来の常識やルールから一度離れ、何が本質かを考える。 16 Cloud 1.0 Cloud 2.0 ＃ ＃ ＃ ＃
- 17. © 2014 NTT DOCOMO, INC. All rights reserved. ほんまに5人で 作ったんか？ やっつけ仕事 の割には良く できている。 17
- 18. © 2014 NTT DOCOMO, INC. All rights reserved. 「リーンスタートアップモデル」 構築する 製品 学ぶ データ 少ない予算と人数で 素早い製品展開 素早い投資判断 柔軟な資金調達 アドバイザー ユーザーの声 アイデア 計測する 18
- 19. © 2014 NTT DOCOMO, INC. All rights reserved. 閑話休題：あるデータ蓄積系サービス開発の例 （１） アーキテクチャ改善-メディア変換部の非Shard化 ! （２） アーキテクチャ改善-PUSH方式のGCM化によるインスタンス数削減 ! （３） 実際のトラフィックに応じたインスタンス数、EBSサイズ等の見直し 19
- 20. © 2014 NTT DOCOMO, INC. All rights reserved. Cloud Non-Native:真逆のデザインパターン • Try fast, think later –とりあえず既存のコンポーネントの組み合わせで非効率だとわかっていながらサービスを作っ てしまう。その後、徐々に最適化を図り、後で減らす。 –サービス提供と品質を優先し、最適化とコストは後回し。パフォーマンスも重要。 –初版ではセキュリティ対策やトラフィック対策は過剰に。その後改善。 •大量のウィルス検知、IPS/IDSシステムをそこら中に → 実績見合いで減らす •自動でスケールアウトできないものは多めに置く → 実績見合いで減らす •デザインは初版は出来るだけTraditionalで実績の多いものを → 徐々に新しい方法にチャレ ンジ。 •どんなにトラブっても大丈夫なように出来るだけバックアップは多めかつ頻繁に。 → バグ の収束とともに、不要なものを精査、除去。 •Avoid deadlock –我慢してRIは買わない •どんなにコストが高くてもRIを買うと事後の最適化の意味がなくなる 20
- 21. © 2014 NTT DOCOMO, INC. All rights reserved. パブリッククラウドに対する３大懸念 セキュリティ ! SLA ! スイッチングリスク 21
- 22. © 2014 NTT DOCOMO, INC. All rights reserved. 使い始めてからの変化 oクラウドに対する意識! ➢クラウドはよくわからない → クラウドも使い方次第 oセキュリティに対する意識，対策! ➢物理的境界 ＞ 論理的境界 → 物理的境界 ≧ 論理的境界 ➢AWSの豊富なセキュリティ機能をフル活用 ✓VPC，SSE/CSE，NACL，VPN，IAM，MFA，etc. o使いながら改善していくことが大事! ➢実運用データを分析してScaling ➢機能集約，機能分割 ➢AWSの新機能リリース ✓独自構築から機能利用へ •CloudTrail !! 22
- 23. © 2014 NTT DOCOMO, INC. All rights reserved. AWSの利用スパイラル 23 Not Using AWS Dive to AWS Analyze, Study, Discuss Deploy, Verify, Use, Use, Use! Analyze, Study, Discuss Data, Result, Record, New Service/Function Improvement
- 24. © 2014 NTT DOCOMO, INC. All rights reserved. 24 Dive to AWS (2012) Dive to AWS (2014) ミッションクリティカルシステム Webサービスシ ステム 業務系システム
- 25. © 2014 NTT DOCOMO, INC. All rights reserved. ドコモにおけるビッグデータ活用 インターネット ペタバイト級のデータ＋機械学習＋並列分散計算モデル ! ! ! ビッグデータからの行動パターン分 析によるサービス利用促進／ユーザ ビリティ向上 ! ! 多種多様なログに基づくクロスレコ メンド／チューニングによる精度向 上／対象ユーザ・コンテンツのカバ レッジ向上 ! ! ビッグデータを用いた辞書構築によ る文字認識・画像認識精度の向上 ／ソーシャルメディア情報活用によ るユーザ動向把握 ! ! ビッグデータを用いたネットワーク ルーティングの最適化／解約につな がる行動パターン発見 ! ビッグデータを用いたハザードマップ ／犯罪発生マップの高精度化・カバ レッジ向上 ! ! ! 交通機関・公共施設の運行最適化 による待ち時間の最小化 マーケティング リコメンデーション メディア理解ｵﾍﾟﾚｰｼｮﾝ最適化 セキュリティ 社会ｲﾝﾌﾗ最適化 業務システム のデータ 様々な ログファイル CRMシステム の顧客データ Webサイト、 ブログ ソーシャル メディア 静止画、動画 センサデータ Business Intelligence Data-Driven Innovation 25
- 26. © 2014 NTT DOCOMO, INC. All rights reserved. システムの要求条件の位置づけ Hot data Warm data Cold data レイテンシ：ms 以下 容量：～Tbyte 対象：何万人 レイテンシ：ms ～sec 容量：Tbyte～ Pbyte レイテンシ：sec以上 容量：Pbyte以上 対象：バッチ処理 常に一定のデータ量がある 常に業務システムに組み込まれている 利用停止＝業務停止につながる 使いたいときに使える、使いたい時が一定ではない データ容量が予測できない・一定ではない オンプレミス クラウド 26
- 27. © 2014 NTT DOCOMO, INC. All rights reserved. Data Analysis Lineups from Amazon • Amazon RDS - 汎用データベース。MySQL/OracleDB/PostgreSQLなど • DynamoDB – 性能保証型Key-Value Store • ElasticChache – In memory キャッシュ。Redisなどに相当。 • RedShift – MPP型データベース。DWH用途向け。Greenplum/Netezza相当。 • Elastic MapReduce (EMR) – Hadoop相当。分析台数に応じて課金。データストアはS3 • Amazon S3 OLTP系 処理機構 DWH系 分析機能 大容量 データストア 97
- 28. © 2014 NTT DOCOMO, INC. All rights reserved. Products of Hot data Warm data Cold data RedshiftRDS＆ElasticChache ＆DynamoDB & Kinesis EMR VPC DirectConnet Datapipeハイパフォーマンスな データベース群 S3, Glacier低コストストレージ データフロー マネージメント 低コスト 高パフォーマンス ＤＷＨ Map&Reduce アプライアンス セキュアな NW 既存設備 28
- 29. © 2014 NTT DOCOMO, INC. All rights reserved. 更なる利用拡大 oAudit機能の充実 •Direct Connect Support by CloudTrail (2014.5) •CloudTrail Delivery for Tokyo Region (2014.6) oRedShiftの機能充実 •Query Flexibility (2014.5) oセキュリティ対策機能の充実 •Resource level permissions by IAM policies (2013.7) •MFA-protected API Access (2012.7) 29
- 30. © 2014 NTT DOCOMO, INC. All rights reserved. RedShiftを利用したデータ分析基盤 30 Data o業務系システム（分析）での利用検討を開始 DOCOMO DATA CENTER
- 31. © 2014 NTT DOCOMO, INC. All rights reserved. Cloud-based DWH architecture 31 Intranet Encryption・logging DOCOMO datacenter VPC Load Proxy GW Storage Server Clients ODBC JDBC BI Existing DWH VPC only VPC read only Data pipeline EMR Redshift DM DWH Data Handling GW Data Handling GW Customer info. Usage info. The same IP addresses Snapshot Load Direct Connect 10Gbps x 2 Social media （Twitter, el.） querying result S3 1. Transparency 2. No provisioning 3. Sandbox
- 32. © 2014 NTT DOCOMO, INC. All rights reserved. Sandbox examples • Hadoop – Trying new analytics(e.g. machine learning, unsupervised clustering) with programming language ! • Graph database – Trying social influence analysis ! • Streaming process, In-memory database – Enabling real-time recommendation of EC sites ! • ETL – Testing new data and injection to DWH ! • BI and analytics platform (e.g. R) – Providing dashboard to internal customer temporary – Enabling to use favorite language of data scientists 32
- 33. © 2014 NTT DOCOMO, INC. All rights reserved. お金の面でクラウドにおいて変わること 33 安定的・計画的・大きなお金・前払い 予測不能・変化しがち・小さなお金・後払い レガシー クラウ
- 34. © 2014 NTT DOCOMO, INC. All rights reserved. クラウドコストの変化の因子 34 クラウドの支払い OSタイプ（Linux/Windows) インスタンスタイプ リージョン（9箇所） 為替変動 購入方法 • オンデマンド • リザーブド •1年/3年 •Light/Medium/Heavy • スポットインスタンス 意外と 大きい ※AWSは利用料は全てドル払いのため
- 35. © 2014 NTT DOCOMO, INC. All rights reserved. Purchasing Options •On-Demand Instances •通常の1時間単位の支払い •Reserved Instances –Upfront + Hourly の支払い –1年と3年のオプション：3年のほうがトータルが安い –Light/Medium/HeavyによってUpfrontとHourlyのバランスが違う •Heavyはhourlyは使用時間に関わらず全時間分支払い義務 （その代わり単位時間では最安値） –ConsolidateBilling配下のすべてのユーザで余剰分の使い回しが可能。 •余った分をわけあえる –RIを購入すると立ち上げ保証（RI購入台数までは必ず起動できる保証）が付く •ただし、購入したアカウントのみ。Consolidate配下の他のアカウントでは提供され ない •Spot Instances –入札によるインスタンスの購入 35 単位 価格 高 安
- 36. © 2014 NTT DOCOMO, INC. All rights reserved. Spot Instancesの活用 • 何に使うのか？ – サーバの中断は避けられないので、中断しても良いジョブ用 1. オプションのタスク。追加で実施しておきたいなど。分析系など。 2. 遅延可能なジョブ。リアルタイムは必要ない。バッチジョブなど。 3. ブースト系。基本的な処理量はオンデマンドで確保。 4. お金がない。でも大量に一度にマシンが必要。シミュレーション。 ! • 使い方と戦略 – オンデマンド以下で入札 • とにかく安く済ませたい。優先度低。 – オンデマンドと同じで入札 • 最悪同じ価格で、最低でもお得になる。 – オンデマンド以上で入札。 • 止まってほしくないけど、安くなればラッキー。 36
- 37. © 2014 NTT DOCOMO, INC. All rights reserved. Consolidated Billingの罠 37 A B RI買った人 RIはUpfront（先払い）を行って 利用料を安く抑える仕組み. でも・・・ m3.xlarge x5台 Light Usage A アカウント上の みかけの利用料 コンソリ無し の利用料 B なんで？ ラッキ～ アカウント上の みかけの利用料 コンソリ無し の利用料 なにもしてない のに利用料が 下がるように見える RIを買ったのに 期待したほど 利用料が下がらない Consolidated Billing にしていない場合 等 分 割 Consolidated Billingにすると 請求時には合算して利用（時間）で 同種（サイズ・OS種別）のインスタンス毎に 等分割されて各アカウントに乗せられる Blended rate On-demand で利用分 RIで購入分
- 38. © 2014 NTT DOCOMO, INC. All rights reserved. プロジェクト管理面での問題 38 Project A Project B ワークロードに 対して最適化を してＲＩを戦略的に 購入して・・・云々 どうせ会社が 払ってくれるんだから 何にもしなくて よくね？？ Project Aの努力が Project Bに反映されてしまう あんだけ頑張ったのに 対して減ってないんじゃ やる気なくすわ なんかしらんけど 今月はいつもより ちょっと少なかったなぁ 特にProject Aが小さくて、 Project Bが大きい場合にはより顕著に・・・。 これでは コスト最適化の モチベーションは 下がるばかり 月末
- 39. © 2014 NTT DOCOMO, INC. All rights reserved. コスト管理ツール 6/17/2014 39 リザーブドインスタンスの 有効利用度の表示 ! •有効なRI数（購入RI数） •RI利用数 •RI利用率 •RI余剰数 ! •利用アカウント別 •利用サービス別 •日付指定 •1時間毎/1日毎切り替え •リザーブド(RI)指定絞込 •利用AZ絞込 •利用インスタンスタイプ絞込 ! などなど 時系列でのコスト表示機能 ! •利用料表示 •利用台数表示 •利用アカウント別 •利用サービス別 •日付指定 •円換算（為替反映） •1時間毎/1日毎切り替え •リザーブド(RI)指定絞込 •利用サービス絞込 •利用AZ絞込 ! などなど
- 40. WebサービスのAWS大規模利用 © 2014 NTT DOCOMO, INC. All rights reserved. 本日話したこと 40 使ってみることが大事 社内の反応にも変化 クラウド機能の進化 開発スタイルにも変化 業務系サービスのAWS大規模利用 ビリングの最適化も課題