知られざる。Alibaba Cloudを支えるテクノロジー (manabiya.tech)
•
3 likes•2,073 views
2018年3月23日のmanabiya.techでの発表資料。 世界のトップ企業として君臨するAlibabaの技術がつまったAlibaba Cloudのご紹介。
Convert to study materialsBETA
Transform any presentation into ready-made study material—select from outputs like summaries, definitions, and practice questions.
知られざる。Alibaba Cloudを支えるテクノロジー (manabiya.tech)
- 1. 知られざる、 Alibaba Cloudを支えるテクノロジー 世界に目を向けよう。Alibabaのクラウドテクノロジーを明かす 1 @mosuke5 manabiya.tech 2018/03/23
- 2. 2 Who are you? 名前：森 真也 もーすけ (@mosuke5) 仕事： Alibaba Cloud Solutin Architect MVPに日本人初として選ばれた。 以前はシステム開発エンジニア。 ネタ： 旅行がすき。登壇と相性がよい。
- 3. 3
- 4. 4
- 5. 5
- 6. 6
- 7. 7 本題
- 9. アジェンダ 1. 昨今の中国のIT事情 2. Alibaba Cloudについて 3. Alibaba Cloudの特徴1 MaxCompute 4. Alibaba Cloudの特徴2 オープンソース技術 5. さいごに 9
- 10. 自分がクラウドプロバイダーをやるまで 10 年 やってたこと チーム 2011年 当時大学3年生。はじめてのWebサービスの開発とそのビ ジネス展開を試みた。 ただの学生 2013年 社会人になり、携帯電話のネットワークの監視システムの 開発。そこでは、ソフトウェア開発に専念できる業務スタイ ルへの改善が必要だった。いわゆるInfrastructure as Codeによるインフラ作業の自動化などを推し進めていた。 日本企業、日本人 のみのチーム 2016年 縁あって、新規事業をやる部門へ。 そこで、Alibaba Cloudの日本リージョンの立ち上げから、 その展開に携わる。 外国企業とのジョ イントベンチャー、 多国籍メンバー
- 11. 11
- 13. 世界時価総額（2018年1月末時点） 13 No 国名 会社名 時価総額 1 アメリカ アップル 859.638 2 アメリカ アルファベット（Google） 817.117 3 アメリカ マイクロソフト 731.557 4 アメリカ アマゾン・ドット・コム 699.144 5 中国 テンセント・ホールディングス 558.084 6 アメリカ フェイスブック 543.067 7 アメリカ バークシャー・ハサウェイ 530.275 8 中国 アリババ・グループ・ホールディング 516.724 9 中国 中国工商銀行 425.118 出典：http://www.180.co.jp/world_etf_adr/adr/ranking.htm
- 15. 15 時は20年ほど前の話…
- 16. 20年前のインターネット世界 16 1998年 Google誕生 1994年 Amazon.com誕生
- 17. 17
- 22. アリババってどんな会社？ 22 E-commerce data Marketing data Mobile app monitor & browser data PC website monitor data Entertainment data SNS data Health& life data Geographical data and Vehicle data Logistics data Alibaba 経済圏 One ID, One Platform eコマース企業ではな い。eコマースをはじ め、決済、物流などを One ID, Platform化し ている強み。
- 25. プロダクトラインナップ 25 Block Storage OSS Object Storage Service Archive Storage NAS Network Attached Storage Message Service グローバル IDC リージョン アベイラビリティゾーン Technical Support Professional Services Training & Certification Cloud Architects Pricing Report ECS Elastic Compute Service Auto Scaling SLB Server Load Balancer Container Service HPC High Performance Compute BatchCompute FunctionCompute RDS Relational Database Servie Oceanbase Memcache Table Store Redis MongoDB DMS Database Management Analytic DB DTS Data Transmission Service PetaData VPC Virtual Private Cloud ExpressConnect Elastic IP CDN HA-IP High Availability IP Nat Gateway EDAS Enterprise Distributed Application Service ONS Open Notification Service HttpDNS Log Service ROS Resource Orchestration Service Performance Testing Live streaming Domain IOT Suit DirectMail DataV Rec Eng DataHub ImageMaxCompute EMR DataIDE Face Rec API RAM Resource Access Management CLI Cloud Monitor Anti-DDoS Cloud Shield WAF Web Application Firewall HSM Hardware Secure Module KMS Key Management Service Server Guard Action Trail ビッグデータ アプリケーションサービスSupport コンピューティング ネットワーク ストレージ データベース 基 盤 DevOps 管理・セキュリティ
- 28. 28 オンプレミス MySQL TXT Text Data … Oracle データマネジメント データ収集 データアプリケーションデータ処理 / マネジメント MaxCompute 基盤 クラウド環境 RDS OSS ECS … データウェアハウス Data Mining Task Scheduling Scrubbing & Converting データ同期 ETL アプリケーショ ン レポート リアルタイム クエリ データ分析 マイニング 予想 データファイ ル アクセス制御・ポータルインテグレーション Alibaba Cloudのデータソリューション
- 30. 30 2015 2016 2015年のコンペティションで、 AlibabaクラウドチームはGray (100TBデータのソート時間)と Minute (60sでソートできるデータ 量) 試験で優勝。 2016年のコンペティションで、 Alibabaクラウドチームは Cloud (1TBをソートするための料金)試験 で優勝。 ソートベンチマーク大会の結果
- 31. Apsara Cloud Platform 31 Linux cluster Resource Management (Fuxi) Security Management (Zhongkui) Remote Procedure Call (Kuafu) Distributed Coordination Service (Nvwa) (Dayu)Cluster Deployment (Shennong)Cluster Monitoring Distributed File System (Pangu) Job Scheduling (Fuxi) ACE ECS RDS OSS TableStore MaxComput e Data center 青がApsara Platform
- 32. Apsara Cloud Platformは神様の名前由来 32 1. Apsara ←全体総称 2. Dayu 3. Pangu 4. Kuafu 5. Fuxi 6. Zhongkui 7. Nvwa 8. Shennong 「川，雲，電光，星の中などに住む、 古水の精の類。古くから美女の典型。」 出典: https://en.wikipedia.org/wiki/Apsara
- 33. Apsara Cloud Platform 33 Linux cluster Resource Management (Fuxi) Security Management (Zhongkui) Remote Procedure Call (Kuafu) Distributed Coordination Service (Nvwa) (Dayu)Cluster Deployment (Shennong)Cluster Monitoring Distributed File System (Pangu) Job Scheduling (Fuxi) ACE ECS RDS OSS TableStore MaxComput e Data center 青がApsara Platform
- 35. リソースマネージャ、ジョブスケジューラ Fuxi 1. Incremental resource management protocol 2. User transparent failure recovery 3. Faulty node detection and multi-level blacklist 出典) http://www.vldb.org/pvldb/vol7/p1393-zhang.pdf 35
- 36. 分散ファイルシステム Pangu (盘古） 36 ● Panguは中国の神様の名前（天と地を分けた神） ● Alibabaが独自に開発している分散ファイルシステム (Like GFS, HDFS but more advanced) ● Alibaba Cloudの多くのプロダクトのストレージレイヤーとして利用 Master Master Master Paxos Chank Server Chank Server Chank Server Chank Server Chank Server Chank Server Block Storage Object Storage Table Store Bigdata Service Message Queue Persistent Storage Layer Alibaba Cloud Service Pangu
- 38. Tengine https://github.com/alibaba/tengine ● NginxベースのWebサーバ ● Nginx-1.8.1の機能はすべて継承 ● ダイナミックモジュール対応や、spdy対応、豊富なロードバラ ンス機能、Lua対応など ● Alibaba製プロダクトの殆どのWebサーバはTengine 38
- 39. そうだ、curlしてみよう $ curl -I https://jp.alibabacloud.com HTTP/2 200 date: Mon, 26 Feb 2018 04:35:47 GMT content-type: text/html; charset=utf-8 vary: Accept-Encoding server: Tengine vary: Accept-Encoding x-powered-by: Express 39
- 40. LoadBalancer(SLB)とCDNはTengineベースの実装 ● Alibaba Cloudのロードバラ ンサとCDNはTengineベー スで実装 ● 仮想サーバではなく専用の 物理クラスタがある。 Pre-Warmingは必要ない。 40 Server Load Balancer L4 layer: LVS L7 layer: アプリケーション 環境
- 41. OpenRestyは実は。。。 ● OpenRestyの作者はもとAlibaba(Taobao)の人で、Tengine のベースを作った人らしい。 41 OpenRestyOpenResty作者
- 42. AliSQL https://github.com/alibaba/AliSQL ● AlibabaカスタマイズのMySQL ● 100%MySQL互換 ● パフォーマンス改善と一部機能の追加 ● このAliSQLをマネージドで利用できる、ApsaraDB for RDSを AlibabaCloudで提供 42
- 43. RDSのアーキテクチャ 43 Load Balancer Proxy Proxy Proxy DB Engine Load Balancer Proxy Proxy Proxy DB Engine Replication Bare Metal Database Server ApsaraDB for RDSMaster Slave ベアメタルサーバを使ってデータベースサービスを提供。 仮想基盤のオーバーヘッドがないため、ハイパフォーマンスを実現。
- 44. ApsaraCache https://github.com/alibaba/ApsaraCache ● Redis 4.0ベース ● パフォーマンスチューニング（30%の性能向上） ● Memcacheプロトコルのサポート（！？？？） ○ そんなことができるのか？ ○ どこまで互換性あるのか？ ○ まさかMemcacheのサービスはこれで実装？？ 44
- 45. ApsaraDB for RedisとMemcache というわけで、担当者に聞い てみました。 Alibaba CloudのRedisと Memcacheのプロダクトで利 用しているのか、どうなの か！？ 45 RedisとMemcacheのプロダク トはまさかこれ使って両方実装 してるの？ 昔はそうしてたけど、 Memcacheのほうが流石に対 応できないプロトコルもあって やめました さすがにそうっすよねｗｗｗ でもRedisのパフォーマンス改 善の効果はよくでてるぜ。
- 46. Apache RocketMQ https://rocketmq.apache.org/ ● アリババがサービス展開するにあたって直面した課題から生 まれた。 ● ActiveMQのIOが辛くなってきた。Kafkaが要件に合わなかっ たので、自作しオープンソース化。 ● Apache Foundationプロダクト ● AlibabaCloudのメッセージキュープロダクトのベースに利用 されている。 46