> * 原文地å€ï¼š[github.com/donnemartin/system-design-primer](https://github.com/donnemartin/system-design-primer)
> * 译文出自：[掘金翻译计划](https://github.com/xitu/gold-miner)
> * 译者：[XatMassacrE](https://github.com/XatMassacrE)ã€[L9m](https://github.com/L9m)ã€[Airmacho](https://github.com/Airmacho)ã€[xiaoyusilen](https://github.com/xiaoyusilen)ã€[jifaxu](https://github.com/jifaxu)ã€[æ ¹å·ä¸‰](https://github.com/sqrthree)
> * 这个 [链接](https://github.com/xitu/system-design-primer/compare/master...donnemartin:master) 用æ¥æŸ¥çœ‹æœ¬ç¿»è¯‘与英文版是å¦æœ‰å·®åˆ«ï¼ˆå¦‚æžœä½ æ²¡æœ‰çœ‹åˆ° README.md å‘生å˜åŒ–，那就æ„味ç€è¿™ä»½ç¿»è¯‘文档是最新的）。
*[English](README.md) ∙ [日本語](README-ja.md) ∙ [简体ä¸æ–‡](README-zh-Hans.md) ∙ [ç¹é«”ä¸æ–‡](README-zh-TW.md) | [العَرَبÙيَّة‎](https://github.com/donnemartin/system-design-primer/issues/170) ∙ [বাংলা](https://github.com/donnemartin/system-design-primer/issues/220) ∙ [Português do Brasil](https://github.com/donnemartin/system-design-primer/issues/40) ∙ [Deutsch](https://github.com/donnemartin/system-design-primer/issues/186) ∙ [ελληνικά](https://github.com/donnemartin/system-design-primer/issues/130) ∙ [עברית](https://github.com/donnemartin/system-design-primer/issues/272) ∙ [Italiano](https://github.com/donnemartin/system-design-primer/issues/104) ∙ [í•œêµì–´](https://github.com/donnemartin/system-design-primer/issues/102) ∙ [Ùارسی](https://github.com/donnemartin/system-design-primer/issues/110) ∙ [Polski](https://github.com/donnemartin/system-design-primer/issues/68) ∙ [руÑÑкий Ñзык](https://github.com/donnemartin/system-design-primer/issues/87) ∙ [Español](https://github.com/donnemartin/system-design-primer/issues/136) ∙ [ภาษาไทย](https://github.com/donnemartin/system-design-primer/issues/187) ∙ [Türkçe](https://github.com/donnemartin/system-design-primer/issues/39) ∙ [tiếng Việt](https://github.com/donnemartin/system-design-primer/issues/127) ∙ [Français](https://github.com/donnemartin/system-design-primer/issues/250) | [Add Translation](https://github.com/donnemartin/system-design-primer/issues/28)*
# 系统设计入门
## 目的
> å¦ä¹ 如何设计大型系统。
>
> 为系统设计的é¢è¯•åšå‡†å¤‡ã€‚
### å¦ä¹ 如何设计大型系统
å¦ä¹ 如何设计å¯æ‰©å±•çš„ç³»ç»Ÿå°†ä¼šæœ‰åŠ©äºŽä½ æˆä¸ºä¸€ä¸ªæ›´å¥½çš„工程师。
系统设计是一个很宽泛的è¯é¢˜ã€‚在互è”网上，**关于系统设计原则的资æºä¹Ÿæ˜¯å¤šå¦‚牛毛。**
这个仓库就是这些资æºçš„**组织收集**，它å¯ä»¥å¸®åŠ©ä½ å¦ä¹ 如何构建å¯æ‰©å±•çš„系统。
### 从开æºç¤¾åŒºå¦ä¹
这是一个ä¸æ–æ›´æ–°çš„å¼€æºé¡¹ç›®çš„åˆæœŸçš„版本。
欢迎[贡献](#贡献)ï¼
### 为系统设计的é¢è¯•åšå‡†å¤‡
在很多科技公å¸ä¸ï¼Œé™¤äº†ä»£ç é¢è¯•ï¼Œç³»ç»Ÿè®¾è®¡ä¹Ÿæ˜¯**技术é¢è¯•è¿‡ç¨‹**ä¸çš„一个**å¿…è¦çŽ¯èŠ‚**。
**实践常è§çš„系统设计é¢è¯•é¢˜**å¹¶ä¸”æŠŠä½ çš„ç”案和**例å的解ç”**进行**对照**：讨论，代ç 和图表。
é¢è¯•å‡†å¤‡çš„其他主题：
* [å¦ä¹ 指引](#å¦ä¹ 指引)
* [如何处ç†ä¸€ä¸ªç³»ç»Ÿè®¾è®¡çš„é¢è¯•é¢˜](#如何处ç†ä¸€ä¸ªç³»ç»Ÿè®¾è®¡çš„é¢è¯•é¢˜)
* [系统设计的é¢è¯•é¢˜ï¼Œ**å«è§£ç”**](#系统设计的é¢è¯•é¢˜å’Œè§£ç”)
* [é¢å‘对象设计的é¢è¯•é¢˜ï¼Œ**å«è§£ç”**](#é¢å‘对象设计的é¢è¯•é—®é¢˜åŠè§£ç”)
* [其它的系统设计é¢è¯•é¢˜](#其它的系统设计é¢è¯•é¢˜)
## 抽认å¡
这里æ供的[抽认å¡å †](https://apps.ankiweb.net/)使用间隔é‡å¤çš„æ–¹æ³•ï¼Œå¸®åŠ©ä½ è®°å¿†å…³é”®çš„ç³»ç»Ÿè®¾è®¡æ¦‚å¿µã€‚
* [系统设计的å¡å †](resources/flash_cards/System%20Design.apkg)
* [ç³»ç»Ÿè®¾è®¡çš„ç»ƒä¹ å¡å †](resources/flash_cards/System%20Design%20Exercises.apkg)
* [é¢å‘å¯¹è±¡è®¾è®¡çš„ç»ƒä¹ å¡å †](resources/flash_cards/OO%20Design.apkg)
éšæ—¶éšåœ°éƒ½å¯ä½¿ç”¨ã€‚
### 代ç 资æºï¼šäº’动å¼ç¼–程挑战
ä½ æ£åœ¨å¯»æ‰¾èµ„æºä»¥å‡†å¤‡[**编程é¢è¯•**](https://github.com/donnemartin/interactive-coding-challenges)å—？
请查看我们的å§å¦¹ä»“库[**互动å¼ç¼–程挑战**](https://github.com/donnemartin/interactive-coding-challenges)，其ä¸åŒ…å«äº†ä¸€ä¸ªé¢å¤–的抽认å¡å †ï¼š
* [代ç å¡å †](https://github.com/donnemartin/interactive-coding-challenges/tree/master/anki_cards/Coding.apkg)
## 贡献
> 从社区ä¸å¦ä¹ 。
欢迎æ交 PR æ供帮助：
* ä¿®å¤é”™è¯¯
* å®Œå–„ç« èŠ‚
* æ·»åŠ ç« èŠ‚
* [帮助翻译](https://github.com/donnemartin/system-design-primer/issues/28)
一些还需è¦å®Œå–„的内容放在了[æ£åœ¨å®Œå–„ä¸](#æ£åœ¨å®Œå–„ä¸)。
请查看[贡献指å—](CONTRIBUTING.md)。
## 系统设计主题的索引
> å„ç§ç³»ç»Ÿè®¾è®¡ä¸»é¢˜çš„摘è¦ï¼ŒåŒ…括优点和缺点。**æ¯ä¸€ä¸ªä¸»é¢˜éƒ½é¢ä¸´ç€å–èˆå’Œæƒè¡¡**。
>
> æ¯ä¸ªç« 节都包å«ç€æ›´å¤šçš„资æºçš„链接。
* [系统设计主题：从这里开始](#系统设计主题从这里开始)
* [第一æ¥ï¼šå›žé¡¾å¯æ‰©å±•æ€§çš„视频讲座](#第一æ¥å›žé¡¾å¯æ‰©å±•æ€§scalability的视频讲座)
* [第二æ¥ï¼šå›žé¡¾å¯æ‰©å±•æ€§çš„æ–‡ç« ](#第二æ¥å›žé¡¾å¯æ‰©å±•æ€§æ–‡ç« )
* [接下æ¥çš„æ¥éª¤](#接下æ¥çš„æ¥éª¤)
* [性能与拓展性](#性能与å¯æ‰©å±•æ€§)
* [延迟与åžåé‡](#延迟与åžåé‡)
* [å¯ç”¨æ€§ä¸Žä¸€è‡´æ€§](#å¯ç”¨æ€§ä¸Žä¸€è‡´æ€§)
* [CAP ç†è®º](#cap-ç†è®º)
* [CP - 一致性和分区容错性](#cp--一致性和分区容错性)
* [AP - å¯ç”¨æ€§å’Œåˆ†åŒºå®¹é”™æ€§](#ap--å¯ç”¨æ€§ä¸Žåˆ†åŒºå®¹é”™æ€§)
* [一致模å¼](#一致性模å¼)
* [弱一致性](#弱一致性)
* [最终一致性](#最终一致性)
* [强一致性](#强一致性)
* [å¯ç”¨æ¨¡å¼](#å¯ç”¨æ€§æ¨¡å¼)
* [故障切æ¢](#故障切æ¢)
* [å¤åˆ¶](#å¤åˆ¶)
* [域å系统](#域å系统)
* [CDN](#内容分å‘网络cdn)
* [CDN 推é€](#cdn-推é€push)
* [CDN 拉å–](#cdn-拉å–pull)
* [è´Ÿè½½å‡è¡¡å™¨](#è´Ÿè½½å‡è¡¡å™¨)
* [工作到备用切æ¢ï¼ˆActive-passive）](#工作到备用切æ¢active-passive)
* [åŒå·¥ä½œåˆ‡æ¢ï¼ˆActive-active）](#åŒå·¥ä½œåˆ‡æ¢active-active)
* [四层负载å‡è¡¡](#四层负载å‡è¡¡)
* [七层负载å‡è¡¡](#七层负载å‡è¡¡å™¨)
* [水平扩展](#水平扩展)
* [åå‘代ç†ï¼ˆweb æœåŠ¡å™¨ï¼‰](#åå‘代ç†web-æœåŠ¡å™¨)
* [è´Ÿè½½å‡è¡¡ä¸Žåå‘代ç†](#è´Ÿè½½å‡è¡¡å™¨ä¸Žåå‘代ç†)
* [应用层](#应用层)
* [å¾®æœåŠ¡](#å¾®æœåŠ¡)
* [æœåŠ¡å‘现](#æœåŠ¡å‘现)
* [æ•°æ®åº“](#æ•°æ®åº“)
* [关系型数æ®åº“管ç†ç³»ç»Ÿï¼ˆRDBMS）](#关系型数æ®åº“管ç†ç³»ç»Ÿrdbms)
* [Master-slave å¤åˆ¶é›†](#主从å¤åˆ¶)
* [Master-master å¤åˆ¶é›†](#主主å¤åˆ¶)
* [è”åˆ](#è”åˆ)
* [分片](#分片)
* [éžè§„范化](#éžè§„范化)
* [SQL 调优](#sql-调优)
* [NoSQL](#nosql)
* [Key-value å˜å‚¨](#é”®-值å˜å‚¨)
* [文档å˜å‚¨](#文档类型å˜å‚¨)
* [宽列å˜å‚¨](#列型å˜å‚¨)
* [图数æ®åº“](#图数æ®åº“)
* [SQL 还是 NoSQL](#sql-还是-nosql)
* [缓å˜](#缓å˜)
* [客户端缓å˜](#客户端缓å˜)
* [CDN 缓å˜](#cdn-缓å˜)
* [Web æœåŠ¡å™¨ç¼“å˜](#web-æœåŠ¡å™¨ç¼“å˜)
* [æ•°æ®åº“缓å˜](#æ•°æ®åº“缓å˜)
* [应用缓å˜](#应用缓å˜)
* [æ•°æ®åº“查询级别的缓å˜](#æ•°æ®åº“查询级别的缓å˜)
* [对象级别的缓å˜](#对象级别的缓å˜)
* [何时更新缓å˜](#何时更新缓å˜)
* [缓å˜æ¨¡å¼](#缓å˜æ¨¡å¼)
* [直写模å¼](#直写模å¼)
* [回写模å¼](#回写模å¼)
* [刷新](#刷新)
* [异æ¥](#异æ¥)
* [消æ¯é˜Ÿåˆ—](#消æ¯é˜Ÿåˆ—)
* [任务队列](#任务队列)
* [背压机制](#背压)
* [通讯](#通讯)
* [ä¼ è¾“æŽ§åˆ¶å议（TCP）](#ä¼ è¾“æŽ§åˆ¶åè®®tcp)
* [用户数æ®æŠ¥å议（UDP）](#用户数æ®æŠ¥åè®®udp)
* [远程控制调用å议（RPC）](#远程过程调用åè®®rpc)
* [表述性状æ€è½¬ç§»ï¼ˆREST）](#表述性状æ€è½¬ç§»rest)
* [安全](#安全)
* [附录](#附录)
* [2 的次方表](#2-的次方表)
* [æ¯ä¸ªç¨‹åºå‘˜éƒ½åº”该知é“的延迟数](#æ¯ä¸ªç¨‹åºå‘˜éƒ½åº”该知é“的延迟数)
* [其它的系统设计é¢è¯•é¢˜](#其它的系统设计é¢è¯•é¢˜)
* [真实架构](#真实架构)
* [å…¬å¸çš„系统架构](#å…¬å¸çš„系统架构)
* [å…¬å¸å·¥ç¨‹åšå®¢](#å…¬å¸å·¥ç¨‹åšå®¢)
* [æ£åœ¨å®Œå–„ä¸](#æ£åœ¨å®Œå–„ä¸)
* [致谢](#致谢)
* [è”系方å¼](#è”系方å¼)
* [许å¯](#许å¯)
## å¦ä¹ 指引
> åŸºäºŽä½ é¢è¯•çš„时间线（çŸã€ä¸ã€é•¿ï¼‰åŽ»å¤ä¹ 那些推è的主题。
**问：对于é¢è¯•æ¥è¯´ï¼Œæˆ‘需è¦çŸ¥é“这里的所有知识点å—？**
**ç”：ä¸ï¼Œå¦‚æžœåªæ˜¯ä¸ºäº†å‡†å¤‡é¢è¯•çš„è¯ï¼Œä½ 并ä¸éœ€è¦çŸ¥é“所有的知识点。**
在一场é¢è¯•ä¸ä½ 会被问到什么å–决于下é¢è¿™äº›å› ç´ ï¼š
* ä½ çš„ç»éªŒ
* ä½ çš„æŠ€æœ¯èƒŒæ™¯
* ä½ é¢è¯•çš„èŒä½
* ä½ é¢è¯•çš„å…¬å¸
* è¿æ°”
那些有ç»éªŒçš„候选人通常会被期望了解更多的系统设计的知识。架构师或者团队负责人则会被期望了解更多除了个人贡献之外的知识。顶级的科技公å¸é€šå¸¸ä¹Ÿä¼šæœ‰ä¸€æ¬¡æˆ–者更多的系统设计é¢è¯•ã€‚
é¢è¯•ä¼šå¾ˆå®½æ³›çš„å±•å¼€å¹¶åœ¨å‡ ä¸ªé¢†åŸŸæ·±å…¥ã€‚è¿™ä¼šå¸®åŠ©ä½ äº†è§£ä¸€äº›å…³äºŽç³»ç»Ÿè®¾è®¡çš„ä¸åŒçš„ä¸»é¢˜ã€‚åŸºäºŽä½ çš„æ—¶é—´çº¿ï¼Œç»éªŒï¼Œé¢è¯•çš„èŒä½å’Œé¢è¯•çš„å…¬å¸å¯¹ä¸‹é¢çš„指导åšå‡ºé€‚当的调整。
* **çŸæœŸ** - 以系统设计主题的**广度**ä¸ºç›®æ ‡ã€‚é€šè¿‡è§£å†³**一些**é¢è¯•é¢˜æ¥ç»ƒä¹ 。
* **ä¸æœŸ** - 以系统设计主题的**广度**å’Œ**åˆçº§æ·±åº¦**ä¸ºç›®æ ‡ã€‚é€šè¿‡è§£å†³**很多**é¢è¯•é¢˜æ¥ç»ƒä¹ 。
* **长期** - 以系统设计主题的**广度**å’Œ**高级深度**ä¸ºç›®æ ‡ã€‚é€šè¿‡è§£å†³**大部分**é¢è¯•é¢˜æ¥ç»ƒä¹ 。
| | çŸæœŸ | ä¸æœŸ | 长期 |
| ---------------------------------------- | ---- | ---- | ---- |
| 阅读 [系统设计主题](#系统设计主题的索引) 以获得一个关于系统如何工作的宽泛的认识 | :+1: | :+1: | :+1: |
| é˜…è¯»ä¸€äº›ä½ è¦é¢è¯•çš„[å…¬å¸å·¥ç¨‹åšå®¢](#å…¬å¸å·¥ç¨‹åšå®¢)çš„æ–‡ç« | :+1: | :+1: | :+1: |
| 阅读 [真实架构](#真实架构) | :+1: | :+1: | :+1: |
| å¤ä¹ [如何处ç†ä¸€ä¸ªç³»ç»Ÿè®¾è®¡é¢è¯•é¢˜](#如何处ç†ä¸€ä¸ªç³»ç»Ÿè®¾è®¡é¢è¯•é¢˜) | :+1: | :+1: | :+1: |
| å®Œæˆ [系统设计的é¢è¯•é¢˜å’Œè§£ç”](#系统设计的é¢è¯•é¢˜å’Œè§£ç”) | 一些 | 很多 | 大部分 |
| å®Œæˆ [é¢å‘对象设计的é¢è¯•é¢˜å’Œè§£ç”](#é¢å‘对象设计的é¢è¯•é—®é¢˜åŠè§£ç”) | 一些 | 很多 | 大部分 |
| å¤ä¹ [其它的系统设计é¢è¯•é¢˜](#其它的系统设计é¢è¯•é¢˜) | 一些 | 很多 | 大部分 |
## 如何处ç†ä¸€ä¸ªç³»ç»Ÿè®¾è®¡çš„é¢è¯•é¢˜
系统设计é¢è¯•æ˜¯ä¸€ä¸ª**开放å¼çš„对è¯**ã€‚ä»–ä»¬æœŸæœ›ä½ åŽ»ä¸»å¯¼è¿™ä¸ªå¯¹è¯ã€‚
ä½ å¯ä»¥ä½¿ç”¨ä¸‹é¢çš„æ¥éª¤æ¥æŒ‡å¼•è®¨è®ºã€‚为了巩固这个过程，请使用下é¢çš„æ¥éª¤å®Œæˆ[系统设计的é¢è¯•é¢˜å’Œè§£ç”](#系统设计的é¢è¯•é¢˜å’Œè§£ç”)è¿™ä¸ªç« èŠ‚ã€‚
### 第一æ¥ï¼šæ述使用场景，约æŸå’Œå‡è®¾
把所有需è¦çš„东西èšé›†åœ¨ä¸€èµ·ï¼Œå®¡è§†é—®é¢˜ã€‚ä¸åœçš„æ问，以至于我们å¯ä»¥æ˜Žç¡®ä½¿ç”¨åœºæ™¯å’Œçº¦æŸã€‚讨论å‡è®¾ã€‚
* è°ä¼šä½¿ç”¨å®ƒï¼Ÿ
* ä»–ä»¬ä¼šæ€Žæ ·ä½¿ç”¨å®ƒï¼Ÿ
* 有多少用户？
* 系统的作用是什么？
* 系统的输入输出分别是什么？
* 我们希望处ç†å¤šå°‘æ•°æ®ï¼Ÿ
* 我们希望æ¯ç§’钟处ç†å¤šå°‘请求？
* 我们希望的读写比率？
### 第二æ¥ï¼šåˆ›é€ 一个高层级的设计
使用所有é‡è¦çš„组件æ¥æ绘出一个高层级的设计。
* 画出主è¦çš„组件和连接
* è¯æ˜Žä½ 的想法
### 第三æ¥ï¼šè®¾è®¡æ ¸å¿ƒç»„件
对æ¯ä¸€ä¸ªæ ¸å¿ƒç»„件进行详细深入的分æžã€‚举例æ¥è¯´ï¼Œå¦‚æžœä½ è¢«é—®åˆ°[设计一个 url 缩写æœåŠ¡](solutions/system_design/pastebin/README.md)，开始讨论：
* 生æˆå¹¶å‚¨å˜ä¸€ä¸ªå®Œæ•´ url çš„ hash
* [MD5](solutions/system_design/pastebin/README.md) 和 [Base62](solutions/system_design/pastebin/README.md)
* Hash 碰撞
* SQL 还是 NoSQL
* æ•°æ®åº“模型
* 将一个 hashed url 翻译æˆå®Œæ•´çš„ url
* æ•°æ®åº“查找
* API å’Œé¢å‘对象设计
### 第四æ¥ï¼šæ‰©å±•è®¾è®¡
确认和处ç†ç“¶é¢ˆä»¥åŠä¸€äº›é™åˆ¶ã€‚举例æ¥è¯´å°±æ˜¯ä½ 需è¦ä¸‹é¢çš„这些æ¥å®Œæˆæ‰©å±•æ€§çš„议题å—？
* è´Ÿè½½å‡è¡¡
* 水平扩展
* 缓å˜
* æ•°æ®åº“分片
论述å¯èƒ½çš„解决办法和代价。æ¯ä»¶äº‹æƒ…需è¦å–èˆã€‚å¯ä»¥ä½¿ç”¨[å¯æ‰©å±•ç³»ç»Ÿçš„设计原则](#系统设计主题的索引)æ¥å¤„ç†ç“¶é¢ˆã€‚
### 预估计算é‡
ä½ æˆ–è®¸ä¼šè¢«è¦æ±‚通过手算进行一些估算。[附录](#附录)涉åŠåˆ°çš„是下é¢çš„这些资æºï¼š
* [使用预估计算é‡](http://highscalability.com/blog/2011/1/26/google-pro-tip-use-back-of-the-envelope-calculations-to-choo.html)
* [2 的次方表](#2-的次方表)
* [æ¯ä¸ªç¨‹åºå‘˜éƒ½åº”该知é“的延迟数](#æ¯ä¸ªç¨‹åºå‘˜éƒ½åº”该知é“的延迟数)
### 相关资æºå’Œå»¶ä¼¸é˜…读
查看下é¢çš„链接以获得我们期望的更好的想法：
* [æ€Žæ ·é€šè¿‡ä¸€ä¸ªç³»ç»Ÿè®¾è®¡çš„é¢è¯•](https://www.palantir.com/2011/10/how-to-rock-a-systems-design-interview/)
* [系统设计的é¢è¯•](http://www.hiredintech.com/system-design)
* [系统架构与设计的é¢è¯•ç®€ä»‹](https://www.youtube.com/watch?v=ZgdS0EUmn70)
## 系统设计的é¢è¯•é¢˜å’Œè§£ç”
> 普通的系统设计é¢è¯•é¢˜å’Œç›¸å…³äº‹ä¾‹çš„论述，代ç 和图表。
>
> 与内容有关的解ç”在 `solutions/` 文件夹ä¸ã€‚
| 问题 | |
| ---------------------------------------- | ---------------------------------------- |
| 设计 Pastebin.com (或者 Bit.ly) | [解ç”](solutions/system_design/pastebin/README-zh-Hans.md) |
| 设计 Twitter 时间线和æœç´¢ (或者 Facebook feed å’Œæœç´¢) | [解ç”](solutions/system_design/twitter/README.md) |
| 设计一个网页爬虫 | [解ç”](solutions/system_design/web_crawler/README.md) |
| 设计 Mint.com | [解ç”](solutions/system_design/mint/README.md) |
| 为一个社交网络设计数æ®ç»“æž„ | [解ç”](solutions/system_design/social_graph/README.md) |
| 为æœç´¢å¼•æ“Žè®¾è®¡ä¸€ä¸ª key-value å‚¨å˜ | [解ç”](solutions/system_design/query_cache/README.md) |
| 通过分类特性设计 Amazon 的销售排å | [解ç”](solutions/system_design/sales_rank/README.md) |
| 在 AWS 上设计一个百万用户级别的系统 | [解ç”](solutions/system_design/scaling_aws/README.md) |
| æ·»åŠ ä¸€ä¸ªç³»ç»Ÿè®¾è®¡é—®é¢˜ | [贡献](#贡献) |
### 设计 Pastebin.com (或者 Bit.ly)
[查看实践与解ç”](solutions/system_design/pastebin/README.md)
### 设计 Twitter 时间线和æœç´¢ (或者 Facebook feed å’Œæœç´¢)
[查看实践与解ç”](solutions/system_design/twitter/README.md)
### 设计一个网页爬虫
[查看实践与解ç”](solutions/system_design/web_crawler/README.md)
### 设计 Mint.com
[查看实践与解ç”](solutions/system_design/mint/README.md)
### 为一个社交网络设计数æ®ç»“æž„
[查看实践与解ç”](solutions/system_design/social_graph/README.md)
### 为æœç´¢å¼•æ“Žè®¾è®¡ä¸€ä¸ª key-value 储å˜
[查看实践与解ç”](solutions/system_design/query_cache/README.md)
### 设计按类别分类的 Amazon 销售排å
[查看实践与解ç”](solutions/system_design/sales_rank/README.md)
### 在 AWS 上设计一个百万用户级别的系统
[查看实践与解ç”](solutions/system_design/scaling_aws/README.md)
## é¢å‘对象设计的é¢è¯•é—®é¢˜åŠè§£ç”
> 常è§é¢å‘对象设计é¢è¯•é—®é¢˜åŠå®žä¾‹è®¨è®ºï¼Œä»£ç 和图表演示。
>
> 与内容相关的解决方案在 `solutions/` 文件夹ä¸ã€‚
>**注：æ¤èŠ‚还在完善ä¸**
| 问题 | |
| ------------ | ---------------------------------------- |
| 设计 hash map | [解决方案](solutions/object_oriented_design/hash_table/hash_map.ipynb) |
| 设计 LRU ç¼“å˜ | [解决方案](solutions/object_oriented_design/lru_cache/lru_cache.ipynb) |
| 设计一个呼å«ä¸å¿ƒ | [解决方案](solutions/object_oriented_design/call_center/call_center.ipynb) |
| 设计一副牌 | [解决方案](solutions/object_oriented_design/deck_of_cards/deck_of_cards.ipynb) |
| 设计一个åœè½¦åœº | [解决方案](solutions/object_oriented_design/parking_lot/parking_lot.ipynb) |
| 设计一个èŠå¤©æœåŠ¡ | [解决方案](solutions/object_oriented_design/online_chat/online_chat.ipynb) |
| 设计一个环形数组 | [待解决](#贡献) |
| æ·»åŠ ä¸€ä¸ªé¢å‘对象设计问题 | [待解决](#贡献) |
## 系统设计主题：从这里开始
ä¸ç†Ÿæ‚‰ç³»ç»Ÿè®¾è®¡ï¼Ÿ
é¦–å…ˆï¼Œä½ éœ€è¦å¯¹ä¸€èˆ¬æ€§åŽŸåˆ™æœ‰ä¸€ä¸ªåŸºæœ¬çš„认识，知é“å®ƒä»¬æ˜¯ä»€ä¹ˆï¼Œæ€Žæ ·ä½¿ç”¨ä»¥åŠåˆ©å¼Šã€‚
### 第一æ¥ï¼šå›žé¡¾å¯æ‰©å±•æ€§ï¼ˆscalability）的视频讲座
[哈佛大å¦å¯æ‰©å±•æ€§è®²åº§](https://www.youtube.com/watch?v=-W9F__D3oY4)
* 主题涵盖
* 垂直扩展（Vertical scaling）
* 水平扩展（Horizontal scaling）
* 缓å˜
* è´Ÿè½½å‡è¡¡
* æ•°æ®åº“å¤åˆ¶
* æ•°æ®åº“分区
### 第二æ¥ï¼šå›žé¡¾å¯æ‰©å±•æ€§æ–‡ç«
[å¯æ‰©å±•æ€§](http://www.lecloud.net/tagged/scalability/chrono)
* 主题涵盖：
* [Clones](http://www.lecloud.net/post/7295452622/scalability-for-dummies-part-1-clones)
* [æ•°æ®åº“](http://www.lecloud.net/post/7994751381/scalability-for-dummies-part-2-database)
* [缓å˜](http://www.lecloud.net/post/9246290032/scalability-for-dummies-part-3-cache)
* [异æ¥](http://www.lecloud.net/post/9699762917/scalability-for-dummies-part-4-asynchronism)
### 接下æ¥çš„æ¥éª¤
接下æ¥ï¼Œæˆ‘们将看看高阶的æƒè¡¡å’Œå–èˆ:
* **性能**与**å¯æ‰©å±•æ€§**
* **延迟**与**åžåé‡**
* **å¯ç”¨æ€§**与**一致性**
è®°ä½**æ¯ä¸ªæ–¹é¢éƒ½é¢ä¸´å–èˆå’Œæƒè¡¡**。
然åŽï¼Œæˆ‘们将深入更具体的主题，如 DNSã€CDN 和负载å‡è¡¡å™¨ã€‚
## 性能与å¯æ‰©å±•æ€§
如果æœåŠ¡**性能**的增长与资æºçš„å¢žåŠ æ˜¯æˆæ¯”例的，æœåŠ¡å°±æ˜¯å¯æ‰©å±•çš„。通常，æ高性能æ„味ç€æœåŠ¡äºŽæ›´å¤šçš„工作å•å…ƒï¼Œå¦ä¸€æ–¹é¢ï¼Œå½“æ•°æ®é›†å¢žé•¿æ—¶ï¼ŒåŒæ ·ä¹Ÿå¯ä»¥å¤„ç†æ›´å¤§çš„工作å•ä½ã€‚1
å¦ä¸€ä¸ªè§’度æ¥çœ‹å¾…性能与å¯æ‰©å±•æ€§:
* å¦‚æžœä½ çš„ç³»ç»Ÿæœ‰**性能**问题，对于å•ä¸ªç”¨æˆ·æ¥è¯´æ˜¯ç¼“慢的。
* å¦‚æžœä½ çš„ç³»ç»Ÿæœ‰**å¯æ‰©å±•æ€§**问题，å•ä¸ªç”¨æˆ·è¾ƒå¿«ä½†åœ¨é«˜è´Ÿè½½ä¸‹ä¼šå˜æ…¢ã€‚
### æ¥æºåŠå»¶ä¼¸é˜…读
* [简å•è°ˆè°ˆå¯æ‰©å±•æ€§](http://www.allthingsdistributed.com/2006/03/a_word_on_scalability.html)
* [å¯æ‰©å±•æ€§ï¼Œå¯ç”¨æ€§ï¼Œç¨³å®šæ€§å’Œæ¨¡å¼](http://www.slideshare.net/jboner/scalability-availability-stability-patterns/)
## 延迟与åžåé‡
**延迟**是执行æ“作或è¿ç®—结果所花费的时间。
**åžåé‡**是å•ä½æ—¶é—´å†…（执行）æ¤ç±»æ“作或è¿ç®—çš„æ•°é‡ã€‚
é€šå¸¸ï¼Œä½ åº”è¯¥ä»¥**å¯æŽ¥å—级延迟**下**最大化åžåé‡**ä¸ºç›®æ ‡ã€‚
### æ¥æºåŠå»¶ä¼¸é˜…读
* [ç†è§£å»¶è¿Ÿä¸Žåžåé‡](https://community.cadence.com/cadence_blogs_8/b/sd/archive/2010/09/13/understanding-latency-vs-throughput)
## å¯ç”¨æ€§ä¸Žä¸€è‡´æ€§
### CAP ç†è®º
æ¥æºï¼šå†çœ‹ CAP ç†è®º
在一个分布å¼è®¡ç®—系统ä¸ï¼Œåªèƒ½åŒæ—¶æ»¡è¶³ä¸‹åˆ—的两点:
* **一致性** ─ æ¯æ¬¡è®¿é—®éƒ½èƒ½èŽ·å¾—最新数æ®ä½†å¯èƒ½ä¼šæ”¶åˆ°é”™è¯¯å“应
* **å¯ç”¨æ€§** ─ æ¯æ¬¡è®¿é—®éƒ½èƒ½æ”¶åˆ°éžé”™å“应，但ä¸ä¿è¯èŽ·å–到最新数æ®
* **分区容错性** ─ 在任æ„分区网络故障的情况下系统ä»èƒ½ç»§ç»è¿è¡Œ
**网络并ä¸å¯é ï¼Œæ‰€ä»¥ä½ åº”è¦æ”¯æŒåˆ†åŒºå®¹é”™æ€§ï¼Œå¹¶éœ€è¦åœ¨è½¯ä»¶å¯ç”¨æ€§å’Œä¸€è‡´æ€§é—´åšå‡ºå–èˆã€‚**
#### CP ─ 一致性和分区容错性
ç‰å¾…分区节点的å“应å¯èƒ½ä¼šå¯¼è‡´å»¶æ—¶é”™è¯¯ã€‚å¦‚æžœä½ çš„ä¸šåŠ¡éœ€æ±‚éœ€è¦åŽŸå读写，CP 是一个ä¸é”™çš„选择。
#### AP ─ å¯ç”¨æ€§ä¸Žåˆ†åŒºå®¹é”™æ€§
å“应节点上å¯ç”¨æ•°æ®çš„最近版本å¯èƒ½å¹¶ä¸æ˜¯æœ€æ–°çš„。当分区解æžå®ŒåŽï¼Œå†™å…¥ï¼ˆæ“作）å¯èƒ½éœ€è¦ä¸€äº›æ—¶é—´æ¥ä¼ æ’。
如果业务需求å…许[最终一致性](#最终一致性)，或当有外部故障时è¦æ±‚系统继ç»è¿è¡Œï¼ŒAP 是一个ä¸é”™çš„选择。
### æ¥æºåŠå»¶ä¼¸é˜…读
* [å†çœ‹ CAP ç†è®º](http://robertgreiner.com/2014/08/cap-theorem-revisited/)
* [é€šä¿—æ˜“æ‡‚åœ°ä»‹ç» CAP ç†è®º](http://ksat.me/a-plain-english-introduction-to-cap-theorem/)
* [CAP FAQ](https://github.com/henryr/cap-faq)
## 一致性模å¼
有åŒä¸€ä»½æ•°æ®çš„多份副本，我们é¢ä¸´ç€æ€Žæ ·åŒæ¥å®ƒä»¬çš„选择，以便让客户端有一致的显示数æ®ã€‚回想 [CAP ç†è®º](#cap-ç†è®º)ä¸çš„一致性定义 ─ æ¯æ¬¡è®¿é—®éƒ½èƒ½èŽ·å¾—最新数æ®ä½†å¯èƒ½ä¼šæ”¶åˆ°é”™è¯¯å“应
### 弱一致性
在写入之åŽï¼Œè®¿é—®å¯èƒ½çœ‹åˆ°ï¼Œä¹Ÿå¯èƒ½çœ‹ä¸åˆ°ï¼ˆå†™å…¥æ•°æ®ï¼‰ã€‚尽力优化之让其能访问最新数æ®ã€‚
è¿™ç§æ–¹å¼å¯ä»¥ memcached ç‰ç³»ç»Ÿä¸çœ‹åˆ°ã€‚弱一致性在 VoIP，视频èŠå¤©å’Œå®žæ—¶å¤šäººæ¸¸æˆç‰çœŸå®žç”¨ä¾‹ä¸è¡¨çŽ°ä¸é”™ã€‚æ‰“ä¸ªæ¯”æ–¹ï¼Œå¦‚æžœä½ åœ¨é€šè¯ä¸ä¸¢å¤±ä¿¡å·å‡ 秒钟时间，当é‡æ–°è¿žæŽ¥æ—¶ä½ 是å¬ä¸åˆ°è¿™å‡ 秒钟所说的è¯çš„。
### 最终一致性
在写入åŽï¼Œè®¿é—®æœ€ç»ˆèƒ½çœ‹åˆ°å†™å…¥æ•°æ®ï¼ˆé€šå¸¸åœ¨æ•°æ¯«ç§’内）。数æ®è¢«å¼‚æ¥å¤åˆ¶ã€‚
DNS å’Œ email ç‰ç³»ç»Ÿä½¿ç”¨çš„是æ¤ç§æ–¹å¼ã€‚最终一致性在高å¯ç”¨æ€§ç³»ç»Ÿä¸æ•ˆæžœä¸é”™ã€‚
### 强一致性
在写入åŽï¼Œè®¿é—®ç«‹å³å¯è§ã€‚æ•°æ®è¢«åŒæ¥å¤åˆ¶ã€‚
文件系统和关系型数æ®åº“（RDBMS）ä¸ä½¿ç”¨çš„是æ¤ç§æ–¹å¼ã€‚强一致性在需è¦è®°å½•çš„系统ä¸è¿ä½œè‰¯å¥½ã€‚
### æ¥æºåŠå»¶ä¼¸é˜…读
* [Transactions across data centers](http://snarfed.org/transactions_across_datacenters_io.html)
## å¯ç”¨æ€§æ¨¡å¼
有两ç§æ”¯æŒé«˜å¯ç”¨æ€§çš„模å¼: **故障切æ¢ï¼ˆfail-over）**å’Œ**å¤åˆ¶ï¼ˆreplication）**。
### 故障切æ¢
#### 工作到备用切æ¢ï¼ˆActive-passive）
关于工作到备用的故障切æ¢æµç¨‹æ˜¯ï¼Œå·¥ä½œæœåŠ¡å™¨å‘é€å‘¨æœŸä¿¡å·ç»™å¾…机ä¸çš„备用æœåŠ¡å™¨ã€‚如果周期信å·ä¸æ–，备用æœåŠ¡å™¨åˆ‡æ¢æˆå·¥ä½œæœåŠ¡å™¨çš„ IP 地å€å¹¶æ¢å¤æœåŠ¡ã€‚
宕机时间å–决于备用æœåŠ¡å™¨å¤„于“çƒâ€å¾…机状æ€è¿˜æ˜¯éœ€è¦ä»Žâ€œå†·â€å¾…机状æ€è¿›è¡Œå¯åŠ¨ã€‚åªæœ‰å·¥ä½œæœåŠ¡å™¨å¤„ç†æµé‡ã€‚
工作到备用的故障切æ¢ä¹Ÿè¢«ç§°ä¸ºä¸»ä»Žåˆ‡æ¢ã€‚
#### åŒå·¥ä½œåˆ‡æ¢ï¼ˆActive-active）
在åŒå·¥ä½œåˆ‡æ¢ä¸ï¼ŒåŒæ–¹éƒ½åœ¨ç®¡æŽ§æµé‡ï¼Œåœ¨å®ƒä»¬ä¹‹é—´åˆ†æ•£è´Ÿè½½ã€‚
如果是外网æœåŠ¡å™¨ï¼ŒDNS 将需è¦å¯¹ä¸¤æ–¹éƒ½äº†è§£ã€‚如果是内网æœåŠ¡å™¨ï¼Œåº”用程åºé€»è¾‘将需è¦å¯¹ä¸¤æ–¹éƒ½äº†è§£ã€‚
åŒå·¥ä½œåˆ‡æ¢ä¹Ÿå¯ä»¥ç§°ä¸ºä¸»ä¸»åˆ‡æ¢ã€‚
### 缺陷：故障切æ¢
* 故障切æ¢éœ€è¦æ·»åŠ é¢å¤–ç¡¬ä»¶å¹¶å¢žåŠ å¤æ‚性。
* 如果新写入数æ®åœ¨èƒ½è¢«å¤åˆ¶åˆ°å¤‡ç”¨ç³»ç»Ÿä¹‹å‰ï¼Œå·¥ä½œç³»ç»Ÿå‡ºçŽ°äº†æ•…障，则有å¯èƒ½ä¼šä¸¢å¤±æ•°æ®ã€‚
### å¤åˆ¶
#### 主─从å¤åˆ¶å’Œä¸»â”€ä¸»å¤åˆ¶
这个主题进一æ¥æŽ¢è®¨äº†[æ•°æ®åº“](#æ•°æ®åº“)部分:
* [主─从å¤åˆ¶](#主从å¤åˆ¶)
* [主─主å¤åˆ¶](#主主å¤åˆ¶)
## 域å系统
æ¥æºï¼šDNS 安全介ç»
域å系统是把 www.example.com ç‰åŸŸå转æ¢æˆ IP 地å€ã€‚
域å系统是分层次的，一些 DNS æœåŠ¡å™¨ä½äºŽé¡¶å±‚。当查询（域å） IP 时，路由或 ISP æ供连接 DNS æœåŠ¡å™¨çš„ä¿¡æ¯ã€‚较底层的 DNS æœåŠ¡å™¨ç¼“å˜æ˜ 射，它å¯èƒ½ä¼šå› 为 DNS ä¼ æ’延时而失效。DNS 结果å¯ä»¥ç¼“å˜åœ¨æµè§ˆå™¨æˆ–æ“作系统ä¸ä¸€æ®µæ—¶é—´ï¼Œæ—¶é—´é•¿çŸå–决于[å˜æ´»æ—¶é—´ TTL](https://en.wikipedia.org/wiki/Time_to_live)。
* **NS 记录（域åæœåŠ¡ï¼‰** ─ 指定解æžåŸŸå或å域åçš„ DNS æœåŠ¡å™¨ã€‚
* **MX 记录（邮件交æ¢ï¼‰** ─ 指定接收信æ¯çš„邮件æœåŠ¡å™¨ã€‚
* **A 记录（地å€ï¼‰** ─ 指定域å对应的 IP 地å€è®°å½•ã€‚
* **CNAME（规范）** ─ 一个域åæ˜ å°„åˆ°å¦ä¸€ä¸ªåŸŸå或 `CNAME` 记录（ example.com æŒ‡å‘ www.example.com ï¼‰æˆ–æ˜ å°„åˆ°ä¸€ä¸ª `A` 记录。
[CloudFlare](https://www.cloudflare.com/dns/) å’Œ [Route 53](https://aws.amazon.com/route53/) ç‰å¹³å°æä¾›ç®¡ç† DNS 的功能。æŸäº› DNS æœåŠ¡é€šè¿‡é›†ä¸æ–¹å¼æ¥è·¯ç”±æµé‡:
* [åŠ æƒè½®è¯¢è°ƒåº¦](http://g33kinfo.com/info/archives/2657)
* 防æ¢æµé‡è¿›å…¥ç»´æŠ¤ä¸çš„æœåŠ¡å™¨
* 在ä¸åŒå¤§å°é›†ç¾¤é—´è´Ÿè½½å‡è¡¡
* A/B 测试
* 基于延迟路由
* 基于地ç†ä½ç½®è·¯ç”±
### 缺陷:DNS
* 虽说缓å˜å¯ä»¥å‡è½» DNS 延迟，但连接 DNS æœåŠ¡å™¨è¿˜æ˜¯å¸¦æ¥äº†è½»å¾®çš„延迟。
* 虽然它们通常由[政府，网络æœåŠ¡æ供商和大公å¸](http://superuser.com/questions/472695/who-controls-the-dns-servers/472729)管ç†ï¼Œä½† DNS æœåŠ¡ç®¡ç†ä»å¯èƒ½æ˜¯å¤æ‚的。
* DNS æœåŠ¡æœ€è¿‘éå— [DDoS 攻击](http://dyn.com/blog/dyn-analysis-summary-of-friday-october-21-attack/)，阻æ¢ä¸çŸ¥é“ Twitter IP 地å€çš„用户访问 Twitter。
### æ¥æºåŠå»¶ä¼¸é˜…读
* [DNS 架构](https://technet.microsoft.com/en-us/library/dd197427(v=ws.10).aspx)
* [Wikipedia](https://en.wikipedia.org/wiki/Domain_Name_System)
* [关于 DNS çš„æ–‡ç« ](https://support.dnsimple.com/categories/dns/)
## 内容分å‘网络（CDN）
æ¥æºï¼šä¸ºä»€ä¹ˆä½¿ç”¨ CDN
内容分å‘网络（CDN）是一个全çƒæ€§çš„代ç†æœåŠ¡å™¨åˆ†å¸ƒå¼ç½‘络，它从é 近用户的ä½ç½®æ供内容。通常，HTML/CSS/JS，图片和视频ç‰é™æ€å†…容由 CDN æ供，虽然亚马逊 CloudFront ç‰ä¹Ÿæ”¯æŒåŠ¨æ€å†…容。CDN çš„ DNS 解æžä¼šå‘ŠçŸ¥å®¢æˆ·ç«¯è¿žæŽ¥å“ªå°æœåŠ¡å™¨ã€‚
将内容å˜å‚¨åœ¨ CDN 上å¯ä»¥ä»Žä¸¤ä¸ªæ–¹é¢æ¥æ供性能:
* 从é 近用户的数æ®ä¸å¿ƒæ供资æº
* 通过 CDN ä½ çš„æœåŠ¡å™¨ä¸å¿…真的处ç†è¯·æ±‚
### CDN 推é€ï¼ˆpush）
å½“ä½ æœåŠ¡å™¨ä¸Šå†…容å‘生å˜åŠ¨æ—¶ï¼ŒæŽ¨é€ CDN 接å—新内容。直接推é€ç»™ CDN 并é‡å†™ URL 地å€ä»¥æŒ‡å‘ä½ çš„å†…å®¹çš„ CDN 地å€ã€‚ä½ å¯ä»¥é…置内容到期时间åŠä½•æ—¶æ›´æ–°ã€‚内容åªæœ‰åœ¨æ›´æ”¹æˆ–新增是æ‰æŽ¨é€ï¼Œæµé‡æœ€å°åŒ–，但储å˜æœ€å¤§åŒ–。
### CDN 拉å–（pull）
CDN 拉å–是当第一个用户请求该资æºæ—¶ï¼Œä»ŽæœåŠ¡å™¨ä¸Šæ‹‰å–资æºã€‚ä½ å°†å†…å®¹ç•™åœ¨è‡ªå·±çš„æœåŠ¡å™¨ä¸Šå¹¶é‡å†™ URL æŒ‡å‘ CDN 地å€ã€‚直到内容被缓å˜åœ¨ CDN 上为æ¢ï¼Œè¿™æ ·è¯·æ±‚åªä¼šæ›´æ…¢ï¼Œ
[å˜æ´»æ—¶é—´ï¼ˆTTL）](https://en.wikipedia.org/wiki/Time_to_live)决定缓å˜å¤šä¹…时间。CDN 拉å–æ–¹å¼æœ€å°åŒ– CDN 上的储å˜ç©ºé—´ï¼Œä½†å¦‚果过期文件并在实际更改之å‰è¢«æ‹‰å–，则会导致冗余的æµé‡ã€‚
高æµé‡ç«™ç‚¹ä½¿ç”¨ CDN 拉å–效果ä¸é”™ï¼Œå› 为åªæœ‰æœ€è¿‘请求的内容ä¿å˜åœ¨ CDN ä¸ï¼Œæµé‡æ‰èƒ½æ›´å¹³è¡¡åœ°åˆ†æ•£ã€‚
### 缺陷：CDN
* CDN æˆæœ¬å¯èƒ½å› æµé‡è€Œå¼‚，å¯èƒ½åœ¨æƒè¡¡ä¹‹åŽä½ å°†ä¸ä¼šä½¿ç”¨ CDN。
* 如果在 TTL 过期之å‰æ›´æ–°å†…容，CDN 缓å˜å†…容å¯èƒ½ä¼šè¿‡æ—¶ã€‚
* CDN 需è¦æ›´æ”¹é™æ€å†…容的 URL 地å€ä»¥æŒ‡å‘ CDN。
### æ¥æºåŠå»¶ä¼¸é˜…读
* [å…¨çƒæ€§å†…容分å‘网络](http://repository.cmu.edu/cgi/viewcontent.cgi?article=2112&context=compsci)
* [CDN 拉å–å’Œ CDN 推é€çš„区别](http://www.travelblogadvice.com/technical/the-differences-between-push-and-pull-cdns/)
* [Wikipedia](https://en.wikipedia.org/wiki/Content_delivery_network)
## è´Ÿè½½å‡è¡¡å™¨
æ¥æºï¼šå¯æ‰©å±•çš„系统设计模å¼
è´Ÿè½½å‡è¡¡å™¨å°†ä¼ 入的请求分å‘到应用æœåŠ¡å™¨å’Œæ•°æ®åº“ç‰è®¡ç®—资æºã€‚æ— è®ºå“ªç§æƒ…况，负载å‡è¡¡å™¨å°†ä»Žè®¡ç®—资æºæ¥çš„å“应返回给æ°å½“的客户端。负载å‡è¡¡å™¨çš„效用在于:
* 防æ¢è¯·æ±‚进入ä¸å¥½çš„æœåŠ¡å™¨
* 防æ¢èµ„æºè¿‡è½½
* 帮助消除å•ä¸€çš„故障点
è´Ÿè½½å‡è¡¡å™¨å¯ä»¥é€šè¿‡ç¡¬ä»¶ï¼ˆæ˜‚贵）或 HAProxy ç‰è½¯ä»¶æ¥å®žçŽ°ã€‚
å¢žåŠ çš„å¥½å¤„åŒ…æ‹¬:
* **SSL 终结** ─ è§£å¯†ä¼ å…¥çš„è¯·æ±‚å¹¶åŠ å¯†æœåŠ¡å™¨å“åº”ï¼Œè¿™æ ·çš„è¯åŽç«¯æœåŠ¡å™¨å°±ä¸å¿…å†æ‰§è¡Œè¿™äº›æ½œåœ¨é«˜æ¶ˆè€—è¿ç®—了。
* ä¸éœ€è¦å†æ¯å°æœåŠ¡å™¨ä¸Šå®‰è£… [X.509 è¯ä¹¦](https://en.wikipedia.org/wiki/X.509)。
* **Session ç•™å˜** ─ 如果 Web 应用程åºä¸è¿½è¸ªä¼šè¯ï¼Œå‘出 cookie 并将特定客户端的请求路由到åŒä¸€å®žä¾‹ã€‚
通常会设置采用[工作─备用](#工作到备用切æ¢active-passive) 或 [åŒå·¥ä½œ](#åŒå·¥ä½œåˆ‡æ¢active-active) 模å¼çš„多个负载å‡è¡¡å™¨ï¼Œä»¥å…å‘生故障。
è´Ÿè½½å‡è¡¡å™¨èƒ½åŸºäºŽå¤šç§æ–¹å¼æ¥è·¯ç”±æµé‡:
* éšæœº
* 最少负载
* Session/cookie
* [è½®è¯¢è°ƒåº¦æˆ–åŠ æƒè½®è¯¢è°ƒåº¦ç®—法](http://g33kinfo.com/info/archives/2657)
* [四层负载å‡è¡¡](#四层负载å‡è¡¡)
* [七层负载å‡è¡¡](#七层负载å‡è¡¡)
### 四层负载å‡è¡¡
四层负载å‡è¡¡æ ¹æ®ç›‘看[ä¼ è¾“å±‚](#通讯)çš„ä¿¡æ¯æ¥å†³å®šå¦‚何分å‘请求。通常，这会涉åŠæ¥æºï¼Œç›®æ ‡ IP 地å€å’Œè¯·æ±‚头ä¸çš„端å£ï¼Œä½†ä¸åŒ…括数æ®åŒ…（报文）内容。四层负载å‡è¡¡æ‰§è¡Œ[网络地å€è½¬æ¢ï¼ˆNAT）](https://www.nginx.com/resources/glossary/layer-4-load-balancing/)æ¥å‘上游æœåŠ¡å™¨è½¬å‘网络数æ®åŒ…。
### 七层负载å‡è¡¡å™¨
七层负载å‡è¡¡å™¨æ ¹æ®ç›‘控[应用层](#通讯)æ¥å†³å®šæ€Žæ ·åˆ†å‘请求。这会涉åŠè¯·æ±‚头的内容，消æ¯å’Œ cookie。七层负载å‡è¡¡å™¨ç»ˆç»“网络æµé‡ï¼Œè¯»å–消æ¯ï¼Œåšå‡ºè´Ÿè½½å‡è¡¡åˆ¤å®šï¼Œç„¶åŽä¼ é€ç»™ç‰¹å®šæœåŠ¡å™¨ã€‚比如，一个七层负载å‡è¡¡å™¨èƒ½ç›´æŽ¥å°†è§†é¢‘æµé‡è¿žæŽ¥åˆ°æ‰˜ç®¡è§†é¢‘çš„æœåŠ¡å™¨ï¼ŒåŒæ—¶å°†æ›´æ•æ„Ÿçš„用户账å•æµé‡å¼•å¯¼åˆ°å®‰å…¨æ€§æ›´å¼ºçš„æœåŠ¡å™¨ã€‚
以æŸå¤±çµæ´»æ€§ä¸ºä»£ä»·ï¼Œå››å±‚è´Ÿè½½å‡è¡¡æ¯”七层负载å‡è¡¡èŠ±è´¹æ›´å°‘时间和计算资æºï¼Œè™½ç„¶è¿™å¯¹çŽ°ä»£å•†ç”¨ç¡¬ä»¶çš„性能影å“甚微。
### 水平扩展
è´Ÿè½½å‡è¡¡å™¨è¿˜èƒ½å¸®åŠ©æ°´å¹³æ‰©å±•ï¼Œæ高性能和å¯ç”¨æ€§ã€‚使用商业硬件的性价比更高，并且比在å•å°ç¡¬ä»¶ä¸Š**垂直扩展**更贵的硬件具有更高的å¯ç”¨æ€§ã€‚相比招è˜ç‰¹å®šä¼ä¸šç³»ç»Ÿäººæ‰ï¼Œæ‹›è˜å•†ä¸šç¡¬ä»¶æ–¹é¢çš„人æ‰æ›´åŠ 容易。
#### 缺陷：水平扩展
* 水平扩展引入了å¤æ‚度并涉åŠæœåŠ¡å™¨å¤åˆ¶
* æœåŠ¡å™¨åº”è¯¥æ˜¯æ— çŠ¶æ€çš„:它们也ä¸è¯¥åŒ…å«åƒ session 或资料图片ç‰ä¸Žç”¨æˆ·å…³è”çš„æ•°æ®ã€‚
* session å¯ä»¥é›†ä¸å˜å‚¨åœ¨æ•°æ®åº“或æŒä¹…化[缓å˜](#缓å˜)（Redisã€Memcached）的数æ®å˜å‚¨åŒºä¸ã€‚
* 缓å˜å’Œæ•°æ®åº“ç‰ä¸‹æ¸¸æœåŠ¡å™¨éœ€è¦éšç€ä¸Šæ¸¸æœåŠ¡å™¨è¿›è¡Œæ‰©å±•ï¼Œä»¥å¤„ç†æ›´å¤šçš„并å‘连接。
### 缺陷：负载å‡è¡¡å™¨
* 如果没有足够的资æºé…置或é…置错误，负载å‡è¡¡å™¨ä¼šå˜æˆä¸€ä¸ªæ€§èƒ½ç“¶é¢ˆã€‚
* 引入负载å‡è¡¡å™¨ä»¥å¸®åŠ©æ¶ˆé™¤å•ç‚¹æ•…障但导致了é¢å¤–çš„å¤æ‚性。
* å•ä¸ªè´Ÿè½½å‡è¡¡å™¨ä¼šå¯¼è‡´å•ç‚¹æ•…障，但é…置多个负载å‡è¡¡å™¨ä¼šè¿›ä¸€æ¥å¢žåŠ å¤æ‚性。
### æ¥æºåŠå»¶ä¼¸é˜…读
* [NGINX 架构](https://www.nginx.com/blog/inside-nginx-how-we-designed-for-performance-scale/)
* [HAProxy 架构指å—](http://www.haproxy.org/download/1.2/doc/architecture.txt)
* [å¯æ‰©å±•æ€§](http://www.lecloud.net/post/7295452622/scalability-for-dummies-part-1-clones)
* [Wikipedia](https://en.wikipedia.org/wiki/Load_balancing_(computing))
* [四层负载平衡](https://www.nginx.com/resources/glossary/layer-4-load-balancing/)
* [七层负载平衡](https://www.nginx.com/resources/glossary/layer-7-load-balancing/)
* [ELB 监å¬å™¨é…ç½®](http://docs.aws.amazon.com/elasticloadbalancing/latest/classic/elb-listener-config.html)
## åå‘代ç†ï¼ˆweb æœåŠ¡å™¨ï¼‰
资料æ¥æºï¼šç»´åŸºç™¾ç§‘
åå‘代ç†æ˜¯ä¸€ç§å¯ä»¥é›†ä¸åœ°è°ƒç”¨å†…部æœåŠ¡ï¼Œå¹¶æ供统一接å£ç»™å…¬å…±å®¢æˆ·çš„ web æœåŠ¡å™¨ã€‚æ¥è‡ªå®¢æˆ·ç«¯çš„请求先被åå‘代ç†æœåŠ¡å™¨è½¬å‘到å¯å“应请求的æœåŠ¡å™¨ï¼Œç„¶åŽä»£ç†å†æŠŠæœåŠ¡å™¨çš„å“应结果返回给客户端。
带æ¥çš„好处包括：
- **å¢žåŠ å®‰å…¨æ€§** - éšè—åŽç«¯æœåŠ¡å™¨çš„ä¿¡æ¯ï¼Œå±è”½é»‘åå•ä¸çš„ IP，é™åˆ¶æ¯ä¸ªå®¢æˆ·ç«¯çš„连接数。
- **æ高å¯æ‰©å±•æ€§å’Œçµæ´»æ€§** - 客户端åªèƒ½çœ‹åˆ°åå‘代ç†æœåŠ¡å™¨çš„ IPï¼Œè¿™ä½¿ä½ å¯ä»¥å¢žå‡æœåŠ¡å™¨æˆ–者修改它们的é…置。
- **本地终结 SSL 会è¯** - è§£å¯†ä¼ å…¥è¯·æ±‚ï¼ŒåŠ å¯†æœåŠ¡å™¨å“åº”ï¼Œè¿™æ ·åŽç«¯æœåŠ¡å™¨å°±ä¸å¿…完æˆè¿™äº›æ½œåœ¨çš„高æˆæœ¬çš„æ“作。
- å…除了在æ¯ä¸ªæœåŠ¡å™¨ä¸Šå®‰è£… [X.509](https://en.wikipedia.org/wiki/X.509) è¯ä¹¦çš„需è¦
- **压缩** - 压缩æœåŠ¡å™¨å“应
- **缓å˜** - 直接返回命ä¸çš„缓å˜ç»“æžœ
- **é™æ€å†…容** - 直接æä¾›é™æ€å†…容
- HTML/CSS/JS
- 图片
- 视频
- ç‰ç‰
### è´Ÿè½½å‡è¡¡å™¨ä¸Žåå‘代ç†
- å½“ä½ æœ‰å¤šä¸ªæœåŠ¡å™¨æ—¶ï¼Œéƒ¨ç½²è´Ÿè½½å‡è¡¡å™¨éžå¸¸æœ‰ç”¨ã€‚通常，负载å‡è¡¡å™¨å°†æµé‡è·¯ç”±ç»™ä¸€ç»„功能相åŒçš„æœåŠ¡å™¨ä¸Šã€‚
- å³ä½¿åªæœ‰ä¸€å° web æœåŠ¡å™¨æˆ–者应用æœåŠ¡å™¨æ—¶ï¼Œåå‘代ç†ä¹Ÿæœ‰ç”¨ï¼Œå¯ä»¥å‚考上一节介ç»çš„好处。
- NGINX å’Œ HAProxy ç‰è§£å†³æ–¹æ¡ˆå¯ä»¥åŒæ—¶æ”¯æŒç¬¬ä¸ƒå±‚åå‘代ç†å’Œè´Ÿè½½å‡è¡¡ã€‚
### ä¸åˆ©ä¹‹å¤„：åå‘代ç†
- 引入åå‘代ç†ä¼šå¢žåŠ 系统的å¤æ‚度。
- å•ç‹¬ä¸€ä¸ªåå‘代ç†æœåŠ¡å™¨ä»å¯èƒ½å‘生å•ç‚¹æ•…障，é…置多å°åå‘代ç†æœåŠ¡å™¨ï¼ˆå¦‚[故障转移](https://en.wikipedia.org/wiki/Failover)）会进一æ¥å¢žåŠ å¤æ‚度。
### æ¥æºåŠå»¶ä¼¸é˜…读
- [åå‘代ç†ä¸Žè´Ÿè½½å‡è¡¡](https://www.nginx.com/resources/glossary/reverse-proxy-vs-load-balancer/)
- [NGINX 架构](https://www.nginx.com/blog/inside-nginx-how-we-designed-for-performance-scale/)
- [HAProxy 架构指å—](http://www.haproxy.org/download/1.2/doc/architecture.txt)
- [Wikipedia](https://en.wikipedia.org/wiki/Reverse_proxy)
## 应用层
资料æ¥æºï¼šå¯ç¼©æ”¾ç³»ç»Ÿæž„架介ç»
å°† Web æœåŠ¡å±‚与应用层（也被称作平å°å±‚）分离，å¯ä»¥ç‹¬ç«‹ç¼©æ”¾å’Œé…ç½®è¿™ä¸¤å±‚ã€‚æ·»åŠ æ–°çš„ API åªéœ€è¦æ·»åŠ 应用æœåŠ¡å™¨ï¼Œè€Œä¸å¿…æ·»åŠ é¢å¤–çš„ web æœåŠ¡å™¨ã€‚
**å•ä¸€èŒè´£åŽŸåˆ™**æ倡å°åž‹çš„，自治的æœåŠ¡å…±åŒåˆä½œã€‚å°å›¢é˜Ÿé€šè¿‡æä¾›å°åž‹çš„æœåŠ¡ï¼Œå¯ä»¥æ›´æ¿€è¿›åœ°è®¡åˆ’增长。
应用层ä¸çš„工作进程也有å¯ä»¥å®žçŽ°[异æ¥åŒ–](#异æ¥)。
### å¾®æœåŠ¡
与æ¤è®¨è®ºç›¸å…³çš„è¯é¢˜æ˜¯ [å¾®æœåŠ¡](https://en.wikipedia.org/wiki/Microservices)，å¯ä»¥è¢«æ述为一系列å¯ä»¥ç‹¬ç«‹éƒ¨ç½²çš„å°åž‹çš„，模å—化æœåŠ¡ã€‚æ¯ä¸ªæœåŠ¡è¿è¡Œåœ¨ä¸€ä¸ªç‹¬ç«‹çš„线程ä¸ï¼Œé€šè¿‡æ˜Žç¡®å®šä¹‰çš„è½»é‡çº§æœºåˆ¶é€šè®¯ï¼Œå…±åŒå®žçŽ°ä¸šåŠ¡ç›®æ ‡ã€‚1
例如，Pinterest å¯èƒ½æœ‰è¿™äº›å¾®æœåŠ¡ï¼š 用户资料ã€å…³æ³¨è€…ã€Feed æµã€æœç´¢ã€ç…§ç‰‡ä¸Šä¼ ç‰ã€‚
### æœåŠ¡å‘现
åƒ [Consul](https://www.consul.io/docs/index.html)，[Etcd](https://coreos.com/etcd/docs/latest) å’Œ [Zookeeper](http://www.slideshare.net/sauravhaloi/introduction-to-apache-zookeeper) è¿™æ ·çš„ç³»ç»Ÿå¯ä»¥é€šè¿‡è¿½è¸ªæ³¨å†Œåã€åœ°å€ã€ç«¯å£ç‰ä¿¡æ¯æ¥å¸®åŠ©æœåŠ¡äº’相å‘现对方。[Health checks](https://www.consul.io/intro/getting-started/checks.html) å¯ä»¥å¸®åŠ©ç¡®è®¤æœåŠ¡çš„完整性和是å¦ç»å¸¸ä½¿ç”¨ä¸€ä¸ª [HTTP](#è¶…æ–‡æœ¬ä¼ è¾“åè®®http) 路径。Consul å’Œ Etcd 都有一个内建的 [key-value å˜å‚¨](#é”®-值å˜å‚¨) 用æ¥å˜å‚¨é…置信æ¯å’Œå…¶ä»–的共享信æ¯ã€‚
### ä¸åˆ©ä¹‹å¤„：应用层
- æ·»åŠ ç”±å¤šä¸ªæ¾è€¦åˆæœåŠ¡ç»„æˆçš„应用层，从架构ã€è¿è¥ã€æµç¨‹ç‰å±‚é¢æ¥è®²å°†éžå¸¸ä¸åŒï¼ˆç›¸å¯¹äºŽå•ä½“系统）。
- å¾®æœåŠ¡ä¼šå¢žåŠ 部署和è¿è¥çš„å¤æ‚度。
### æ¥æºåŠå»¶ä¼¸é˜…读
- [å¯ç¼©æ”¾ç³»ç»Ÿæž„架介ç»](http://lethain.com/introduction-to-architecting-systems-for-scale)
- [ç ´è§£ç³»ç»Ÿè®¾è®¡é¢è¯•](http://www.puncsky.com/blog/2016-02-13-crack-the-system-design-interview)
- [é¢å‘æœåŠ¡æž¶æž„](https://en.wikipedia.org/wiki/Service-oriented_architecture)
- [Zookeeper 介ç»](http://www.slideshare.net/sauravhaloi/introduction-to-apache-zookeeper)
- [构建微æœåŠ¡ï¼Œä½ 所需è¦çŸ¥é“的一切](https://cloudncode.wordpress.com/2016/07/22/msa-getting-started/)
## æ•°æ®åº“
资料æ¥æºï¼šæ‰©å±•ä½ 的用户数到第一个一åƒä¸‡
### 关系型数æ®åº“管ç†ç³»ç»Ÿï¼ˆRDBMS）
åƒ SQL è¿™æ ·çš„å…³ç³»åž‹æ•°æ®åº“是一系列以表的形å¼ç»„织的数æ®é¡¹é›†åˆã€‚
> æ ¡å¯¹æ³¨ï¼šè¿™é‡Œä½œè€… SQL å¯èƒ½æŒ‡çš„是 MySQL
**ACID** 用æ¥æ述关系型数æ®åº“[事务](https://en.wikipedia.org/wiki/Database_transaction)的特性。
- **原å性** - æ¯ä¸ªäº‹åŠ¡å†…部所有æ“作è¦ä¹ˆå…¨éƒ¨å®Œæˆï¼Œè¦ä¹ˆå…¨éƒ¨ä¸å®Œæˆã€‚
- **一致性** - 任何事务都使数æ®åº“从一个有效的状æ€è½¬æ¢åˆ°å¦ä¸€ä¸ªæœ‰æ•ˆçŠ¶æ€ã€‚
- **隔离性** - 并å‘执行事务的结果与顺åºæ‰§è¡Œäº‹åŠ¡çš„结果相åŒã€‚
- **æŒä¹…性** - 事务æ交åŽï¼Œå¯¹ç³»ç»Ÿçš„å½±å“是永久的。
关系型数æ®åº“扩展包括许多技术：**主从å¤åˆ¶**ã€**主主å¤åˆ¶**ã€**è”åˆ**ã€**分片**ã€**éžè§„范化**å’Œ **SQL调优**。
资料æ¥æºï¼šå¯æ‰©å±•æ€§ã€å¯ç”¨æ€§ã€ç¨³å®šæ€§ã€æ¨¡å¼
#### 主从å¤åˆ¶
主库åŒæ—¶è´Ÿè´£è¯»å–和写入æ“作，并å¤åˆ¶å†™å…¥åˆ°ä¸€ä¸ªæˆ–多个从库ä¸ï¼Œä»Žåº“åªè´Ÿè´£è¯»æ“ä½œã€‚æ ‘çŠ¶å½¢å¼çš„从库å†å°†å†™å…¥å¤åˆ¶åˆ°æ›´å¤šçš„从库ä¸åŽ»ã€‚如果主库离线，系统å¯ä»¥ä»¥åªè¯»æ¨¡å¼è¿è¡Œï¼Œç›´åˆ°æŸä¸ªä»Žåº“被æå‡ä¸ºä¸»åº“或有新的主库出现。
##### ä¸åˆ©ä¹‹å¤„：主从å¤åˆ¶
- 将从库æå‡ä¸ºä¸»åº“需è¦é¢å¤–的逻辑。
- å‚考[ä¸åˆ©ä¹‹å¤„：å¤åˆ¶](#ä¸åˆ©ä¹‹å¤„å¤åˆ¶)ä¸ï¼Œä¸»ä»Žå¤åˆ¶å’Œä¸»ä¸»å¤åˆ¶**å…±åŒ**的问题。
资料æ¥æºï¼šå¯æ‰©å±•æ€§ã€å¯ç”¨æ€§ã€ç¨³å®šæ€§ã€æ¨¡å¼
#### 主主å¤åˆ¶
两个主库都负责读æ“作和写æ“作，写入æ“作时互相å调。如果其ä¸ä¸€ä¸ªä¸»åº“挂机，系统å¯ä»¥ç»§ç»è¯»å–和写入。
##### ä¸åˆ©ä¹‹å¤„： 主主å¤åˆ¶
- ä½ éœ€è¦æ·»åŠ è´Ÿè½½å‡è¡¡å™¨æˆ–者在应用逻辑ä¸åšæ”¹åŠ¨ï¼Œæ¥ç¡®å®šå†™å…¥å“ªä¸€ä¸ªæ•°æ®åº“。
- 多数主-主系统è¦ä¹ˆä¸èƒ½ä¿è¯ä¸€è‡´æ€§ï¼ˆè¿å ACID），è¦ä¹ˆå› 为åŒæ¥äº§ç”Ÿäº†å†™å…¥å»¶è¿Ÿã€‚
- éšç€æ›´å¤šå†™å…¥èŠ‚ç‚¹çš„åŠ å…¥å’Œå»¶è¿Ÿçš„æ高，如何解决冲çªæ˜¾å¾—越å‘é‡è¦ã€‚
- å‚考[ä¸åˆ©ä¹‹å¤„：å¤åˆ¶](#ä¸åˆ©ä¹‹å¤„å¤åˆ¶)ä¸ï¼Œä¸»ä»Žå¤åˆ¶å’Œä¸»ä¸»å¤åˆ¶**å…±åŒ**的问题。
##### ä¸åˆ©ä¹‹å¤„：å¤åˆ¶
- 如果主库在将新写入的数æ®å¤åˆ¶åˆ°å…¶ä»–节点å‰æŒ‚掉，则有数æ®ä¸¢å¤±çš„å¯èƒ½ã€‚
- 写入会被é‡æ”¾åˆ°è´Ÿè´£è¯»å–æ“作的副本。副本å¯èƒ½å› 为过多写æ“作阻塞ä½ï¼Œå¯¼è‡´è¯»å–功能异常。
- 读å–从库越多，需è¦å¤åˆ¶çš„写入数æ®å°±è¶Šå¤šï¼Œå¯¼è‡´æ›´ä¸¥é‡çš„å¤åˆ¶å»¶è¿Ÿã€‚
- 在æŸäº›æ•°æ®åº“系统ä¸ï¼Œå†™å…¥ä¸»åº“çš„æ“作å¯ä»¥ç”¨å¤šä¸ªçº¿ç¨‹å¹¶è¡Œå†™å…¥ï¼Œä½†è¯»å–副本åªæ”¯æŒå•çº¿ç¨‹é¡ºåºåœ°å†™å…¥ã€‚
- å¤åˆ¶æ„味ç€æ›´å¤šçš„硬件和é¢å¤–çš„å¤æ‚度。
##### æ¥æºåŠå»¶ä¼¸é˜…读
- [扩展性，å¯ç”¨æ€§ï¼Œç¨³å®šæ€§æ¨¡å¼](http://www.slideshare.net/jboner/scalability-availability-stability-patterns/)
- [多主å¤åˆ¶](https://en.wikipedia.org/wiki/Multi-master_replication)
#### è”åˆ
资料æ¥æºï¼šæ‰©å±•ä½ 的用户数到第一个一åƒä¸‡
è”åˆï¼ˆæˆ–按功能划分）将数æ®åº“æŒ‰å¯¹åº”åŠŸèƒ½åˆ†å‰²ã€‚ä¾‹å¦‚ï¼Œä½ å¯ä»¥æœ‰ä¸‰ä¸ªæ•°æ®åº“：**论å›**ã€**用户**å’Œ**产å“**，而ä¸ä»…是一个å•ä½“æ•°æ®åº“，从而å‡å°‘æ¯ä¸ªæ•°æ®åº“的读å–和写入æµé‡ï¼Œå‡å°‘å¤åˆ¶å»¶è¿Ÿã€‚较å°çš„æ•°æ®åº“æ„味ç€æ›´å¤šé€‚åˆæ”¾å…¥å†…å˜çš„æ•°æ®ï¼Œè¿›è€Œæ„味ç€æ›´é«˜çš„缓å˜å‘½ä¸å‡ 率。没有åªèƒ½ä¸²è¡Œå†™å…¥çš„ä¸å¿ƒåŒ–ä¸»åº“ï¼Œä½ å¯ä»¥å¹¶è¡Œå†™å…¥ï¼Œæ高负载能力。
##### ä¸åˆ©ä¹‹å¤„：è”åˆ
- å¦‚æžœä½ çš„æ•°æ®åº“模å¼éœ€è¦å¤§é‡çš„功能和数æ®è¡¨ï¼Œè”åˆçš„效率并ä¸å¥½ã€‚
- ä½ éœ€è¦æ›´æ–°åº”用程åºçš„逻辑æ¥ç¡®å®šè¦è¯»å–和写入哪个数æ®åº“。
- 用 [server link](http://stackoverflow.com/questions/5145637/querying-data-by-joining-two-tables-in-two-database-on-different-servers) 从两个库è”结数æ®æ›´å¤æ‚。
- è”åˆéœ€è¦æ›´å¤šçš„硬件和é¢å¤–çš„å¤æ‚度。
##### æ¥æºåŠå»¶ä¼¸é˜…读：è”åˆ
- [æ‰©å±•ä½ çš„ç”¨æˆ·æ•°åˆ°ç¬¬ä¸€ä¸ªä¸€åƒä¸‡](https://www.youtube.com/watch?v=w95murBkYmU)
#### 分片
资料æ¥æºï¼šå¯æ‰©å±•æ€§ã€å¯ç”¨æ€§ã€ç¨³å®šæ€§ã€æ¨¡å¼
分片将数æ®åˆ†é…在ä¸åŒçš„æ•°æ®åº“上，使得æ¯ä¸ªæ•°æ®åº“仅管ç†æ•´ä¸ªæ•°æ®é›†çš„一个å集。以用户数æ®åº“为例，éšç€ç”¨æˆ·æ•°é‡çš„å¢žåŠ ï¼Œè¶Šæ¥è¶Šå¤šçš„åˆ†ç‰‡ä¼šè¢«æ·»åŠ åˆ°é›†ç¾¤ä¸ã€‚
类似[è”åˆ](#è”åˆ)的优点，分片å¯ä»¥å‡å°‘读å–和写入æµé‡ï¼Œå‡å°‘å¤åˆ¶å¹¶æ高缓å˜å‘½ä¸çŽ‡ã€‚也å‡å°‘了索引，通常æ„味ç€æŸ¥è¯¢æ›´å¿«ï¼Œæ€§èƒ½æ›´å¥½ã€‚如果一个分片出问题，其他的ä»èƒ½è¿è¡Œï¼Œä½ å¯ä»¥ä½¿ç”¨æŸç§å½¢å¼çš„冗余æ¥é˜²æ¢æ•°æ®ä¸¢å¤±ã€‚类似è”åˆï¼Œæ²¡æœ‰åªèƒ½ä¸²è¡Œå†™å…¥çš„ä¸å¿ƒåŒ–ä¸»åº“ï¼Œä½ å¯ä»¥å¹¶è¡Œå†™å…¥ï¼Œæ高负载能力。
常è§çš„åšæ³•æ˜¯ç”¨æˆ·å§“æ°çš„首å—æ¯æˆ–者用户的地ç†ä½ç½®æ¥åˆ†éš”用户表。
##### ä¸åˆ©ä¹‹å¤„：分片
- ä½ éœ€è¦ä¿®æ”¹åº”用程åºçš„逻辑æ¥å®žçŽ°åˆ†ç‰‡ï¼Œè¿™ä¼šå¸¦æ¥å¤æ‚çš„ SQL 查询。
- 分片ä¸åˆç†å¯èƒ½å¯¼è‡´æ•°æ®è´Ÿè½½ä¸å‡è¡¡ã€‚例如，被频ç¹è®¿é—®çš„用户数æ®ä¼šå¯¼è‡´å…¶æ‰€åœ¨åˆ†ç‰‡çš„负载相对其他分片高。
- å†å¹³è¡¡ä¼šå¼•å…¥é¢å¤–çš„å¤æ‚度。基于[一致性哈希](http://www.paperplanes.de/2011/12/9/the-magic-of-consistent-hashing.html)的分片算法å¯ä»¥å‡å°‘è¿™ç§æƒ…况。
- è”结多个分片的数æ®æ“作更å¤æ‚。
- 分片需è¦æ›´å¤šçš„硬件和é¢å¤–çš„å¤æ‚度。
#### æ¥æºåŠå»¶ä¼¸é˜…读：分片
- [分片时代æ¥ä¸´](http://highscalability.com/blog/2009/8/6/an-unorthodox-approach-to-database-design-the-coming-of-the.html)
- [æ•°æ®åº“分片架构](https://en.wikipedia.org/wiki/Shard_(database_architecture))
- [一致性哈希](http://www.paperplanes.de/2011/12/9/the-magic-of-consistent-hashing.html)
#### éžè§„范化
éžè§„范化试图以写入性能为代价æ¥æ¢å–读å–性能。在多个表ä¸å†—余数æ®å‰¯æœ¬ï¼Œä»¥é¿å…高æˆæœ¬çš„è”结æ“作。一些关系型数æ®åº“，比如 [PostgreSQL](https://en.wikipedia.org/wiki/PostgreSQL) å’Œ Oracle 支æŒ[物化视图](https://en.wikipedia.org/wiki/Materialized_view)，å¯ä»¥å¤„ç†å†—余信æ¯å˜å‚¨å’Œä¿è¯å†—余副本一致。
当数æ®ä½¿ç”¨è¯¸å¦‚[è”åˆ](#è”åˆ)å’Œ[分片](#分片)ç‰æŠ€æœ¯è¢«åˆ†å‰²ï¼Œè¿›ä¸€æ¥æ高了处ç†è·¨æ•°æ®ä¸å¿ƒçš„è”结æ“作å¤æ‚度。éžè§„范化å¯ä»¥è§„é¿è¿™ç§å¤æ‚çš„è”结æ“作。
在多数系统ä¸ï¼Œè¯»å–æ“作的频率远高于写入æ“作，比例å¯è¾¾åˆ° 100:1，甚至 1000:1。需è¦å¤æ‚çš„æ•°æ®åº“è”结的读å–æ“作æˆæœ¬éžå¸¸é«˜ï¼Œåœ¨ç£ç›˜æ“作上消耗了大é‡æ—¶é—´ã€‚
##### ä¸åˆ©ä¹‹å¤„：éžè§„范化
- æ•°æ®ä¼šå†—余。
- 约æŸå¯ä»¥å¸®åŠ©å†—余的信æ¯å‰¯æœ¬ä¿æŒåŒæ¥ï¼Œä½†è¿™æ ·ä¼šå¢žåŠ æ•°æ®åº“设计的å¤æ‚度。
- éžè§„范化的数æ®åº“在高写入负载下性能å¯èƒ½æ¯”规范化的数æ®åº“差。
##### æ¥æºåŠå»¶ä¼¸é˜…读：éžè§„范化
- [éžè§„范化](https://en.wikipedia.org/wiki/Denormalization)
#### SQL 调优
SQL 调优是一个范围很广的è¯é¢˜ï¼Œæœ‰å¾ˆå¤šç›¸å…³çš„[书](https://www.amazon.com/s/ref=nb_sb_noss_2?url=search-alias%3Daps&field-keywords=sql+tuning)å¯ä»¥ä½œä¸ºå‚考。
利用**基准测试**å’Œ**性能分æž**æ¥æ¨¡æ‹Ÿå’Œå‘现系统瓶颈很é‡è¦ã€‚
- **基准测试** - 用 [ab](http://httpd.apache.org/docs/2.2/programs/ab.html) ç‰å·¥å…·æ¨¡æ‹Ÿé«˜è´Ÿè½½æƒ…况。
- **性能分æž** - 通过å¯ç”¨å¦‚[慢查询日志](http://dev.mysql.com/doc/refman/5.7/en/slow-query-log.html)ç‰å·¥å…·æ¥è¾…助追踪性能问题。
基准测试和性能分æžå¯èƒ½ä¼šæŒ‡å¼•ä½ 到以下优化方案。
##### 改进模å¼
- 为了实现快速访问，MySQL 在ç£ç›˜ä¸Šç”¨è¿žç»çš„å—å˜å‚¨æ•°æ®ã€‚
- 使用 `CHAR` 类型å˜å‚¨å›ºå®šé•¿åº¦çš„å—段，ä¸è¦ç”¨ `VARCHAR`。
- `CHAR` 在快速ã€éšæœºè®¿é—®æ—¶æ•ˆçŽ‡å¾ˆé«˜ã€‚如果使用 `VARCHAR`ï¼Œå¦‚æžœä½ æƒ³è¯»å–下一个å—符串，ä¸å¾—ä¸å…ˆè¯»å–到当å‰å—符串的末尾。
- 使用 `TEXT` 类型å˜å‚¨å¤§å—的文本，例如åšå®¢æ£æ–‡ã€‚`TEXT` 还å…许布尔æœç´¢ã€‚使用 `TEXT` å—段需è¦åœ¨ç£ç›˜ä¸Šå˜å‚¨ä¸€ä¸ªç”¨äºŽå®šä½æ–‡æœ¬å—的指针。
- 使用 `INT` 类型å˜å‚¨é«˜è¾¾ 2^32 或 40 亿的较大数å—。
- 使用 `DECIMAL` 类型å˜å‚¨è´§å¸å¯ä»¥é¿å…浮点数表示错误。
- é¿å…使用 `BLOBS` å˜å‚¨å®žé™…对象，而是用æ¥å˜å‚¨å˜æ”¾å¯¹è±¡çš„ä½ç½®ã€‚
- `VARCHAR(255)` 是以 8 ä½æ•°å—å˜å‚¨çš„最大å—符数，在æŸäº›å…³ç³»åž‹æ•°æ®åº“ä¸ï¼Œæœ€å¤§é™åº¦åœ°åˆ©ç”¨å—节。
- 在适用场景ä¸è®¾ç½® `NOT NULL` 约æŸæ¥[æ高æœç´¢æ€§èƒ½](http://stackoverflow.com/questions/1017239/how-do-null-values-affect-performance-in-a-database-search)。
##### 使用æ£ç¡®çš„索引
- ä½ æ£æŸ¥è¯¢ï¼ˆ`SELECT`ã€`GROUP BY`ã€`ORDER BY`ã€`JOIN`）的列如果用了索引会更快。
- 索引通常表示为自平衡的 [B æ ‘](https://en.wikipedia.org/wiki/B-tree)，å¯ä»¥ä¿æŒæ•°æ®æœ‰åºï¼Œå¹¶å…许在对数时间内进行æœç´¢ï¼Œé¡ºåºè®¿é—®ï¼Œæ’å…¥ï¼Œåˆ é™¤æ“作。
- 设置索引，会将数æ®å˜åœ¨å†…å˜ä¸ï¼Œå 用了更多内å˜ç©ºé—´ã€‚
- 写入æ“作会å˜æ…¢ï¼Œå› 为索引需è¦è¢«æ›´æ–°ã€‚
- åŠ è½½å¤§é‡æ•°æ®æ—¶ï¼Œç¦ç”¨ç´¢å¼•å†åŠ 载数æ®ï¼Œç„¶åŽé‡å»ºç´¢å¼•ï¼Œè¿™æ ·ä¹Ÿè®¸ä¼šæ›´å¿«ã€‚
##### é¿å…高æˆæœ¬çš„è”结æ“作
- 有性能需è¦ï¼Œå¯ä»¥è¿›è¡Œéžè§„范化。
##### 分割数æ®è¡¨
- å°†çƒç‚¹æ•°æ®æ‹†åˆ†åˆ°å•ç‹¬çš„æ•°æ®è¡¨ä¸ï¼Œå¯ä»¥æœ‰åŠ©äºŽç¼“å˜ã€‚
##### 调优查询缓å˜
- 在æŸäº›æƒ…况下，[查询缓å˜](http://dev.mysql.com/doc/refman/5.7/en/query-cache)å¯èƒ½ä¼šå¯¼è‡´[性能问题](https://www.percona.com/blog/2014/01/28/10-mysql-performance-tuning-settings-after-installation/)。
##### æ¥æºåŠå»¶ä¼¸é˜…读
- [MySQL 查询优化å°è´´å£«](http://20bits.com/article/10-tips-for-optimizing-mysql-queries-that-dont-suck)
- [为什么 VARCHAR(255) 很常è§ï¼Ÿ](http://stackoverflow.com/questions/1217466/is-there-a-good-reason-i-see-varchar255-used-so-often-as-opposed-to-another-l)
- [Null 值是如何影å“æ•°æ®åº“性能的？](http://stackoverflow.com/questions/1017239/how-do-null-values-affect-performance-in-a-database-search)
- [慢查询日志](http://dev.mysql.com/doc/refman/5.7/en/slow-query-log.html)
### NoSQL
NoSQL 是**é”®-值数æ®åº“**ã€**文档型数æ®åº“**ã€**列型数æ®åº“**或**图数æ®åº“**的统称。数æ®åº“是éžè§„范化的，表è”结大多在应用程åºä»£ç ä¸å®Œæˆã€‚大多数 NoSQL æ— æ³•å®žçŽ°çœŸæ£ç¬¦åˆ ACID 的事务，支æŒ[最终一致](#最终一致性)。
**BASE** 通常被用于æè¿° NoSQL æ•°æ®åº“的特性。相比 [CAP ç†è®º](#cap-ç†è®º)，BASE 强调å¯ç”¨æ€§è¶…过一致性。
- **基本å¯ç”¨** - 系统ä¿è¯å¯ç”¨æ€§ã€‚
- **软状æ€** - å³ä½¿æ²¡æœ‰è¾“入，系统状æ€ä¹Ÿå¯èƒ½éšç€æ—¶é—´å˜åŒ–。
- **最终一致性** - ç»è¿‡ä¸€æ®µæ—¶é—´ä¹‹åŽï¼Œç³»ç»Ÿæœ€ç»ˆä¼šå˜ä¸€è‡´ï¼Œå› 为系统在æ¤æœŸé—´æ²¡æœ‰æ”¶åˆ°ä»»ä½•è¾“入。
除了在 [SQL 还是 NoSQL](#sql-还是-nosql) 之间åšé€‰æ‹©ï¼Œäº†è§£å“ªç§ç±»åž‹çš„ NoSQL æ•°æ®åº“最适åˆä½ 的用例也是éžå¸¸æœ‰å¸®åŠ©çš„。我们将在下一节ä¸å¿«é€Ÿäº†è§£ä¸‹ **é”®-值å˜å‚¨**ã€**文档型å˜å‚¨**ã€**列型å˜å‚¨**å’Œ**图å˜å‚¨**æ•°æ®åº“。
#### é”®-值å˜å‚¨
> 抽象模型：哈希表
é”®-值å˜å‚¨é€šå¸¸å¯ä»¥å®žçŽ° O(1) 时间读写，用内å˜æˆ– SSD å˜å‚¨æ•°æ®ã€‚æ•°æ®å˜å‚¨å¯ä»¥æŒ‰[å—典顺åº](https://en.wikipedia.org/wiki/Lexicographical_order)维护键，从而实现键的高效检索。键-值å˜å‚¨å¯ä»¥ç”¨äºŽå˜å‚¨å…ƒæ•°æ®ã€‚
é”®-值å˜å‚¨æ€§èƒ½å¾ˆé«˜ï¼Œé€šå¸¸ç”¨äºŽå˜å‚¨ç®€å•æ•°æ®æ¨¡åž‹æˆ–频ç¹ä¿®æ”¹çš„æ•°æ®ï¼Œå¦‚å˜æ”¾åœ¨å†…å˜ä¸çš„缓å˜ã€‚é”®-值å˜å‚¨æ供的æ“作有é™ï¼Œå¦‚果需è¦æ›´å¤šæ“作，å¤æ‚度将转å«åˆ°åº”用程åºå±‚é¢ã€‚
é”®-值å˜å‚¨æ˜¯å¦‚文档å˜å‚¨ï¼Œåœ¨æŸäº›æƒ…况下，甚至是图å˜å‚¨ç‰æ›´å¤æ‚çš„å˜å‚¨ç³»ç»Ÿçš„基础。
#### æ¥æºåŠå»¶ä¼¸é˜…读
- [é”®-值数æ®åº“](https://en.wikipedia.org/wiki/Key-value_database)
- [é”®-值å˜å‚¨çš„劣势](http://stackoverflow.com/questions/4056093/what-are-the-disadvantages-of-using-a-key-value-table-over-nullable-columns-or)
- [Redis 架构](http://qnimate.com/overview-of-redis-architecture/)
- [Memcached 架构](https://adayinthelifeof.nl/2011/02/06/memcache-internals/)
#### 文档类型å˜å‚¨
> 抽象模型：将文档作为值的键-值å˜å‚¨
文档类型å˜å‚¨ä»¥æ–‡æ¡£ï¼ˆXMLã€JSONã€äºŒè¿›åˆ¶æ–‡ä»¶ç‰ï¼‰ä¸ºä¸å¿ƒï¼Œæ–‡æ¡£å˜å‚¨äº†æŒ‡å®šå¯¹è±¡çš„全部信æ¯ã€‚文档å˜å‚¨æ ¹æ®æ–‡æ¡£è‡ªèº«çš„内部结构æä¾› API 或查询è¯å¥æ¥å®žçŽ°æŸ¥è¯¢ã€‚请注æ„，许多键-值å˜å‚¨æ•°æ®åº“有用值å˜å‚¨å…ƒæ•°æ®çš„特性，这也模糊了这两ç§å˜å‚¨ç±»åž‹çš„ç•Œé™ã€‚
基于底层实现，文档å¯ä»¥æ ¹æ®é›†åˆã€æ ‡ç¾ã€å…ƒæ•°æ®æˆ–者文件夹组织。尽管ä¸åŒæ–‡æ¡£å¯ä»¥è¢«ç»„织在一起或者分æˆä¸€ç»„，但相互之间å¯èƒ½å…·æœ‰å®Œå…¨ä¸åŒçš„å—段。
MongoDB å’Œ CouchDB ç‰ä¸€äº›æ–‡æ¡£ç±»åž‹å˜å‚¨è¿˜æ供了类似 SQL è¯è¨€çš„查询è¯å¥æ¥å®žçŽ°å¤æ‚查询。DynamoDB åŒæ—¶æ”¯æŒé”®-值å˜å‚¨å’Œæ–‡æ¡£ç±»åž‹å˜å‚¨ã€‚
文档类型å˜å‚¨å…·å¤‡é«˜åº¦çš„çµæ´»æ€§ï¼Œå¸¸ç”¨äºŽå¤„ç†å¶å°”å˜åŒ–çš„æ•°æ®ã€‚
#### æ¥æºåŠå»¶ä¼¸é˜…读：文档类型å˜å‚¨
- [é¢å‘文档的数æ®åº“](https://en.wikipedia.org/wiki/Document-oriented_database)
- [MongoDB 架构](https://www.mongodb.com/mongodb-architecture)
- [CouchDB 架构](https://blog.couchdb.org/2016/08/01/couchdb-2-0-architecture/)
- [Elasticsearch 架构](https://www.elastic.co/blog/found-elasticsearch-from-the-bottom-up)
#### 列型å˜å‚¨
资料æ¥æº: SQL å’Œ NoSQL，一个简çŸçš„历å²
> 抽象模型：嵌套的 `ColumnFamily>` æ˜ å°„
类型å˜å‚¨çš„基本数æ®å•å…ƒæ˜¯åˆ—（åï¼å€¼å¯¹ï¼‰ã€‚列å¯ä»¥åœ¨åˆ—æ—（类似于 SQL çš„æ•°æ®è¡¨ï¼‰ä¸è¢«åˆ†ç»„。超级列æ—å†åˆ†ç»„普通列æ—ã€‚ä½ å¯ä»¥ä½¿ç”¨è¡Œé”®ç‹¬ç«‹è®¿é—®æ¯ä¸€åˆ—，具有相åŒè¡Œé”®å€¼çš„列组æˆä¸€è¡Œã€‚æ¯ä¸ªå€¼éƒ½åŒ…å«ç‰ˆæœ¬çš„时间戳用于解决版本冲çªã€‚
Google å‘布了第一个列型å˜å‚¨æ•°æ®åº“ [Bigtable](http://www.read.seas.harvard.edu/~kohler/class/cs239-w08/chang06bigtable.pdf)，它影å“了 Hadoop 生æ€ç³»ç»Ÿä¸æ´»è·ƒçš„å¼€æºæ•°æ®åº“ [HBase](https://www.mapr.com/blog/in-depth-look-hbase-architecture) å’Œ Facebook çš„ [Cassandra](http://docs.datastax.com/en/archived/cassandra/2.0/cassandra/architecture/architectureIntro_c.html)ã€‚åƒ BigTable，HBase å’Œ Cassandra è¿™æ ·çš„å˜å‚¨ç³»ç»Ÿå°†é”®ä»¥å—æ¯é¡ºåºå˜å‚¨ï¼Œå¯ä»¥é«˜æ•ˆåœ°è¯»å–键列。
列型å˜å‚¨å…·å¤‡é«˜å¯ç”¨æ€§å’Œé«˜å¯æ‰©å±•æ€§ã€‚通常被用于大数æ®ç›¸å…³å˜å‚¨ã€‚
##### æ¥æºåŠå»¶ä¼¸é˜…读：列型å˜å‚¨
- [SQL 与 NoSQL 简å²](http://blog.grio.com/2015/11/sql-nosql-a-brief-history.html)
- [BigTable 架构](http://www.read.seas.harvard.edu/~kohler/class/cs239-w08/chang06bigtable.pdf)
- [Hbase 架构](https://www.mapr.com/blog/in-depth-look-hbase-architecture)
- [Cassandra 架构](http://docs.datastax.com/en/archived/cassandra/2.0/cassandra/architecture/architectureIntro_c.html)
#### 图数æ®åº“
资料æ¥æºï¼šå›¾æ•°æ®åº“
> 抽象模型： 图
在图数æ®åº“ä¸ï¼Œä¸€ä¸ªèŠ‚点对应一æ¡è®°å½•ï¼Œä¸€ä¸ªå¼§å¯¹åº”两个节点之间的关系。图数æ®åº“被优化用于表示外键ç¹å¤šçš„å¤æ‚关系或多对多关系。
图数æ®åº“为å˜å‚¨å¤æ‚关系的数æ®æ¨¡åž‹ï¼Œå¦‚社交网络，æ供了很高的性能。它们相对较新，尚未广泛应用，查找开å‘工具或者资æºç›¸å¯¹è¾ƒéš¾ã€‚许多图åªèƒ½é€šè¿‡ [REST API](#表述性状æ€è½¬ç§»rest) 访问。
##### 相关资æºå’Œå»¶ä¼¸é˜…读：图
- [图数æ®åº“](https://en.wikipedia.org/wiki/Graph_database)
- [Neo4j](https://neo4j.com/)
- [FlockDB](https://blog.twitter.com/2010/introducing-flockdb)
#### æ¥æºåŠå»¶ä¼¸é˜…读：NoSQL
- [æ•°æ®åº“术è¯è§£é‡Š](http://stackoverflow.com/questions/3342497/explanation-of-base-terminology)
- [NoSQL æ•°æ®åº“ - 调查åŠå†³ç–指å—](https://medium.com/baqend-blog/nosql-databases-a-survey-and-decision-guidance-ea7823a822d#.wskogqenq)
- [å¯æ‰©å±•æ€§](http://www.lecloud.net/post/7994751381/scalability-for-dummies-part-2-database)
- [NoSQL 介ç»](https://www.youtube.com/watch?v=qI_g07C_Q5I)
- [NoSQL 模å¼](http://horicky.blogspot.com/2009/11/nosql-patterns.html)
### SQL 还是 NoSQL
资料æ¥æºï¼šä»Ž RDBMS 转æ¢åˆ° NoSQL
é€‰å– **SQL** çš„åŽŸå› :
- 结构化数æ®
- ä¸¥æ ¼çš„æ¨¡å¼
- 关系型数æ®
- 需è¦å¤æ‚çš„è”结æ“作
- 事务
- 清晰的扩展模å¼
- 既有资æºæ›´ä¸°å¯Œï¼šå¼€å‘者ã€ç¤¾åŒºã€ä»£ç 库ã€å·¥å…·ç‰
- 通过索引进行查询éžå¸¸å¿«
é€‰å– **NoSQL** çš„åŽŸå› ï¼š
- åŠç»“构化数æ®
- 动æ€æˆ–çµæ´»çš„模å¼
- éžå…³ç³»åž‹æ•°æ®
- ä¸éœ€è¦å¤æ‚çš„è”结æ“作
- å˜å‚¨ TB （甚至 PB）级别的数æ®
- 高数æ®å¯†é›†çš„工作负载
- IOPS 高åžåé‡
é€‚åˆ NoSQL 的示例数æ®ï¼š
- 埋点数æ®å’Œæ—¥å¿—æ•°æ®
- 排行榜或者得分数æ®
- 临时数æ®ï¼Œå¦‚è´ç‰©è½¦
- 频ç¹è®¿é—®çš„（“çƒâ€ï¼‰è¡¨
- 元数æ®ï¼æŸ¥æ‰¾è¡¨
##### æ¥æºåŠå»¶ä¼¸é˜…读：SQL 或 NoSQL
- [æ‰©å±•ä½ çš„ç”¨æˆ·æ•°åˆ°ç¬¬ä¸€ä¸ªåƒä¸‡](https://www.youtube.com/watch?v=w95murBkYmU)
- [SQL å’Œ NoSQL çš„ä¸åŒ](https://www.sitepoint.com/sql-vs-nosql-differences/)
## 缓å˜
资料æ¥æºï¼šå¯æ‰©å±•çš„系统设计模å¼
缓å˜å¯ä»¥æ高页é¢åŠ 载速度，并å¯ä»¥å‡å°‘æœåŠ¡å™¨å’Œæ•°æ®åº“的负载。在这个模型ä¸ï¼Œåˆ†å‘器先查看请求之å‰æ˜¯å¦è¢«å“应过，如果有则将之å‰çš„结果直接返回，æ¥çœæŽ‰çœŸæ£çš„处ç†ã€‚
æ•°æ®åº“分片å‡åŒ€åˆ†å¸ƒçš„读å–是最好的。但是çƒé—¨æ•°æ®ä¼šè®©è¯»å–分布ä¸å‡åŒ€ï¼Œè¿™æ ·å°±ä¼šé€ æˆç“¶é¢ˆï¼Œå¦‚果在数æ®åº“å‰åŠ 个缓å˜ï¼Œå°±ä¼šæŠ¹å¹³ä¸å‡åŒ€çš„负载和çªå‘æµé‡å¯¹æ•°æ®åº“çš„å½±å“。
### 客户端缓å˜
缓å˜å¯ä»¥ä½äºŽå®¢æˆ·ç«¯ï¼ˆæ“作系统或者æµè§ˆå™¨ï¼‰ï¼Œ[æœåŠ¡ç«¯](#åå‘代ç†web-æœåŠ¡å™¨)或者ä¸åŒçš„缓å˜å±‚。
### CDN 缓å˜
[CDN](#内容分å‘网络cdn) 也被视为一ç§ç¼“å˜ã€‚
### Web æœåŠ¡å™¨ç¼“å˜
[åå‘代ç†](#åå‘代ç†web-æœåŠ¡å™¨)和缓å˜ï¼ˆæ¯”如 [Varnish](https://www.varnish-cache.org/)）å¯ä»¥ç›´æŽ¥æä¾›é™æ€å’ŒåŠ¨æ€å†…容。Web æœåŠ¡å™¨åŒæ ·ä¹Ÿå¯ä»¥ç¼“å˜è¯·æ±‚，返回相应结果而ä¸å¿…连接应用æœåŠ¡å™¨ã€‚
### æ•°æ®åº“缓å˜
æ•°æ®åº“的默认é…ç½®ä¸é€šå¸¸åŒ…å«ç¼“å˜çº§åˆ«ï¼Œé’ˆå¯¹ä¸€èˆ¬ç”¨ä¾‹è¿›è¡Œäº†ä¼˜åŒ–。调整é…置，在ä¸åŒæƒ…况下使用ä¸åŒçš„模å¼å¯ä»¥è¿›ä¸€æ¥æ高性能。
### 应用缓å˜
基于内å˜çš„缓å˜æ¯”如 Memcached å’Œ Redis 是应用程åºå’Œæ•°æ®å˜å‚¨ä¹‹é—´çš„一ç§é”®å€¼å˜å‚¨ã€‚由于数æ®ä¿å˜åœ¨ RAM ä¸ï¼Œå®ƒæ¯”å˜å‚¨åœ¨ç£ç›˜ä¸Šçš„典型数æ®åº“è¦å¿«å¤šäº†ã€‚RAM 比ç£ç›˜é™åˆ¶æ›´å¤šï¼Œæ‰€ä»¥ä¾‹å¦‚ [least recently used (LRU)](https://en.wikipedia.org/wiki/Cache_algorithms#Least_Recently_Used) çš„[缓å˜æ— 效算法](https://en.wikipedia.org/wiki/Cache_algorithms)å¯ä»¥å°†ã€Œçƒé—¨æ•°æ®ã€æ”¾åœ¨ RAM ä¸ï¼Œè€Œå¯¹ä¸€äº›æ¯”较「冷门ã€çš„æ•°æ®ä¸åšå¤„ç†ã€‚
Redis æœ‰ä¸‹åˆ—é™„åŠ åŠŸèƒ½ï¼š
- æŒä¹…性选项
- 内置数æ®ç»“构比如有åºé›†åˆå’Œåˆ—表
有多个缓å˜çº§åˆ«ï¼Œåˆ†ä¸ºä¸¤å¤§ç±»ï¼š**æ•°æ®åº“查询**å’Œ**对象**：
- 行级别
- 查询级别
- 完整的å¯åºåˆ—化对象
- 完全渲染的 HTML
一般æ¥è¯´ï¼Œä½ 应该尽é‡é¿å…基于文件的缓å˜ï¼Œå› 为这使得å¤åˆ¶å’Œè‡ªåŠ¨ç¼©æ”¾å¾ˆå›°éš¾ã€‚
### æ•°æ®åº“查询级别的缓å˜
å½“ä½ æŸ¥è¯¢æ•°æ®åº“的时候，将查询è¯å¥çš„哈希值与查询结果å˜å‚¨åˆ°ç¼“å˜ä¸ã€‚è¿™ç§æ–¹æ³•ä¼šé‡åˆ°ä»¥ä¸‹é—®é¢˜ï¼š
- 很难用å¤æ‚çš„æŸ¥è¯¢åˆ é™¤å·²ç¼“å˜ç»“果。
- 如果一æ¡æ•°æ®æ¯”如表ä¸æŸæ¡æ•°æ®çš„一项被改å˜ï¼Œåˆ™éœ€è¦åˆ 除所有å¯èƒ½åŒ…å«å·²æ›´æ”¹é¡¹çš„缓å˜ç»“果。
### 对象级别的缓å˜
将您的数æ®è§†ä¸ºå¯¹è±¡ï¼Œå°±åƒå¯¹å¾…ä½ çš„åº”ç”¨ä»£ç ä¸€æ ·ã€‚è®©åº”ç”¨ç¨‹åºå°†æ•°æ®ä»Žæ•°æ®åº“ä¸ç»„åˆåˆ°ç±»å®žä¾‹æˆ–æ•°æ®ç»“æž„ä¸ï¼š
- 如果对象的基础数æ®å·²ç»æ›´æ”¹äº†ï¼Œé‚£ä¹ˆä»Žç¼“å˜ä¸åˆ 掉这个对象。
- å…许异æ¥å¤„ç†ï¼šworkers 通过使用最新的缓å˜å¯¹è±¡æ¥ç»„装对象。
建议缓å˜çš„内容：
- 用户会è¯
- 完全渲染的 Web 页é¢
- 活动æµ
- 用户图数æ®
### 何时更新缓å˜
ç”±äºŽä½ åªèƒ½åœ¨ç¼“å˜ä¸å˜å‚¨æœ‰é™çš„æ•°æ®ï¼Œæ‰€ä»¥ä½ 需è¦é€‰æ‹©ä¸€ä¸ªé€‚ç”¨äºŽä½ ç”¨ä¾‹çš„ç¼“å˜æ›´æ–°ç–略。
#### 缓å˜æ¨¡å¼
资料æ¥æºï¼šä»Žç¼“å˜åˆ°å†…å˜æ•°æ®ç½‘æ ¼
应用从å˜å‚¨å™¨è¯»å†™ã€‚缓å˜ä¸å’Œå˜å‚¨å™¨ç›´æŽ¥äº¤äº’，应用执行以下æ“作：
- 在缓å˜ä¸æŸ¥æ‰¾è®°å½•ï¼Œå¦‚果所需数æ®ä¸åœ¨ç¼“å˜ä¸
- 从数æ®åº“ä¸åŠ 载所需内容
- 将查找到的结果å˜å‚¨åˆ°ç¼“å˜ä¸
- 返回所需内容
```python
def get_user(self, user_id):
user = cache.get("user.{0}", user_id)
if user is None:
user = db.query("SELECT * FROM users WHERE user_id = {0}", user_id)
if user is not None:
key = "user.{0}".format(user_id)
cache.set(key, json.dumps(user))
return user
```
[Memcached](https://memcached.org/) 通常用这ç§æ–¹å¼ä½¿ç”¨ã€‚
æ·»åŠ åˆ°ç¼“å˜ä¸çš„æ•°æ®è¯»å–速度很快。缓å˜æ¨¡å¼ä¹Ÿç§°ä¸ºå»¶è¿ŸåŠ 载。åªç¼“å˜æ‰€è¯·æ±‚çš„æ•°æ®ï¼Œè¿™é¿å…了没有被请求的数æ®å 满了缓å˜ç©ºé—´ã€‚
##### 缓å˜çš„缺点：
- 请求的数æ®å¦‚æžœä¸åœ¨ç¼“å˜ä¸å°±éœ€è¦ç»è¿‡ä¸‰ä¸ªæ¥éª¤æ¥èŽ·å–æ•°æ®ï¼Œè¿™ä¼šå¯¼è‡´æ˜Žæ˜¾çš„延迟。
- 如果数æ®åº“ä¸çš„æ•°æ®æ›´æ–°äº†ä¼šå¯¼è‡´ç¼“å˜ä¸çš„æ•°æ®è¿‡æ—¶ã€‚这个问题需è¦é€šè¿‡è®¾ç½® TTL 强制更新缓å˜æˆ–者直写模å¼æ¥ç¼“解这ç§æƒ…况。
- å½“ä¸€ä¸ªèŠ‚ç‚¹å‡ºçŽ°æ•…éšœçš„æ—¶å€™ï¼Œå®ƒå°†ä¼šè¢«ä¸€ä¸ªæ–°çš„èŠ‚ç‚¹æ›¿ä»£ï¼Œè¿™å¢žåŠ äº†å»¶è¿Ÿçš„æ—¶é—´ã€‚
#### 直写模å¼
资料æ¥æºï¼šå¯æ‰©å±•æ€§ã€å¯ç”¨æ€§ã€ç¨³å®šæ€§ã€æ¨¡å¼
应用使用缓å˜ä½œä¸ºä¸»è¦çš„æ•°æ®å˜å‚¨ï¼Œå°†æ•°æ®è¯»å†™åˆ°ç¼“å˜ä¸ï¼Œè€Œç¼“å˜è´Ÿè´£ä»Žæ•°æ®åº“ä¸è¯»å†™æ•°æ®ã€‚
- 应用å‘缓å˜ä¸æ·»åŠ /æ›´æ–°æ•°æ®
- 缓å˜åŒæ¥åœ°å†™å…¥æ•°æ®å˜å‚¨
- 返回所需内容
应用代ç ：
```
set_user(12345, {"foo":"bar"})
```
缓å˜ä»£ç ：
```python
def set_user(user_id, values):
user = db.query("UPDATE Users WHERE id = {0}", user_id, values)
cache.set(user_id, user)
```
由于å˜å†™æ“作所以直写模å¼æ•´ä½“是一ç§å¾ˆæ…¢çš„æ“作，但是读å–刚写入的数æ®å¾ˆå¿«ã€‚相比读å–æ•°æ®ï¼Œç”¨æˆ·é€šå¸¸æ¯”较能接å—æ›´æ–°æ•°æ®æ—¶é€Ÿåº¦è¾ƒæ…¢ã€‚缓å˜ä¸çš„æ•°æ®ä¸ä¼šè¿‡æ—¶ã€‚
##### 直写模å¼çš„缺点：
- 由于故障或者缩放而创建的新的节点，新的节点ä¸ä¼šç¼“å˜ï¼Œç›´åˆ°æ•°æ®åº“更新为æ¢ã€‚缓å˜åº”用直写模å¼å¯ä»¥ç¼“解这个问题。
- 写入的大多数数æ®å¯èƒ½æ°¸è¿œéƒ½ä¸ä¼šè¢«è¯»å–，用 TTL å¯ä»¥æœ€å°åŒ–è¿™ç§æƒ…况的出现。
#### 回写模å¼
资料æ¥æºï¼šå¯æ‰©å±•æ€§ã€å¯ç”¨æ€§ã€ç¨³å®šæ€§ã€æ¨¡å¼
在回写模å¼ä¸ï¼Œåº”用执行以下æ“作：
- 在缓å˜ä¸å¢žåŠ 或者更新æ¡ç›®
- 异æ¥å†™å…¥æ•°æ®ï¼Œæ高写入性能。
##### 回写模å¼çš„缺点：
- 缓å˜å¯èƒ½åœ¨å…¶å†…容æˆåŠŸå˜å‚¨ä¹‹å‰ä¸¢å¤±æ•°æ®ã€‚
- 执行直写模å¼æ¯”缓å˜æˆ–者回写模å¼æ›´å¤æ‚。
#### 刷新
资料æ¥æºï¼šä»Žç¼“å˜åˆ°å†…å˜æ•°æ®ç½‘æ ¼
ä½ å¯ä»¥å°†ç¼“å˜é…ç½®æˆåœ¨åˆ°æœŸä¹‹å‰è‡ªåŠ¨åˆ·æ–°æœ€è¿‘访问过的内容。
如果缓å˜å¯ä»¥å‡†ç¡®é¢„测将æ¥å¯èƒ½è¯·æ±‚哪些数æ®ï¼Œé‚£ä¹ˆåˆ·æ–°å¯èƒ½ä¼šå¯¼è‡´å»¶è¿Ÿä¸Žè¯»å–时间的é™ä½Žã€‚
##### 刷新的缺点：
- ä¸èƒ½å‡†ç¡®é¢„测到未æ¥éœ€è¦ç”¨åˆ°çš„æ•°æ®å¯èƒ½ä¼šå¯¼è‡´æ€§èƒ½ä¸å¦‚ä¸ä½¿ç”¨åˆ·æ–°ã€‚
### 缓å˜çš„缺点：
- 需è¦ä¿æŒç¼“å˜å’ŒçœŸå®žæ•°æ®æºä¹‹é—´çš„一致性，比如数æ®åº“æ ¹æ®[缓å˜æ— 效](https://en.wikipedia.org/wiki/Cache_algorithms)。
- 需è¦æ”¹å˜åº”用程åºæ¯”å¦‚å¢žåŠ Redis 或者 memcached。
- æ— æ•ˆç¼“å˜æ˜¯ä¸ªéš¾é¢˜ï¼Œä»€ä¹ˆæ—¶å€™æ›´æ–°ç¼“å˜æ˜¯ä¸Žä¹‹ç›¸å…³çš„å¤æ‚问题。
### 相关资æºå’Œå»¶ä¼¸é˜…读
- [从缓å˜åˆ°å†…å˜æ•°æ®](http://www.slideshare.net/tmatyashovsky/from-cache-to-in-memory-data-grid-introduction-to-hazelcast)
- [å¯æ‰©å±•ç³»ç»Ÿè®¾è®¡æ¨¡å¼](http://horicky.blogspot.com/2010/10/scalable-system-design-patterns.html)
- [å¯ç¼©æ”¾ç³»ç»Ÿæž„架介ç»](http://lethain.com/introduction-to-architecting-systems-for-scale/)
- [å¯æ‰©å±•æ€§ï¼Œå¯ç”¨æ€§ï¼Œç¨³å®šæ€§å’Œæ¨¡å¼](http://www.slideshare.net/jboner/scalability-availability-stability-patterns/)
- [å¯æ‰©å±•æ€§](http://www.lecloud.net/post/9246290032/scalability-for-dummies-part-3-cache)
- [AWS ElastiCache ç–ç•¥](http://docs.aws.amazon.com/AmazonElastiCache/latest/UserGuide/Strategies.html)
- [维基百科](https://en.wikipedia.org/wiki/Cache_(computing))
## 异æ¥
资料æ¥æºï¼šå¯ç¼©æ”¾ç³»ç»Ÿæž„架介ç»
异æ¥å·¥ä½œæµæœ‰åŠ©äºŽå‡å°‘那些原本顺åºæ‰§è¡Œçš„请求时间。它们å¯ä»¥é€šè¿‡æå‰è¿›è¡Œä¸€äº›è€—时的工作æ¥å¸®åŠ©å‡å°‘请求时间，比如定期汇总数æ®ã€‚
### 消æ¯é˜Ÿåˆ—
消æ¯é˜Ÿåˆ—接收，ä¿ç•™å’Œä¼ 递消æ¯ã€‚如果按顺åºæ‰§è¡Œæ“作太慢的è¯ï¼Œä½ å¯ä»¥ä½¿ç”¨æœ‰ä»¥ä¸‹å·¥ä½œæµçš„消æ¯é˜Ÿåˆ—：
- 应用程åºå°†ä½œä¸šå‘布到队列，然åŽé€šçŸ¥ç”¨æˆ·ä½œä¸šçŠ¶æ€
- 一个 worker 从队列ä¸å–出该作业，对其进行处ç†ï¼Œç„¶åŽæ˜¾ç¤ºè¯¥ä½œä¸šå®Œæˆ
ä¸åŽ»é˜»å¡žç”¨æˆ·æ“作，作业在åŽå°å¤„ç†ã€‚在æ¤æœŸé—´ï¼Œå®¢æˆ·ç«¯å¯èƒ½ä¼šè¿›è¡Œä¸€äº›å¤„ç†ä½¿å¾—看上去åƒæ˜¯ä»»åŠ¡å·²ç»å®Œæˆäº†ã€‚例如，如果è¦å‘é€ä¸€æ¡æŽ¨æ–‡ï¼ŒæŽ¨æ–‡å¯èƒ½ä¼šé©¬ä¸Šå‡ºçŽ°åœ¨ä½ 的时间线上，但是å¯èƒ½éœ€è¦ä¸€äº›æ—¶é—´æ‰èƒ½å°†ä½ 的推文推é€åˆ°ä½ 的所有关注者那里去。
**Redis** 是一个令人满æ„的简å•çš„消æ¯ä»£ç†ï¼Œä½†æ˜¯æ¶ˆæ¯æœ‰å¯èƒ½ä¼šä¸¢å¤±ã€‚
**RabbitMQ** 很å—欢迎但是è¦æ±‚ä½ é€‚åº”ã€ŒAMQPã€å议并且管ç†ä½ 自己的节点。
**Amazon SQS** 是被托管的，但å¯èƒ½å…·æœ‰é«˜å»¶è¿Ÿï¼Œå¹¶ä¸”消æ¯å¯èƒ½ä¼šè¢«ä¼ é€ä¸¤æ¬¡ã€‚
### 任务队列
任务队列接收任务åŠå…¶ç›¸å…³æ•°æ®ï¼Œè¿è¡Œå®ƒä»¬ï¼Œç„¶åŽä¼ 递其结果。 它们å¯ä»¥æ”¯æŒè°ƒåº¦ï¼Œå¹¶å¯ç”¨äºŽåœ¨åŽå°è¿è¡Œè®¡ç®—密集型作业。
**Celery** 支æŒè°ƒåº¦ï¼Œä¸»è¦æ˜¯ç”¨ Python å¼€å‘的。
### 背压
如果队列开始明显增长，那么队列大å°å¯èƒ½ä¼šè¶…过内å˜å¤§å°ï¼Œå¯¼è‡´é«˜é€Ÿç¼“å˜æœªå‘½ä¸ï¼Œç£ç›˜è¯»å–，甚至性能更慢。[背压](http://mechanical-sympathy.blogspot.com/2012/05/apply-back-pressure-when-overloaded.html)å¯ä»¥é€šè¿‡é™åˆ¶é˜Ÿåˆ—大å°æ¥å¸®åŠ©æˆ‘们，从而为队列ä¸çš„作业ä¿æŒé«˜åžå率和良好的å“应时间。一旦队列填满，客户端将得到æœåŠ¡å™¨å¿™æˆ–者 HTTP 503 状æ€ç ，以便ç¨åŽé‡è¯•ã€‚客户端å¯ä»¥åœ¨ç¨åŽæ—¶é—´é‡è¯•è¯¥è¯·æ±‚，也许是[指数退é¿](https://en.wikipedia.org/wiki/Exponential_backoff)。
### 异æ¥çš„缺点：
- 简å•çš„计算和实时工作æµç‰ç”¨ä¾‹å¯èƒ½æ›´é€‚用于åŒæ¥æ“ä½œï¼Œå› ä¸ºå¼•å…¥é˜Ÿåˆ—å¯èƒ½ä¼šå¢žåŠ 延迟和å¤æ‚性。
### 相关资æºå’Œå»¶ä¼¸é˜…读
- [这是一个数å—游æˆ](https://www.youtube.com/watch?v=1KRYH75wgy4)
- [超载时应用背压](http://mechanical-sympathy.blogspot.com/2012/05/apply-back-pressure-when-overloaded.html)
- [利特尔法则](https://en.wikipedia.org/wiki/Little%27s_law)
- [消æ¯é˜Ÿåˆ—与任务队列有什么区别？](https://www.quora.com/What-is-the-difference-between-a-message-queue-and-a-task-queue-Why-would-a-task-queue-require-a-message-broker-like-RabbitMQ-Redis-Celery-or-IronMQ-to-function)
## 通讯
资料æ¥æºï¼šOSI 7层模型
### è¶…æ–‡æœ¬ä¼ è¾“å议（HTTP）
HTTP 是一ç§åœ¨å®¢æˆ·ç«¯å’ŒæœåŠ¡å™¨ä¹‹é—´ç¼–ç å’Œä¼ è¾“æ•°æ®çš„方法。它是一个请求/å“应å议：客户端和æœåŠ¡ç«¯é’ˆå¯¹ç›¸å…³å†…容和完æˆçŠ¶æ€ä¿¡æ¯çš„请求和å“应。HTTP 是独立的，å…许请求和å“应æµç»è®¸å¤šæ‰§è¡Œè´Ÿè½½å‡è¡¡ï¼Œç¼“å˜ï¼ŒåŠ 密和压缩的ä¸é—´è·¯ç”±å™¨å’ŒæœåŠ¡å™¨ã€‚
一个基本的 HTTP 请求由一个动è¯ï¼ˆæ–¹æ³•ï¼‰å’Œä¸€ä¸ªèµ„æºï¼ˆç«¯ç‚¹ï¼‰ç»„æˆã€‚ 以下是常è§çš„ HTTP 动è¯ï¼š
| åŠ¨è¯ | æè¿° | *å¹‚ç‰ | 安全性 | å¯ç¼“å˜ |
| ------ | -------------- | ---- | ---- | -------------- |
| GET | 读å–èµ„æº | Yes | Yes | Yes |
| POST | 创建资æºæˆ–触å‘处ç†æ•°æ®çš„进程 | No | No | Yes，如果回应包å«åˆ·æ–°ä¿¡æ¯ |
| PUT | 创建或替æ¢èµ„æº | Yes | No | No |
| PATCH | éƒ¨åˆ†æ›´æ–°èµ„æº | No | No | Yes，如果回应包å«åˆ·æ–°ä¿¡æ¯ |
| DELETE | åˆ é™¤èµ„æº | Yes | No | No |
**多次执行ä¸ä¼šäº§ç”Ÿä¸åŒçš„结果**。
HTTP 是ä¾èµ–于较低级å议（如 **TCP** å’Œ **UDP**）的应用层å议。
#### æ¥æºåŠå»¶ä¼¸é˜…读：HTTP
* [README](https://www.quora.com/What-is-the-difference-between-HTTP-protocol-and-TCP-protocol) +
* [HTTP 是什么？](https://www.nginx.com/resources/glossary/http/)
* [HTTP 和 TCP 的区别](https://www.quora.com/What-is-the-difference-between-HTTP-protocol-and-TCP-protocol)
* [PUT 和 PATCH的区别](https://laracasts.com/discuss/channels/general-discussion/whats-the-differences-between-put-and-patch?page=1)
### ä¼ è¾“æŽ§åˆ¶å议（TCP）
资料æ¥æºï¼šå¦‚何制作多人游æˆ
TCP 是通过 [IP 网络](https://en.wikipedia.org/wiki/Internet_Protocol)çš„é¢å‘连接的å议。 使用[æ¡æ‰‹](https://en.wikipedia.org/wiki/Handshaking)建立和æ–开连接。 å‘é€çš„所有数æ®åŒ…ä¿è¯ä»¥åŽŸå§‹é¡ºåºåˆ°è¾¾ç›®çš„地，用以下措施ä¿è¯æ•°æ®åŒ…ä¸è¢«æŸå：
- æ¯ä¸ªæ•°æ®åŒ…çš„åºåˆ—å·å’Œ[æ ¡éªŒç ](https://en.wikipedia.org/wiki/Transmission_Control_Protocol#Checksum_computation)。
- [确认包](https://en.wikipedia.org/wiki/Acknowledgement_(data_networks))和自动é‡ä¼
如果å‘é€è€…没有收到æ£ç¡®çš„å“应，它将é‡æ–°å‘é€æ•°æ®åŒ…。如果多次超时，连接就会æ–开。TCP 实行[æµé‡æŽ§åˆ¶](https://en.wikipedia.org/wiki/Flow_control_(data))å’Œ[拥塞控制](https://en.wikipedia.org/wiki/Network_congestion#Congestion_control)。这些确ä¿æŽªæ–½ä¼šå¯¼è‡´å»¶è¿Ÿï¼Œè€Œä¸”é€šå¸¸å¯¼è‡´ä¼ è¾“æ•ˆçŽ‡æ¯” UDP 低。
为了确ä¿é«˜åžåé‡ï¼ŒWeb æœåŠ¡å™¨å¯ä»¥ä¿æŒå¤§é‡çš„ TCP 连接，从而导致高内å˜ä½¿ç”¨ã€‚在 Web æœåŠ¡å™¨çº¿ç¨‹é—´æ‹¥æœ‰å¤§é‡å¼€æ”¾è¿žæŽ¥å¯èƒ½å¼€é”€å·¨å¤§ï¼Œæ¶ˆè€—资æºè¿‡å¤šï¼Œä¹Ÿå°±æ˜¯è¯´ï¼Œä¸€ä¸ª [memcached](#memcached) æœåŠ¡å™¨ã€‚[è¿žæŽ¥æ± ](https://en.wikipedia.org/wiki/Connection_pool) å¯ä»¥å¸®åŠ©é™¤äº†åœ¨é€‚用的情况下切æ¢åˆ° UDP。
TCP 对于需è¦é«˜å¯é 性但时间紧迫的应用程åºå¾ˆæœ‰ç”¨ã€‚比如包括 Web æœåŠ¡å™¨ï¼Œæ•°æ®åº“ä¿¡æ¯ï¼ŒSMTP，FTP å’Œ SSH。
以下情况使用 TCP 代替 UDP：
- ä½ éœ€è¦æ•°æ®å®Œå¥½æ— æŸã€‚
- ä½ æƒ³å¯¹ç½‘ç»œåžåé‡è‡ªåŠ¨è¿›è¡Œæœ€ä½³è¯„估。
### 用户数æ®æŠ¥å议（UDP）
资料æ¥æºï¼šå¦‚何制作多人游æˆ
UDP æ˜¯æ— è¿žæŽ¥çš„ã€‚æ•°æ®æŠ¥ï¼ˆç±»ä¼¼äºŽæ•°æ®åŒ…）åªåœ¨æ•°æ®æŠ¥çº§åˆ«æœ‰ä¿è¯ã€‚æ•°æ®æŠ¥å¯èƒ½ä¼šæ— åºçš„到达目的地，也有å¯èƒ½ä¼šé—失。UDP ä¸æ”¯æŒæ‹¥å¡žæŽ§åˆ¶ã€‚虽然ä¸å¦‚ TCP é‚£æ ·æœ‰ä¿è¯ï¼Œä½† UDP 通常效率更高。
UDP å¯ä»¥é€šè¿‡å¹¿æ’将数æ®æŠ¥å‘é€è‡³å网内的所有设备。这对 [DHCP](https://en.wikipedia.org/wiki/Dynamic_Host_Configuration_Protocol) å¾ˆæœ‰ç”¨ï¼Œå› ä¸ºåç½‘å†…çš„è®¾å¤‡è¿˜æ²¡æœ‰åˆ†é… IP 地å€ï¼Œè€Œ IP 对于 TCP 是必须的。
UDP å¯é 性更低但适åˆç”¨åœ¨ç½‘络电è¯ã€è§†é¢‘èŠå¤©ï¼Œæµåª’体和实时多人游æˆä¸Šã€‚
以下情况使用 UDP 代替 TCP：
* ä½ éœ€è¦ä½Žå»¶è¿Ÿ
* 相对于数æ®ä¸¢å¤±æ›´ç³Ÿçš„是数æ®å»¶è¿Ÿ
* ä½ æƒ³å®žçŽ°è‡ªå·±çš„é”™è¯¯æ ¡æ£æ–¹æ³•
#### æ¥æºåŠå»¶ä¼¸é˜…读：TCP 与 UDP
* [游æˆç¼–程的网络](http://gafferongames.com/networking-for-game-programmers/udp-vs-tcp/)
* [TCP 与 UDP 的关键区别](http://www.cyberciti.biz/faq/key-differences-between-tcp-and-udp-protocols/)
* [TCP 与 UDP çš„ä¸åŒ](http://stackoverflow.com/questions/5970383/difference-between-tcp-and-udp)
* [ä¼ è¾“æŽ§åˆ¶åè®®](https://en.wikipedia.org/wiki/Transmission_Control_Protocol)
* [用户数æ®æŠ¥åè®®](https://en.wikipedia.org/wiki/User_Datagram_Protocol)
* [Memcache 在 Facebook 的扩展](http://www.cs.bu.edu/~jappavoo/jappavoo.github.com/451/papers/memcache-fb.pdf)
### 远程过程调用å议（RPC）
Source: Crack the system design interview
在 RPC ä¸ï¼Œå®¢æˆ·ç«¯ä¼šåŽ»è°ƒç”¨å¦ä¸€ä¸ªåœ°å€ç©ºé—´ï¼ˆé€šå¸¸æ˜¯ä¸€ä¸ªè¿œç¨‹æœåŠ¡å™¨ï¼‰é‡Œçš„方法。调用代ç 看起æ¥å°±åƒæ˜¯è°ƒç”¨çš„是一个本地方法，客户端和æœåŠ¡å™¨äº¤äº’的具体过程被抽象。远程调用相对于本地调用一般较慢而且å¯é æ€§æ›´å·®ï¼Œå› æ¤åŒºåˆ†ä¸¤è€…是有帮助的。çƒé—¨çš„ RPC 框架包括 [Protobuf](https://developers.google.com/protocol-buffers/)ã€[Thrift](https://thrift.apache.org/) å’Œ [Avro](https://avro.apache.org/docs/current/)。
RPC 是一个“请求-å“应â€å议：
* **客户端程åº** ── 调用客户端å˜æ ¹ç¨‹åºã€‚å°±åƒè°ƒç”¨æœ¬åœ°æ–¹æ³•ä¸€æ ·ï¼Œå‚æ•°ä¼šè¢«åŽ‹å…¥æ ˆä¸ã€‚
* **客户端 stub 程åº** ── 将请求过程的 id å’Œå‚数打包进请求信æ¯ä¸ã€‚
* **客户端通信模å—** ── 将信æ¯ä»Žå®¢æˆ·ç«¯å‘é€è‡³æœåŠ¡ç«¯ã€‚
* **æœåŠ¡ç«¯é€šä¿¡æ¨¡å—** ── 将接å—çš„åŒ…ä¼ ç»™æœåŠ¡ç«¯å˜æ ¹ç¨‹åºã€‚
* **æœåŠ¡ç«¯ stub 程åº** ── 将结果解包，ä¾æ®è¿‡ç¨‹ id 调用æœåŠ¡ç«¯æ–¹æ³•å¹¶å°†å‚æ•°ä¼ é€’è¿‡åŽ»ã€‚
RPC 调用示例：
```
GET /someoperation?data=anId
POST /anotheroperation
{
"data":"anId";
"anotherdata": "another value"
}
```
RPC 专注于暴露方法。RPC 通常用于处ç†å†…éƒ¨é€šè®¯çš„æ€§èƒ½é—®é¢˜ï¼Œè¿™æ ·ä½ å¯ä»¥æ‰‹åŠ¨å¤„ç†æœ¬åœ°è°ƒç”¨ä»¥æ›´å¥½çš„é€‚åº”ä½ çš„æƒ…å†µã€‚
当以下情况时选择本地库（也就是 SDK）：
* ä½ çŸ¥é“ä½ çš„ç›®æ ‡å¹³å°ã€‚
* ä½ æƒ³æŽ§åˆ¶å¦‚ä½•è®¿é—®ä½ çš„â€œé€»è¾‘â€ã€‚
* ä½ æƒ³å¯¹å‘ç”Ÿåœ¨ä½ çš„åº“ä¸çš„错误进行控制。
* æ€§èƒ½å’Œç»ˆç«¯ç”¨æˆ·ä½“éªŒæ˜¯ä½ æœ€å…³å¿ƒçš„äº‹ã€‚
éµå¾ª **REST** çš„ HTTP API 往往更适用于公共 API。
#### 缺点：RPC
* RPC 客户端与æœåŠ¡å®žçŽ°æ†ç»‘地很紧密。
* 一个新的 API 必须在æ¯ä¸€ä¸ªæ“作或者用例ä¸å®šä¹‰ã€‚
* RPC 很难调试。
* ä½ å¯èƒ½æ²¡åŠžæ³•å¾ˆæ–¹ä¾¿çš„去修改现有的技术。举个例åï¼Œå¦‚æžœä½ å¸Œæœ›åœ¨ [Squid](http://www.squid-cache.org/) è¿™æ ·çš„ç¼“å˜æœåŠ¡å™¨ä¸Šç¡®ä¿ [RPC 被æ£ç¡®ç¼“å˜](http://etherealbits.com/2012/12/debunking-the-myths-of-rpc-rest/)çš„è¯å¯èƒ½éœ€è¦ä¸€äº›é¢å¤–的努力了。
### 表述性状æ€è½¬ç§»ï¼ˆREST）
REST 是一ç§å¼ºåˆ¶çš„客户端/æœåŠ¡ç«¯æž¶æž„设计模型，客户端基于æœåŠ¡ç«¯ç®¡ç†çš„一系列资æºæ“作。æœåŠ¡ç«¯æ供修改或获å–资æºçš„接å£ã€‚æ‰€æœ‰çš„é€šä¿¡å¿…é¡»æ˜¯æ— çŠ¶æ€å’Œå¯ç¼“å˜çš„。
RESTful 接å£æœ‰å››æ¡è§„则：
* **æ ‡å¿—èµ„æºï¼ˆHTTP 里的 URI）** ── æ— è®ºä»€ä¹ˆæ“作都使用åŒä¸€ä¸ª URI。
* **表示的改å˜ï¼ˆHTTP 的动作）** ── 使用动作, headers å’Œ body。
* **å¯è‡ªæˆ‘æ述的错误信æ¯ï¼ˆHTTP ä¸çš„ status code）** ── 使用状æ€ç ，ä¸è¦é‡æ–°é€ è½®å。
* **[HATEOAS](http://restcookbook.com/Basics/hateoas/)（HTTP ä¸çš„HTML 接å£ï¼‰** ── ä½ çš„ web æœåŠ¡å™¨åº”该能够通过æµè§ˆå™¨è®¿é—®ã€‚
REST 请求的例å：
```
GET /someresources/anId
PUT /someresources/anId
{"anotherdata": "another value"}
```
REST 关注于暴露数æ®ã€‚它å‡å°‘了客户端ï¼æœåŠ¡ç«¯çš„耦åˆç¨‹åº¦ï¼Œç»å¸¸ç”¨äºŽå…¬å…± HTTP API 接å£è®¾è®¡ã€‚REST 使用更通常与规范化的方法æ¥é€šè¿‡ URI 暴露资æºï¼Œ[通过 header æ¥è¡¨è¿°](https://github.com/for-GET/know-your-http-well/blob/master/headers.md)并通过 GETã€POSTã€PUTã€DELETE å’Œ PATCH 这些动作æ¥è¿›è¡Œæ“ä½œã€‚å› ä¸ºæ— çŠ¶æ€çš„特性，REST 易于横å‘扩展和隔离。
#### 缺点：REST
* 由于 REST å°†é‡ç‚¹æ”¾åœ¨æš´éœ²æ•°æ®ï¼Œæ‰€ä»¥å½“资æºä¸æ˜¯è‡ªç„¶ç»„织的或者结构å¤æ‚的时候它å¯èƒ½æ— 法很好的适应。举个例å，返回过去一å°æ—¶ä¸ä¸Žç‰¹å®šäº‹ä»¶é›†åŒ¹é…的更新记录这ç§æ“作就很难表示为路径。使用 REST，å¯èƒ½ä¼šä½¿ç”¨ URI 路径，查询å‚æ•°å’Œå¯èƒ½çš„请求体æ¥å®žçŽ°ã€‚
* REST 一般ä¾èµ–å‡ ä¸ªåŠ¨ä½œï¼ˆGETã€POSTã€PUTã€DELETE å’Œ PATCHï¼‰ï¼Œä½†æœ‰æ—¶å€™ä»…ä»…è¿™äº›æ²¡æ³•æ»¡è¶³ä½ çš„éœ€è¦ã€‚举个例åï¼Œå°†è¿‡æœŸçš„æ–‡æ¡£ç§»åŠ¨åˆ°å½’æ¡£æ–‡ä»¶å¤¹é‡ŒåŽ»ï¼Œè¿™æ ·çš„æ“作å¯èƒ½æ²¡æ³•ç®€å•çš„用上é¢è¿™å‡ 个 verbs 表达。
* 为了渲染å•ä¸ªé¡µé¢ï¼ŒèŽ·å–被嵌套在层级结构ä¸çš„å¤æ‚资æºéœ€è¦å®¢æˆ·ç«¯ï¼ŒæœåŠ¡å™¨ä¹‹é—´å¤šæ¬¡å¾€è¿”通信。例如，获å–åšå®¢å†…容åŠå…¶å…³è”评论。对于使用ä¸ç¡®å®šç½‘络环境的移动应用æ¥è¯´ï¼Œè¿™äº›å¤šæ¬¡å¾€è¿”通信是éžå¸¸éº»çƒ¦çš„。
* éšç€æ—¶é—´çš„推移，更多的å—段å¯èƒ½ä¼šè¢«æ·»åŠ 到 API å“应ä¸ï¼Œè¾ƒæ—§çš„客户端将会接收到所有新的数æ®å—段，å³ä½¿æ˜¯é‚£äº›å®ƒä»¬ä¸éœ€è¦çš„å—æ®µï¼Œç»“æžœå®ƒä¼šå¢žåŠ è´Ÿè½½å¤§å°å¹¶å¼•èµ·æ›´å¤§çš„延迟。
### RPC 与 REST 比较
| æ“作 | RPC | REST |
| ----------- | ---------------------------------------- | ---------------------------------------- |
| 注册 | **POST** /signup | **POST** /persons |
| 注销 | **POST** /resign
{
"personid": "1234"
} | **DELETE** /persons/1234 |
| 读å–ç”¨æˆ·ä¿¡æ¯ | **GET** /readPerson?personid=1234 | **GET** /persons/1234 |
| 读å–用户物å“列表 | **GET** /readUsersItemsList?personid=1234 | **GET** /persons/1234/items |
| å‘用户物å“åˆ—è¡¨æ·»åŠ ä¸€é¡¹ | **POST** /addItemToUsersItemsList
{
"personid": "1234";
"itemid": "456"
} | **POST** /persons/1234/items
{
"itemid": "456"
} |
| æ›´æ–°ä¸€ä¸ªç‰©å“ | **POST** /modifyItem
{
"itemid": "456";
"key": "value"
} | **PUT** /items/456
{
"key": "value"
} |
| åˆ é™¤ä¸€ä¸ªç‰©å“ | **POST** /removeItem
{
"itemid": "456"
} | **DELETE** /items/456 |
资料æ¥æºï¼šä½ 真的知é“ä½ ä¸ºä»€ä¹ˆæ›´å–œæ¬¢ REST 而ä¸æ˜¯ RPC å—
#### æ¥æºåŠå»¶ä¼¸é˜…读：REST 与 RPC
* [ä½ çœŸçš„çŸ¥é“ä½ ä¸ºä»€ä¹ˆæ›´å–œæ¬¢ REST 而ä¸æ˜¯ RPC å—](https://apihandyman.io/do-you-really-know-why-you-prefer-rest-over-rpc/)
* [什么时候 RPC 比 REST æ›´åˆé€‚？](http://programmers.stackexchange.com/a/181186)
* [REST vs JSON-RPC](http://stackoverflow.com/questions/15056878/rest-vs-json-rpc)
* [æå¼€ RPC å’Œ REST 的神秘é¢çº±](http://etherealbits.com/2012/12/debunking-the-myths-of-rpc-rest/)
* [使用 REST 的缺点是什么](https://www.quora.com/What-are-the-drawbacks-of-using-RESTful-APIs)
* [ç ´è§£ç³»ç»Ÿè®¾è®¡é¢è¯•](http://www.puncsky.com/blog/2016-02-13-crack-the-system-design-interview)
* [Thrift](https://code.facebook.com/posts/1468950976659943/)
* [为什么在内部使用 REST 而ä¸æ˜¯ RPC](http://arstechnica.com/civis/viewtopic.php?t=1190508)
## 安全
这一部分需è¦æ›´å¤šå†…容。[一起æ¥å§](#贡献)ï¼
安全是一个宽泛的è¯é¢˜ã€‚除éžä½ 有相当的ç»éªŒã€å®‰å…¨æ–¹é¢èƒŒæ™¯æˆ–者æ£åœ¨ç”³è¯·çš„èŒä½è¦æ±‚å®‰å…¨çŸ¥è¯†ï¼Œä½ ä¸éœ€è¦äº†è§£å®‰å…¨åŸºç¡€çŸ¥è¯†ä»¥å¤–的内容：
* 在è¿è¾“å’Œç‰å¾…过程ä¸åŠ 密
* 对所有的用户输入和从用户那里å‘æ¥çš„å‚数进行处ç†ä»¥é˜²æ¢ [XSS](https://en.wikipedia.org/wiki/Cross-site_scripting) å’Œ [SQL 注入](https://en.wikipedia.org/wiki/SQL_injection)。
* 使用å‚数化的查询æ¥é˜²æ¢ SQL 注入。
* 使用[最å°æƒé™åŽŸåˆ™](https://en.wikipedia.org/wiki/Principle_of_least_privilege)。
### æ¥æºåŠå»¶ä¼¸é˜…读
* [为开å‘者准备的安全引导](https://github.com/FallibleInc/security-guide-for-developers)
* [OWASP top ten](https://www.owasp.org/index.php/OWASP_Top_Ten_Cheat_Sheet)
## 附录
ä¸€äº›æ—¶å€™ä½ ä¼šè¢«è¦æ±‚åšå‡ºä¿å®ˆä¼°è®¡ã€‚æ¯”å¦‚ï¼Œä½ å¯èƒ½éœ€è¦ä¼°è®¡ä»Žç£ç›˜ä¸ç”Ÿæˆ 100 å¼ å›¾ç‰‡çš„ç¼©ç•¥å›¾éœ€è¦çš„时间或者一个数æ®ç»“构需è¦å¤šå°‘的内å˜ã€‚**2 的次方表**å’Œ**æ¯ä¸ªå¼€å‘者都需è¦çŸ¥é“的一些时间数æ®**（译注：OSChina ä¸Šæœ‰è¿™ç¯‡æ–‡ç« çš„[译文](https://www.oschina.net/news/30009/every-programmer-should-know)）都是一些很方便的å‚考资料。
### 2 的次方表
```
Power Exact Value Approx Value Bytes
---------------------------------------------------------------
7 128
8 256
10 1024 1 thousand 1 KB
16 65,536 64 KB
20 1,048,576 1 million 1 MB
30 1,073,741,824 1 billion 1 GB
32 4,294,967,296 4 GB
40 1,099,511,627,776 1 trillion 1 TB
```
#### æ¥æºåŠå»¶ä¼¸é˜…读
* [2 的次方](https://en.wikipedia.org/wiki/Power_of_two)
### æ¯ä¸ªç¨‹åºå‘˜éƒ½åº”该知é“的延迟数
```
Latency Comparison Numbers
--------------------------
L1 cache reference 0.5 ns
Branch mispredict 5 ns
L2 cache reference 7 ns 14x L1 cache
Mutex lock/unlock 25 ns
Main memory reference 100 ns 20x L2 cache, 200x L1 cache
Compress 1K bytes with Zippy 10,000 ns 10 us
Send 1 KB bytes over 1 Gbps network 10,000 ns 10 us
Read 4 KB randomly from SSD* 150,000 ns 150 us ~1GB/sec SSD
Read 1 MB sequentially from memory 250,000 ns 250 us
Round trip within same datacenter 500,000 ns 500 us
Read 1 MB sequentially from SSD* 1,000,000 ns 1,000 us 1 ms ~1GB/sec SSD, 4X memory
Disk seek 10,000,000 ns 10,000 us 10 ms 20x datacenter roundtrip
Read 1 MB sequentially from 1 Gbps 10,000,000 ns 10,000 us 10 ms 40x memory, 10X SSD
Read 1 MB sequentially from disk 30,000,000 ns 30,000 us 30 ms 120x memory, 30X SSD
Send packet CA->Netherlands->CA 150,000,000 ns 150,000 us 150 ms
Notes
-----
1 ns = 10^-9 seconds
1 us = 10^-6 seconds = 1,000 ns
1 ms = 10^-3 seconds = 1,000 us = 1,000,000 ns
```
基于上述数å—çš„æŒ‡æ ‡ï¼š
* 从ç£ç›˜ä»¥ 30 MB/s 的速度顺åºè¯»å–
* 以 100 MB/s 从 1 Gbps 的以太网顺åºè¯»å–
* 从 SSD 以 1 GB/s 的速度读å–
* 以 4 GB/s 的速度从主å˜è¯»å–
* æ¯ç§’èƒ½ç»•åœ°çƒ 6-7 圈
* æ•°æ®ä¸å¿ƒå†…æ¯ç§’有 2,000 次往返
#### 延迟数å¯è§†åŒ–
#### æ¥æºåŠå»¶ä¼¸é˜…读
* [æ¯ä¸ªç¨‹åºå‘˜éƒ½åº”该知é“的延迟数 — 1](https://gist.github.com/jboner/2841832)
* [æ¯ä¸ªç¨‹åºå‘˜éƒ½åº”该知é“的延迟数 — 2](https://gist.github.com/hellerbarde/2843375)
* [关于建设大型分布å¼ç³»ç»Ÿçš„的设计方案ã€è¯¾ç¨‹å’Œå»ºè®®](http://www.cs.cornell.edu/projects/ladis2009/talks/dean-keynote-ladis2009.pdf)
* [关于建设大型å¯æ‹“展分布å¼ç³»ç»Ÿçš„软件工程咨询](https://static.googleusercontent.com/media/research.google.com/en//people/jeff/stanford-295-talk.pdf)
### 其它的系统设计é¢è¯•é¢˜
> 常è§çš„系统设计é¢è¯•é—®é¢˜ï¼Œç»™å‡ºäº†å¦‚何解决的方案链接
| 问题 | 引用 |
| ----------------------- | ---------------------------------------- |
| 设计类似于 Dropbox 的文件åŒæ¥æœåŠ¡ | [youtube.com](https://www.youtube.com/watch?v=PE4gwstWhmc) |
| 设计类似于 Google çš„æœç´¢å¼•æ“Ž | [queue.acm.org](http://queue.acm.org/detail.cfm?id=988407)
[stackexchange.com](http://programmers.stackexchange.com/questions/38324/interview-question-how-would-you-implement-google-search)
[ardendertat.com](http://www.ardendertat.com/2012/01/11/implementing-search-engines/)
[stanford.edu](http://infolab.stanford.edu/~backrub/google.html) |
| 设计类似于 Google çš„å¯æ‰©å±•ç½‘络爬虫 | [quora.com](https://www.quora.com/How-can-I-build-a-web-crawler-from-scratch) |
| 设计 Google 文档 | [code.google.com](https://code.google.com/p/google-mobwrite/)
[neil.fraser.name](https://neil.fraser.name/writing/sync/) |
| 设计类似 Redis 的键值å˜å‚¨ | [slideshare.net](http://www.slideshare.net/dvirsky/introduction-to-redis) |
| 设计类似 Memcached 的缓å˜ç³»ç»Ÿ | [slideshare.net](http://www.slideshare.net/oemebamo/introduction-to-memcached) |
| 设计类似亚马逊的推è系统 | [hulu.com](http://tech.hulu.com/blog/2011/09/19/recommendation-system.html)
[ijcai13.org](http://ijcai13.org/files/tutorial_slides/td3.pdf) |
| 设计类似 Bitly çš„çŸé“¾æŽ¥ç³»ç»Ÿ | [n00tc0d3r.blogspot.com](http://n00tc0d3r.blogspot.com/) |
| 设计类似 WhatsApp çš„èŠå¤©åº”用 | [highscalability.com](http://highscalability.com/blog/2014/2/26/the-whatsapp-architecture-facebook-bought-for-19-billion.html) |
| 设计类似 Instagram 的图片分享系统 | [highscalability.com](http://highscalability.com/flickr-architecture)
[highscalability.com](http://highscalability.com/blog/2011/12/6/instagram-architecture-14-million-users-terabytes-of-photos.html) |
| 设计 Facebook 的新闻推è方法 | [quora.com](http://www.quora.com/What-are-best-practices-for-building-something-like-a-News-Feed)
[quora.com](http://www.quora.com/Activity-Streams/What-are-the-scaling-issues-to-keep-in-mind-while-developing-a-social-network-feed)
[slideshare.net](http://www.slideshare.net/danmckinley/etsy-activity-feeds-architecture) |
| 设计 Facebook 的时间线系统 | [facebook.com](https://www.facebook.com/note.php?note_id=10150468255628920)
[highscalability.com](http://highscalability.com/blog/2012/1/23/facebook-timeline-brought-to-you-by-the-power-of-denormaliza.html) |
| 设计 Facebook çš„èŠå¤©ç³»ç»Ÿ | [erlang-factory.com](http://www.erlang-factory.com/upload/presentations/31/EugeneLetuchy-ErlangatFacebook.pdf)
[facebook.com](https://www.facebook.com/note.php?note_id=14218138919&id=9445547199&index=0) |
| 设计类似 Facebook 的图表æœç´¢ç³»ç»Ÿ | [facebook.com](https://www.facebook.com/notes/facebook-engineering/under-the-hood-building-out-the-infrastructure-for-graph-search/10151347573598920)
[facebook.com](https://www.facebook.com/notes/facebook-engineering/under-the-hood-indexing-and-ranking-in-graph-search/10151361720763920)
[facebook.com](https://www.facebook.com/notes/facebook-engineering/under-the-hood-the-natural-language-interface-of-graph-search/10151432733048920) |
| 设计类似 CloudFlare çš„å†…å®¹ä¼ é€’ç½‘ç»œ | [cmu.edu](http://repository.cmu.edu/cgi/viewcontent.cgi?article=2112&context=compsci) |
| 设计类似 Twitter çš„çƒé—¨è¯é¢˜ç³»ç»Ÿ | [michael-noll.com](http://www.michael-noll.com/blog/2013/01/18/implementing-real-time-trending-topics-in-storm/)
[snikolov .wordpress.com](http://snikolov.wordpress.com/2012/11/14/early-detection-of-twitter-trends/) |
| 设计一个éšæœº ID 生æˆç³»ç»Ÿ | [blog.twitter.com](https://blog.twitter.com/2010/announcing-snowflake)
[github.com](https://github.com/twitter/snowflake/) |
| è¿”å›žä¸€å®šæ—¶é—´æ®µå†…æ¬¡æ•°å‰ k 高的请求 | [ucsb.edu](https://icmi.cs.ucsb.edu/research/tech_reports/reports/2005-23.pdf)
[wpi.edu](http://davis.wpi.edu/xmdv/docs/EDBT11-diyang.pdf) |
| 设计一个数æ®æºäºŽå¤šä¸ªæ•°æ®ä¸å¿ƒçš„æœåŠ¡ç³»ç»Ÿ | [highscalability.com](http://highscalability.com/blog/2009/8/24/how-google-serves-data-from-multiple-datacenters.html) |
| 设计一个多人网络å¡ç‰Œæ¸¸æˆ | [indieflashblog.com](https://web.archive.org/web/20180929181117/http://www.indieflashblog.com/how-to-create-an-asynchronous-multiplayer-game.html)
[buildnewgames.com](http://buildnewgames.com/real-time-multiplayer/) |
| 设计一个垃圾回收系统 | [stuffwithstuff.com](http://journal.stuffwithstuff.com/2013/12/08/babys-first-garbage-collector/)
[washington.edu](http://courses.cs.washington.edu/courses/csep521/07wi/prj/rick.pdf) |
| æ·»åŠ æ›´å¤šçš„ç³»ç»Ÿè®¾è®¡é—®é¢˜ | [贡献](#贡献) |
### 真实架构
> 关于现实ä¸çœŸå®žçš„ç³»ç»Ÿæ˜¯æ€Žä¹ˆè®¾è®¡çš„æ–‡ç« ã€‚
Source: Twitter timelines at scale
**ä¸è¦ä¸“æ³¨äºŽä»¥ä¸‹æ–‡ç« çš„ç»†èŠ‚ï¼Œä¸“æ³¨äºŽä»¥ä¸‹æ–¹é¢ï¼š**
* å‘çŽ°è¿™äº›æ–‡ç« ä¸çš„å…±åŒçš„原则ã€æŠ€æœ¯å’Œæ¨¡å¼ã€‚
* å¦ä¹ æ¯ä¸ªç»„件解决哪些问题，什么情况下使用，什么情况下ä¸é€‚用
* å¤ä¹ å¦è¿‡çš„æ–‡ç«
| 类型 | 系统 | 引用 |
| --------------- | ---------------------------------------- | ---------------------------------------- |
| Data processing | **MapReduce** - Google的分布å¼æ•°æ®å¤„ç† | [research.google.com](http://static.googleusercontent.com/media/research.google.com/zh-CN/us/archive/mapreduce-osdi04.pdf) |
| Data processing | **Spark** - Databricks 的分布å¼æ•°æ®å¤„ç† | [slideshare.net](http://www.slideshare.net/AGrishchenko/apache-spark-architecture) |
| Data processing | **Storm** - Twitter 的分布å¼æ•°æ®å¤„ç† | [slideshare.net](http://www.slideshare.net/previa/storm-16094009) |
| | | |
| Data store | **Bigtable** - Google 的列å¼æ•°æ®åº“ | [harvard.edu](http://www.read.seas.harvard.edu/~kohler/class/cs239-w08/chang06bigtable.pdf) |
| Data store | **HBase** - Bigtable çš„å¼€æºå®žçŽ° | [slideshare.net](http://www.slideshare.net/alexbaranau/intro-to-hbase) |
| Data store | **Cassandra** - Facebook 的列å¼æ•°æ®åº“ | [slideshare.net](http://www.slideshare.net/planetcassandra/cassandra-introduction-features-30103666) |
| Data store | **DynamoDB** - Amazon 的文档数æ®åº“ | [harvard.edu](http://www.read.seas.harvard.edu/~kohler/class/cs239-w08/decandia07dynamo.pdf) |
| Data store | **MongoDB** - 文档数æ®åº“ | [slideshare.net](http://www.slideshare.net/mdirolf/introduction-to-mongodb) |
| Data store | **Spanner** - Google çš„å…¨çƒåˆ†å¸ƒæ•°æ®åº“ | [research.google.com](http://research.google.com/archive/spanner-osdi2012.pdf) |
| Data store | **Memcached** - 分布å¼å†…å˜ç¼“å˜ç³»ç»Ÿ | [slideshare.net](http://www.slideshare.net/oemebamo/introduction-to-memcached) |
| Data store | **Redis** - 能够æŒä¹…化åŠå…·æœ‰å€¼ç±»åž‹çš„分布å¼å†…å˜ç¼“å˜ç³»ç»Ÿ | [slideshare.net](http://www.slideshare.net/dvirsky/introduction-to-redis) |
| | | |
| File system | **Google File System (GFS)** - 分布å¼æ–‡ä»¶ç³»ç»Ÿ | [research.google.com](http://static.googleusercontent.com/media/research.google.com/zh-CN/us/archive/gfs-sosp2003.pdf) |
| File system | **Hadoop File System (HDFS)** - GFS çš„å¼€æºå®žçŽ° | [apache.org](https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html) |
| | | |
| Misc | **Chubby** - Google 的分布å¼ç³»ç»Ÿçš„低耦åˆé”æœåŠ¡ | [research.google.com](http://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/en/us/archive/chubby-osdi06.pdf) |
| Misc | **Dapper** - 分布å¼ç³»ç»Ÿè·Ÿè¸ªåŸºç¡€è®¾æ–½ | [research.google.com](http://static.googleusercontent.com/media/research.google.com/en//pubs/archive/36356.pdf) |
| Misc | **Kafka** - LinkedIn çš„å‘布订阅消æ¯ç³»ç»Ÿ | [slideshare.net](http://www.slideshare.net/mumrah/kafka-talk-tri-hug) |
| Misc | **Zookeeper** - 集ä¸çš„基础架构和åè°ƒæœåŠ¡ | [slideshare.net](http://www.slideshare.net/sauravhaloi/introduction-to-apache-zookeeper) |
| | æ·»åŠ æ›´å¤š | [贡献](#贡献) |
### å…¬å¸çš„系统架构
| Company | Reference(s) |
| -------------- | ---------------------------------------- |
| Amazon | [Amazon 的架构](http://highscalability.com/amazon-architecture) |
| Cinchcast | [æ¯å¤©äº§ç”Ÿ 1500 å°æ—¶çš„音频](http://highscalability.com/blog/2012/7/16/cinchcast-architecture-producing-1500-hours-of-audio-every-d.html) |
| DataSift | [æ¯ç§’实时挖掘 120000 æ¡ tweet](http://highscalability.com/blog/2011/11/29/datasift-architecture-realtime-datamining-at-120000-tweets-p.html) |
| DropBox | [我们如何缩放 Dropbox](https://www.youtube.com/watch?v=PE4gwstWhmc) |
| ESPN | [æ¯ç§’æ“作 100000 次](http://highscalability.com/blog/2013/11/4/espns-architecture-at-scale-operating-at-100000-duh-nuh-nuhs.html) |
| Google | [Google 的架构](http://highscalability.com/google-architecture) |
| Instagram | [1400 万用户，达到兆级别的照片å˜å‚¨](http://highscalability.com/blog/2011/12/6/instagram-architecture-14-million-users-terabytes-of-photos.html)
[是什么在驱动 Instagram](http://instagram-engineering.tumblr.com/post/13649370142/what-powers-instagram-hundreds-of-instances) |
| Justin.tv | [Justin.Tv çš„ç›´æ’广æ’架构](http://highscalability.com/blog/2010/3/16/justintvs-live-video-broadcasting-architecture.html) |
| Facebook | [Facebook çš„å¯æ‰©å±• memcached](https://cs.uwaterloo.ca/~brecht/courses/854-Emerging-2014/readings/key-value/fb-memcached-nsdi-2013.pdf)
[TAO: Facebook 社交图的分布å¼æ•°æ®å˜å‚¨](https://cs.uwaterloo.ca/~brecht/courses/854-Emerging-2014/readings/data-store/tao-facebook-distributed-datastore-atc-2013.pdf)
[Facebook 的图片å˜å‚¨](https://www.usenix.org/legacy/event/osdi10/tech/full_papers/Beaver.pdf) |
| Flickr | [Flickr 的架构](http://highscalability.com/flickr-architecture) |
| Mailbox | [在 6 周内从 0 到 100 万用户](http://highscalability.com/blog/2013/6/18/scaling-mailbox-from-0-to-one-million-users-in-6-weeks-and-1.html) |
| Pinterest | [从零到æ¯æœˆæ•°å亿的æµè§ˆé‡](http://highscalability.com/blog/2013/4/15/scaling-pinterest-from-0-to-10s-of-billions-of-page-views-a.html)
[1800 万访问用户，10 å€å¢žé•¿ï¼Œ12 å员工](http://highscalability.com/blog/2012/5/21/pinterest-architecture-update-18-million-visitors-10x-growth.html) |
| Playfish | [æœˆç”¨æˆ·é‡ 5000 万并在ä¸æ–增长](http://highscalability.com/blog/2010/9/21/playfishs-social-gaming-architecture-50-million-monthly-user.html) |
| PlentyOfFish | [PlentyOfFish 的架构](http://highscalability.com/plentyoffish-architecture) |
| Salesforce | [他们æ¯å¤©å¦‚ä½•å¤„ç† 13 亿笔交易](http://highscalability.com/blog/2013/9/23/salesforce-architecture-how-they-handle-13-billion-transacti.html) |
| Stack Overflow | [Stack Overflow 的架构](http://highscalability.com/blog/2009/8/5/stack-overflow-architecture.html) |
| TripAdvisor | [40M 访问者，200M 页é¢æµè§ˆé‡ï¼Œ30TB æ•°æ®](http://highscalability.com/blog/2011/6/27/tripadvisor-architecture-40m-visitors-200m-dynamic-page-view.html) |
| Tumblr | [æ¯æœˆ 150 亿的æµè§ˆé‡](http://highscalability.com/blog/2012/2/13/tumblr-architecture-15-billion-page-views-a-month-and-harder.html) |
| Twitter | [Making Twitter 10000 percent faster](http://highscalability.com/scaling-twitter-making-twitter-10000-percent-faster)
[æ¯å¤©ä½¿ç”¨ MySQL å˜å‚¨2.5äº¿æ¡ tweet](http://highscalability.com/blog/2011/12/19/how-twitter-stores-250-million-tweets-a-day-using-mysql.html)
[150M 活跃用户，300K QPS，22 MB/S 的防ç«å¢™](http://highscalability.com/blog/2013/7/8/the-architecture-twitter-uses-to-deal-with-150m-active-users.html)
[å¯æ‰©å±•æ—¶é—´è¡¨](https://www.infoq.com/presentations/Twitter-Timeline-Scalability)
[Twitter 的大å°æ•°æ®](https://www.youtube.com/watch?v=5cKTP36HVgI)
[Twitter 的行为：规模超过 1 亿用户](https://www.youtube.com/watch?v=z8LU0Cj6BOU) |
| Uber | [Uber 如何扩展自己的实时化市场](http://highscalability.com/blog/2015/9/14/how-uber-scales-their-real-time-market-platform.html) |
| WhatsApp | [Facebook 用 190 亿美元è´ä¹° WhatsApp 的架构](http://highscalability.com/blog/2014/2/26/the-whatsapp-architecture-facebook-bought-for-19-billion.html) |
| YouTube | [YouTube çš„å¯æ‰©å±•æ€§](https://www.youtube.com/watch?v=w5WVu624fY8)
[YouTube 的架构](http://highscalability.com/youtube-architecture) |
### å…¬å¸å·¥ç¨‹åšå®¢
> ä½ å³å°†é¢è¯•çš„å…¬å¸çš„架构
>
> ä½ é¢å¯¹çš„问题å¯èƒ½å°±æ¥è‡ªäºŽåŒæ ·é¢†åŸŸ
* [Airbnb Engineering](http://nerds.airbnb.com/)
* [Atlassian Developers](https://developer.atlassian.com/blog/)
* [Autodesk Engineering](http://cloudengineering.autodesk.com/blog/)
* [AWS Blog](https://aws.amazon.com/blogs/aws/)
* [Bitly Engineering Blog](http://word.bitly.com/)
* [Box Blogs](https://www.box.com/blog/engineering/)
* [Cloudera Developer Blog](http://blog.cloudera.com/blog/)
* [Dropbox Tech Blog](https://tech.dropbox.com/)
* [Engineering at Quora](http://engineering.quora.com/)
* [Ebay Tech Blog](http://www.ebaytechblog.com/)
* [Evernote Tech Blog](https://blog.evernote.com/tech/)
* [Etsy Code as Craft](http://codeascraft.com/)
* [Facebook Engineering](https://www.facebook.com/Engineering)
* [Flickr Code](http://code.flickr.net/)
* [Foursquare Engineering Blog](http://engineering.foursquare.com/)
* [GitHub Engineering Blog](https://github.blog/category/engineering)
* [Google Research Blog](http://googleresearch.blogspot.com/)
* [Groupon Engineering Blog](https://engineering.groupon.com/)
* [Heroku Engineering Blog](https://engineering.heroku.com/)
* [Hubspot Engineering Blog](http://product.hubspot.com/blog/topic/engineering)
* [High Scalability](http://highscalability.com/)
* [Instagram Engineering](http://instagram-engineering.tumblr.com/)
* [Intel Software Blog](https://software.intel.com/en-us/blogs/)
* [Jane Street Tech Blog](https://blogs.janestreet.com/category/ocaml/)
* [LinkedIn Engineering](http://engineering.linkedin.com/blog)
* [Microsoft Engineering](https://engineering.microsoft.com/)
* [Microsoft Python Engineering](https://blogs.msdn.microsoft.com/pythonengineering/)
* [Netflix Tech Blog](http://techblog.netflix.com/)
* [Paypal Developer Blog](https://devblog.paypal.com/category/engineering/)
* [Pinterest Engineering Blog](http://engineering.pinterest.com/)
* [Quora Engineering](https://engineering.quora.com/)
* [Reddit Blog](http://www.redditblog.com/)
* [Salesforce Engineering Blog](https://developer.salesforce.com/blogs/engineering/)
* [Slack Engineering Blog](https://slack.engineering/)
* [Spotify Labs](https://labs.spotify.com/)
* [Twilio Engineering Blog](http://www.twilio.com/engineering)
* [Twitter Engineering](https://engineering.twitter.com/)
* [Uber Engineering Blog](http://eng.uber.com/)
* [Yahoo Engineering Blog](http://yahooeng.tumblr.com/)
* [Yelp Engineering Blog](http://engineeringblog.yelp.com/)
* [Zynga Engineering Blog](https://www.zynga.com/blogs/engineering)
#### æ¥æºåŠå»¶ä¼¸é˜…读
* [kilimchoi/engineering-blogs](https://github.com/kilimchoi/engineering-blogs)
## æ£åœ¨å®Œå–„ä¸
æœ‰å…´è¶£åŠ å…¥æ·»åŠ ä¸€äº›éƒ¨åˆ†æˆ–è€…å¸®åŠ©å®Œå–„æŸäº›éƒ¨åˆ†å—？[åŠ å…¥è¿›æ¥å§](#贡献)ï¼
* 使用 MapReduce 进行分布å¼è®¡ç®—
* 一致性哈希
* 直接å˜å‚¨å™¨è®¿é—®ï¼ˆDMA）控制器
* [贡献](#贡献)
## 致谢
整个仓库都æ供了è¯ä¹¦å’Œæº
特别鸣谢：
* [Hired in tech](http://www.hiredintech.com/system-design/the-system-design-process/)
* [Cracking the coding interview](https://www.amazon.com/dp/0984782850/)
* [High scalability](http://highscalability.com/)
* [checkcheckzz/system-design-interview](https://github.com/checkcheckzz/system-design-interview)
* [shashank88/system_design](https://github.com/shashank88/system_design)
* [mmcgrana/services-engineering](https://github.com/mmcgrana/services-engineering)
* [System design cheat sheet](https://gist.github.com/vasanthk/485d1c25737e8e72759f)
* [A distributed systems reading list](http://dancres.github.io/Pages/)
* [Cracking the system design interview](http://www.puncsky.com/blog/2016-02-13-crack-the-system-design-interview)
## è”系方å¼
欢迎è”系我讨论本文的ä¸è¶³ã€é—®é¢˜æˆ–者æ„è§ã€‚
å¯ä»¥åœ¨æˆ‘çš„ [GitHub 主页](https://github.com/donnemartin)上找到我的è”系方å¼
## 许å¯
Creative Commons Attribution 4.0 International License (CC BY 4.0)
http://creativecommons.org/licenses/by/4.0/