从0到1:微信后台系统的演进之路

作者:  浏览量:404  发布时间:2016-01-18 06:30:21  

导语:从小步慢跑到快速成长,经历了平台化到走出国门,微信交出的这份优异答卷,解题思路是怎样的?

  从无到有

  2011.1.21 微信正式发布。这一天距离微信项目启动日约为 2 个月。就在这 2 个月里,微信从无到有,大家可能会好奇这期间微信后台做的最重要的事情是什么?我想应该是以下三件事:

  1、确定了微信的消息模型

微信起初定位是一个通讯工具,作为通讯工具最核心的功能是收发消息。微信团队源于广硏团队,消息模型跟邮箱的邮件模型也很有渊源,都是存储转发。

  图 1 展示了这一消息模型,消息被发出后,会先在后台临时存储;为使接收者能更快接收到消息,会推送消息通知给接收者;最后客户端主动到服务器收取消息。

  2、制定了数据同步协议

  由于用户的帐户、联系人和消息等数据都在服务器存储,如何将数据同步到客户端就成了很关键的问题。为简化协议,我们决定通过一个统一的数据同步协议来同步用户所有的基础数据。

  最初的方案是客户端记录一个本地数据的快照 (Snapshot),需要同步数据时,将 Snapshot 带到服务器,服务器通过计算 Snapshot 与服务器数据的差异,将差异数据发给客户端,客户端再保存差异数据完成同步。不过这个方案有两个问题:一是 Snapshot 会随着客户端数据的增多变得越来越大,同步时流量开销大;二是客户端每次同步都要计算 Snapshot,会带来额外的性能开销和实现复杂度。

  几经讨论后,方案改为由服务计算 Snapshot,在客户端同步数据时跟随数据一起下发给客户端,客户端无需理解 Snapshot,只需存储起来,在下次数据同步数据时带上即可。同时,Snapshot 被设计得非常精简,是若干个 Key-Value 的组合,Key 代表数据的类型,Value 代表给到客户端的数据的最新版本号。Key 有三个,分别代表:帐户数据、联系人和消息。这个同步协议的一个额外好处是客户端同步完数据后,不需要额外的 ACK 协议来确认数据收取成功,同样可以保证不会丢数据:只要客户端拿最新的 Snapshot 到服务器做数据同步,服务器即可确认上次数据已经成功同步完成,可以执行后续操作,例如清除暂存在服务的消息等等。

  此后,精简方案、减少流量开销、尽量由服务器完成较复杂的业务逻辑、降低客户端实现的复杂度就作为重要的指导原则,持续影响着后续的微信设计开发。记得有个比较经典的案例是:我们在微信 1.2 版实现了群聊功能,但为了保证新旧版客户端间的群聊体验,我们通过服务器适配,让 1.0 版客户端也能参与群聊。

  3、定型了后台架构

  微信后台使用三层架构:接入层、逻辑层和存储层。

  1、接入层提供接入服务,包括长连接入服务和短连接入服务。长连接入服务同时支持客户端主动发起请求和服务器主动发起推送;短连接入服务则只支持客户端主动发起请求。

  2、逻辑层包括业务逻辑服务和基础逻辑服务。业务逻辑服务封装了业务逻辑,是后台提供给微信客户端调用的 API。基础逻辑服务则抽象了更底层和通用的业务逻辑,提供给业务逻辑服务访问。

  3、存储层包括数据访问服务和数据存储服务。数据存储服务通过 MySQL 和 SDB (广硏早期后台中广泛使用的 Key-Table 数据存储系统) 等底层存储系统来持久化用户数据。数据访问服务适配并路由数据访问请求到不同的底层数据存储服务,面向逻辑层提供结构化的数据服务。比较特别的是,微信后台每一种不同类型的数据都使用单独的数据访问服务和数据存储服务,例如帐户、消息和联系人等等都是独立的。

  微信后台主要使用 C++。后台服务使用 Svrkit 框架搭建,服务之间通过同步 RPC 进行通讯。


  Svrkit 是另一个广硏后台就已经存在的高性能 RPC 框架,当时尚未广泛使用,但在微信后台却大放异彩。作为微信后台基础设施中最重要的一部分,Svrkit 这几年一直不断在进化。我们使用 Svrkit 构建了数以千计的服务模块,提供数万个服务接口,每天 RPC 调用次数达几十万亿次。

  这三件事影响深远,乃至于 5年 后的今天,我们仍继续沿用最初的架构和协议,甚至还可以支持当初 1.0 版的微信客户端。

  这里有一个经验教训——运营支撑系统真的很重要。第一个版本的微信后台是仓促完成的,当时只是完成了基础业务功能,并没有配套的业务数据统计等等。我们在开放注册后,一时间竟没有业务监控页面和数据曲线可以看,注册用户数是临时从数据库统计的,在线数是从日志里提取出来的,这些数据通过每个小时运行一次的脚本(这个脚本也是当天临时加的)统计出来,然后自动发邮件到邮件组。还有其他各种业务数据也通过邮件进行发布,可以说邮件是微信初期最重要的数据门户。

  2011.1.21 当天最高并发在线数是 491,而今天这个数字是 4 亿。

  小步慢跑

  在微信发布后的 4 个多月里,我们经历了发布后火爆注册的惊喜,也经历了随后一直不温不火的困惑。

  这一时期,微信做了很多旨在增加用户好友量,让用户聊得起来的功能。打通腾讯微博私信、群聊、工作邮箱、QQ/ 邮箱好友推荐等等。对于后台而言,比较重要的变化就是这些功能催生了对异步队列的需求。例如,微博私信需要跟外部门对接,不同系统间的处理耗时和速度不一样,可以通过队列进行缓冲;群聊是耗时操作,消息发到群后,可以通过异步队列来异步完成消息的扩散写等等。

  图 4 是异步队列在群聊中的应用。微信的群聊是写扩散的,也就是说发到群里的一条消息会给群里的每个人都存一份(消息索引)。为什么不是读扩散呢?有两个原因:

  1、群的人数不多,群人数上限是 10(后来逐步加到 20、40、100,目前是 500),扩散的成本不是太大,不像微博,有成千上万的粉丝,发一条微博后,每粉丝都存一份的话,一个是效率太低,另一个存储量也会大很多;

  2、消息扩散写到每个人的消息存储(消息收件箱)后,接收者到后台同步数据时,只需要检查自己收件箱即可,同步逻辑跟单聊消息是一致的,这样可以统一数据同步流程,实现起来也会很轻量。

  异步队列作为后台数据交互的一种重要模式,成为了同步 RPC 服务调用之外的有力补充,在微信后台被大量使用。

  快速成长

  微信的飞速发展是从 2.0 版开始的,这个版本发布了语音聊天功能。之后微信用户量急速增长,2011.5 用户量破 100 万、2011.7 用户量破 1000 万、2012.3 注册用户数突破 1 亿。伴随着喜人成绩而来的,还有一堆幸福的烦恼:

  业务快速迭代的压力

  微信发布时功能很简单,主要功能就是发消息。不过在发语音之后的几个版本里迅速推出了手机通讯录、QQ 离线消息、查看附近的人、摇一摇、漂流瓶和朋友圈等等功能。

  有个广为流传的关于朋友圈开发的传奇——朋友圈历经 4 个月,前后做了 30 多个版本迭代才最终成型。其实还有一个鲜为人知的故事——那时候因为人员比较短缺,朋友圈后台长时间只有 1 位开发人员。

  后台稳定性的要求:用户多了,功能也多了,后台模块数和机器量在不断翻番,紧跟着的还有各种故障。

  帮助我们顺利度过这个阶段的,是以下几个举措:

  1、极简设计

  虽然各种需求扑面而来,但我们每个实现方案都是一丝不苟完成的。实现需求最大的困难不是设计出一个方案并实现出来,而是需要在若干个可能的方案中,甄选出最简单实用的那个。这中间往往需要经过几轮思考——讨论——推翻的迭代过程,谋定而后动有不少好处,一方面可以避免做出华而不实的过度设计,提升效率;另一方面,通过详尽的讨论出来的看似简单的方案,细节考究,往往是可靠性最好的方案。

  2、大系统小做

  逻辑层的业务逻辑服务最早只有一个服务模块(我们称之为 mmweb),囊括了所有提供给客户端访问的 API,甚至还有一个完整的微信官网。这个模块架构类似 Apache,由一个 CGI 容器(CGIHost)和若干 CGI 组成(每个 CGI 即为一个 API),不同之处在于每个 CGI 都是一个动态库 so,由 CGIHost 动态加载。

  在 mmweb 的 CGI 数量相对较少的时候,这个模块的架构完全能满足要求,但当功能迭代加快,CGI 量不断增多之后,开始出现问题:

  每个 CGI 都是动态库,在某些 CGI 的共用逻辑的接口定义发生变化时,不同时期更新上线的 CGI 可能使用了不同版本的逻辑接口定义,会导致在运行时出现诡异结果或者进程 crash,而且非常难以定位;

  所有 CGI 放在一起,每次大版本发布上线,从测试到灰度再到全面部署完毕,都是一个很漫长的过程,几乎所有后台开发人员都会被同时卡在这个环节,非常影响效率;

  新增的不太重要的 CGI 有时稳定性不好,某些异常分支下会 crash,导致 CGIHost 进程无法服务,发消息这些重要 CGI 受影响没法运行。

  于是我们开始尝试使用一种新的 CGI 架构——Logicsvr。

  Logicsvr 基于 Svrkit 框架。将 Svrkit 框架和 CGI 逻辑通过静态编译生成可直接使用 HTTP 访问的 Logicsvr。我们将 mmweb 模块拆分为 8 个不同服务模块。拆分原则是:实现不同业务功能的 CGI 被拆到不同 Logicsvr,同一功能但是重要程度不一样的也进行拆分。例如,作为核心功能的消息收发逻辑,就被拆为 3 个服务模块:消息同步、发文本和语音消息、发图片和视频消息。

  每个 Logicsvr 都是一个独立的二进制程序,可以分开部署、独立上线。时至今日,微信后台有数十个 Logicsvr,提供了数百个 CGI 服务,部署在数千台服务器上,每日客户端访问量几千亿次。

  除了 API 服务外,其他后台服务模块也遵循 “大系统小做” 这一实践准则,微信后台服务模块数从微信发布时的约 10 个模块,迅速上涨到数百个模块。

  3、业务监控

  这一时期,后台故障很多。比故障更麻烦的是,因为监控的缺失,经常有些故障我们没法第一时间发现,造成故障影响面被放大。

  监控的缺失一方面是因为在快速迭代过程中,重视功能开发,轻视了业务监控的重要性,有故障一直是兵来将挡水来土掩;另一方面是基础设施对业务逻辑监控的支持度较弱。基础设施提供了机器资源监控和 Svrkit 服务运行状态的监控。这个是每台机器、每个服务标配的,无需额外开发,但是业务逻辑的监控就要麻烦得多了。当时的业务逻辑监控是通过业务逻辑统计功能来做的,实现一个监控需要 4 步:

  申请日志上报资源;

  在业务逻辑中加入日志上报点,日志会被每台机器上的 agent 收集并上传到统计中心;

  开发统计代码;

  实现统计监控页面。

  可以想象,这种费时费力的模式会反过来降低开发人员对加入业务监控的积极性。于是有一天,我们去公司内的标杆——即通后台(QQ 后台)取经了,发现解决方案出乎意料地简单且强大:

  1) 故障报告

  之前每次故障后,是由 QA 牵头出一份故障报告,着重点是对故障影响的评估和故障定级。新的做法是每个故障不分大小,开发人员需要彻底复盘故障过程,然后商定解决方案,补充出一份详细的技术报告。这份报告侧重于:如何避免同类型故障再次发生、提高故障主动发现能力、缩短故障响应和处理过程。

2) 基于 ID-Value 的业务无关的监控告警体系

  监控体系实现思路非常简单,提供了 2 个 API,允许业务代码在共享内存中对某个监控 ID 进行设置 Value 或累加 Value 的功能。每台机器上的 Agent 会定时将所有 ID-Value 上报到监控中心,监控中心对数据汇总入库后就可以通过统一的监控页面输出监控曲线,并通过预先配置的监控规则产生报警。

  对于业务代码来说,只需在要被监控的业务流程中调用一下监控 API,并配置好告警条件即可。这就极大地降低了开发监控报警的成本,我们补全了各种监控项,让我们能主动及时地发现问题。新开发的功能也会预先加入相关监控项,以便在少量灰度阶段就能直接通过监控曲线了解业务是否符合预期。

  4、KVSvr

  微信后台每个存储服务都有自己独立的存储模块,是相互独立的。每个存储服务都有一个业务访问模块和一个底层存储模块组成。业务访问层隔离业务逻辑层和底层存储,提供基于 RPC 的数据访问接口;底层存储有两类:SDB 和 MySQL。

  SDB 适用于以用户 UIN (uint32_t) 为 Key 的数据存储,比方说消息索引和联系人。优点是性能高,在可靠性上,提供基于异步流水同步的 Master-Slave 模式,Master 故障时,Slave 可以提供读数据服务,无法写入新数据。

  由于微信账号为字母 + 数字组合,无法直接作为 SDB 的 Key,所以微信帐号数据并非使用 SDB,而是用 MySQL 存储的。MySQL 也使用基于异步流水复制的 Master-Slave 模式。

  第 1 版的帐号存储服务使用 Master-Slave 各 1 台。Master 提供读写功能,Slave 不提供服务,仅用于备份。当 Master 有故障时,人工切读服务到 Slave,无法提供写服务。为提升访问效率,我们还在业务访问模块中加入了 memcached 提供 Cache 服务,减少对底层存储访问。

  第 2 版的帐号存储服务还是 Master-Slave 各 1 台,区别是 Slave 可以提供读服务,但有可能读到脏数据,因此对一致性要求高的业务逻辑,例如注册和登录逻辑只允许访问 Master。当 Master 有故障时,同样只能提供读服务,无法提供写服务。

  第 3 版的帐号存储服务采用 1 个 Master 和多个 Slave,解决了读服务的水平扩展能力。

  第 4 版的帐号服务底层存储采用多个 Master-Slave 组,每组由 1 个 Master 和多个 Slave 组成,解决了写服务能力不足时的水平扩展能力。

  最后还有个未解决的问题:单个 Master-Slave 分组中,Master 还是单点,无法提供实时的写容灾,也就意味着无法消除单点故障。另外 Master-Slave 的流水同步延时对读服务有很大影响,流水出现较大延时会导致业务故障。于是我们寻求一个可以提供高性能、具备读写水平扩展、没有单点故障、可同时具备读写容灾能力、能提供强一致性保证的底层存储解决方案,最终 KVSvr 应运而生。

  KVSvr 使用基于 Quorum 的分布式数据强一致性算法,提供 Key-Value/Key-Table 模型的存储服务。传统 Quorum 算法的性能不高,KVSvr 创造性地将数据的版本和数据本身做了区分,将 Quorum 算法应用到数据的版本的协商,再通过基于流水同步的异步数据复制提供了数据强一致性保证和极高的数据写入性能,另外 KVSvr 天然具备数据的 Cache 能力,可以提供高效的读取性能。

  KVSvr 一举解决了我们当时迫切需要的无单点故障的容灾能力。除了第 5 版的帐号服务外,很快所有 SDB 底层存储模块和大部分 MySQL 底层存储模块都切换到 KVSvr。随着业务的发展,KVSvr 也不断在进化着,还配合业务需要衍生出了各种定制版本。现在的 KVSvr 仍然作为核心存储,发挥着举足轻重的作用。

  平台化

  2011.8 深圳举行大运会。微信推出 “微信深圳大运志愿者服务中心” 服务号,微信用户可以搜索 “szdy” 将这个服务号加为好友,获取大会相关的资讯。当时后台对 “szdy” 做了特殊处理,用户搜索时,会随机返回 “szdy01”,“szdy02”…,“szdy10” 这 10 个微信号中的 1 个,每个微信号背后都有一个志愿者在服务。2011.9 “微成都” 落户微信平台,微信用户可以搜索 “wechengdu” 加好友,成都市民还可以在 “附近的人” 看到这个号,我们在后台给这个帐号做了一些特殊逻辑,可以支持后台自动回复用户发的消息。

  这种需求越来越多,我们就开始做一个媒体平台,这个平台后来从微信后台分出,演变成了微信公众平台,独立发展壮大,开始了微信的平台化之路。除微信公众平台外,微信后台的外围还陆续出现了微信支付平台、硬件平台等等一系列平台。

  走出国门

  微信走出国门的尝试开始于 3.0 版本。从这个版本开始,微信逐步支持繁体、英文等多种语言文字。不过,真正标志性的事情是第一个海外数据中心的投入使用。

  1、海外数据中心

  海外数据中心的定位是一个自治的系统,也就是说具备完整的功能,能够不依赖于国内数据中心独立运作。

  1) 多数据中心架构

  系统自治对于无状态的接入层和逻辑层来说很简单,所有服务模块在海外数据中心部署一套就行了。

  但是存储层就有很大麻烦了——我们需要确保国内数据中心和海外数据中心能独立运作,但不是两套隔离的系统各自部署,各玩各的,而是一套业务功能可以完全互通的系统。因此我们的任务是需要保证两个数据中心的数据一致性,另外 Master-Master 架构是个必选项,也即两个数据中心都需要可写。

  2) Master-Master 存储架构

  Master-Master 架构下数据的一致性是个很大的问题。两个数据中心之间是个高延时的网络,意味着在数据中心之间直接使用 Paxos 算法、或直接部署基于 Quorum 的 KVSvr 等看似一劳永逸的方案不适用。

  最终我们选择了跟 Yahoo! 的 PNUTS 系统类似的解决方案,需要对用户集合进行切分,国内用户以国内上海数据中心为 Master,所有数据写操作必须回到国内数据中心完成;海外用户以海外数据中心为 Master,写操作只能在海外数据中心进行。从整体存储上看,这是一个 Master-Master 的架构,但细到一个具体用户的数据,则是 Master-Slave 模式,每条数据只能在用户归属的数据中心可写,再异步复制到其他数据中心。