揭秘红包场景下的高性能本地存储架构设计

　21CTO社区导读：红包是最近兴起的全民参与的活动，2017年新春红包在参与人数和业务峰值上都到达了历史新高，其中红包除夕开奖峰值达到90W/s。最近阿里云系统和块存储负责人、资深专家马涛从高性能本地存储架构设计、高性能本地存储要点分享、高性能本地存储性能数据等方面分享了高性能本地存储的实战经验。希望给大家有启示。

　　以下文章内容是我们根据现场分享和幻灯片整理而成，欢迎一起讨论。
红包业务特点
　　
　　支付宝红包的大致业务架构包括单元化部署、统一接入、网关、DAO、数据库以及在线离线数据处理，整体流程很长。
　　其中数据库在整理的交易链路中起到承上启下的作用。在红包业务中，数据库具有三大特点：
　　（1）峰值压力大。除夕夜开奖峰值达到90W/s，但这仅仅是从业务层面考虑，由于业务对数据库不仅仅是一次事务的压力，所以开奖峰值时数据库面临的压力可达百万之多。
　　（2）延迟要求苛刻。数据库单位时间内能承受的事务是有严格要求的，数据库延迟降低后，会大幅降低对数据库数目的需求，进而降低所需物理机配置，对整体的业务压力也会大幅度降低。
　　（3）自带容灾。对于大型互联网公司，他们的数据库业务实际上是有非常完善的容灾机制，数据库具备主从复制；业务层也会有本身的容灾机制。从存储来看，上层的容灾业务做得很全面。
　　针对红包业务，数据库的需求可以概括为两点：
　　一是延迟要非常低，延迟要低于100us；
　　二是IOPS一定要高，需要达到20万以上。
现有块存储产品
　　
图0 现有块存储产品
　　目前阿里提供了三种不同的块存储产品，分别是SSD云盘、高效云盘和普通云盘。三者详细的对比如上图所示，可以看到：三种块存储的产品都具有高可靠的优点，它们的数据可靠性都达到了99.9999999%；它们的缺点也非常明显，IOPS和延迟不达标，IOPS最高的SSD云盘也只有20000，延迟最低的SSD云盘也有500us之久，距离20w IOPS和100us延迟的要求还存在很大的差距，这就需要设计一款新的存储产品来满足双十一以及红包业务的要求。
　　因此，高性能本地存储应运而生。
高性能本地存储
　　高性能本地存储的设计目标是为了满足高性能数据库的要求，设计要点一是超高的IOPS；另一点是超低延迟。
　　
图1 通用云存储
　　通用的云本地存储常规架构如上图所示。
　　以MySQL数据库为例，它通过POSIX API与云主机内核交互，云主机内核包括一个标准文件系统和标准的块设备接口；云主机内核下面是云物理机内核，它自上而下由标准文件系统、标准块设备接口、硬件驱动和硬件组成。
　　当数据库发起IO访问时，要经过7个模块才能到达硬件；请求完成后，再经过7个模块才能返回给应用层，路径相当之长。
　　云主机内核和云物理机内核中都包括标准文件系统和块设备层，也就是说同样的模块可能在云主机内跑了一遍，还需要在云物理机上再运行一遍，功能上重叠，实现方式上也基本类似；重叠的模块导致请求访问时的路径很长，对于业务和数据库性能造成的的直观影响是延迟高、性能差。
　　因此，采用通用的云本地存储常规架构是无法解决红包业务的需求，也不能设计出高性能的存储产品。
　　那该如何将云本地存储的性能发挥到极致呢？我们的切入点是高性能存储架构。请看下图：
　　
图2 高性能存储架构图
　　上图是高性能存储架构，图中左侧是标准物理机情况下存储性能达到极致的框架：它的层次比较少，数据库经过POSIX API直接就到标准文件系统、块设备层、硬件驱动、硬件，请求所经过的模块比上文提到的云本地存储常规架构少2-3个，性能也相对有所提升。
　　那么如何在云主机的环境下搭建一个类似物理机的环境呢？首先云主机的必要模块是必须保留的，应该尽可能精简云物理机内核中的模块，进而达到性能的最佳值。
　　如上图右侧所示，首先必须保留云主机内的标准文件系统和块设备层，因为它们和业务数据库是息息相关的，标准文件系统提供了标准的Open、Creat、Write之类的接口，如果省去该模块，业务是无法适配这种修改的。
　　对用户而言，云物理机内所有的修改都是透明的，因此在云物理机上只保留硬件驱动，从而达到最佳性能。
高性能本地存储关键组件
　　
　　在云主机内，标准文件系统是不能变化的，因为它是存储与数据库、业务交互的地方。因此，想要进行性能优化，只能考虑在块设备层、硬件驱动、硬件三个模块入手加速本地存储的性能。
　　经过一系列的调研与研发测试，最终在块设备层使用了标准virtio blk驱动；硬件驱动使用了SPDK工具集；硬件使用了NVMe SSD。
　　下面我们对这三个模块进行详细的解读与分析。
　　VirTio-blk
　　
图3 VirTio-blk原理
　　利用Virtio blk可以实现云主机和云物理机之间的高性能数据交互。Virtio提供了半虚拟化的接口，所谓半虚拟化就是在虚拟机和物理机之间通过某种方式（修改了虚拟机某些接口），从而使得虚拟机和物理机之间实现高速传输，性能比传统的全虚拟化有所提高。
　　Virtio blk是标准块设备接口，通过块设备接口可以对块设备进行格式化、分区、创建文件系统等标准操作，对用户完全透明，数据库无需任何更改。Virtio blk另一个优点是采用了Virtio协议，通过共享环交换数据。在上图中，蓝色部分是虚拟机，红色部分是物理机。虚拟机通过Virtio Front End将数据通过Virtio Ring传递到后端的Virtio Back End；Virtio Back End将这些数据处理后再回传给Virtio Front End，完成了一次数据的交互。
　　SPDK
　　除了Virtio blk之外，SPDK是另一个重要的组件。SPDK全称是Storage Performance Development Kit，它是一组用来编写高性能、高扩展性的用户态存储应用的工具集。
　　
图4 关于NVMe SSD
　　相比于SPDK，DPDK可能更为人知，它主要是为了解决网络方面的问题。SPDK在很多模块上是与DPDK共用的，它的核心观点是通过用户态协议加无锁设计加轮询机制达到高性能：
　　（1）用户态协议是指SPDK实现了用户NVMe协议，让用户可以在旁路内核的情况下去访问设备；其缺点是不支持posix API、不支持标准的文件系统，也没有标准的设备支持，应用性较差。
　　（2）无锁设计，对于高性能编程而言，无锁设计都是核心的思想，此次不再展开。
　　（3）轮询机制，SPDK提供了Polling Mode ，它摒弃了内核中常用的中断这类的机制，消除了中断的影响，提高了整体性能。
　　NVMe SSD
　　
图5 NVMe SSD的优点
　　NVMe SSD有两个核心点：首先SSD是PCI-E的SSD，本身的访问速度是非常快的；采用NVMe之后，速度会更快，NVMe是用来代替SCSI的新协议，它具有高带宽、低延迟的特点，比SCSI协议更简单高效，提高了系统整体的性能。
数据链路
　　
图6 关于数据链路
　　高性能本地云储存的数据链路如上图所示，在云主机中，核心数据库、POSIX API和标准文件系统保持不变。云数据库通过标准的POSIX API 访问标准文件系统；标准文件系统通过Virtio-Blk和SPDK用户态驱动直接交互，在SPDK用户态驱动中再与NVMe SSD交互，减少了数据链路的长度，同时提高了IO性能。
　　延迟分布
　　
图7 关于延迟分布
　　高性能本地云储存搭建之后，我们使用了fio磁盘测试工具在CentOS7上对通用虚拟化架构本地盘和阿里云高性能本地存储的随机IO平均延迟进行了对比测试。测试时块设备IO调度器均设置为noop，测试参数为–direct=1–bs=4k–iodepth=1–numjobs=1。
　　从上图可以看出，在随机读两方面，阿里云高IO本地盘延迟只有70us左右，而通用虚拟化架构本地盘延迟在130us左右；随机写方面，阿里云高IO本地盘的延迟只有30us左右；通用虚拟化架构本地盘延迟在60us左右。
　　数据库性能对比
　　
图8 数据库运行性能对比
　　上图是新旧数据库Index-Update性能对比，可以看到：在旧数据库实例的情况下，TPS只有14242.65、RT为8.21ms；新数据库实例下，TPS可以达到26969.81、RT为1.7ms，整体性能大幅度提升。
　　释放红包技术福利，即将在公有云上线
　　通过延迟分布和数据库性能的对比，可以看出高本地云存储对性能提升起到了很大的作用，在红包活动中发挥了很大的作用。在完成双十一及红包活动之后，阿里云希望将高性能本地云存储技术推广给其他用户使用。因此，在今年2月底，高性能本地云存储在公共云上线，它的技术架构与支撑支付宝红包的技术架构相同：采用NVMe SSD+SPDK技术，也是全球首家采用该技术的高性能本地盘。
　　
图9 公共云应用本地盘状态
　　本地盘2.0性能非常好，容量为3TB、IOPS为50万、延迟为50us、带宽为4GB。具体参数如下表所示：
　　
图10 本地SSD 2.0
　　可以看出，最优产品读写IOPS单盘可达24000；读带宽达2GBps；写带宽为1.2GBps。
高IO本地存储实例
　　
图11 高IO本地存储实例
　　有了本地盘作为基础，如果想要实现高性能本地存储实例，还需要在计算性能、存储IO性能、网络性能上进行相应地提升：
　　（1）为了保证计算性能稳定，采用了Intel Xeon E5-2682 v4（Broadwell）处理器，主频为2.5GHz，DDR4内存。
　　（2）为了保证存储IO性能稳定，采用了基于NVMe SSD和SPDK技术，提供高达数十万随机IO读写能力的同时，保持在us级别的时延水平。
　　（3）网络性能方面，实例网络性能与计算规格相对应（实例计算规格越大则网络性能越强）。
　　综上所述，将SPDK与NVMe SSD技术结合起来，能够让本地盘接近或类似物理机的性能，在双十一以及新春红包这类峰值压力很大的场景下，性能依旧很好。

　　作者：马涛，花名伯瑜，阿里云系统和块存储负责人、资深专家、国内知名Linux内核研发人员。
　　10年以上操作系统以及存储研发经验，在块存储，文件系统等领域为Linux内核主线做出了卓越的贡献，在Linux内核主线有超过300个提交，同时对分布式文件系统，分布式存储等领域也有多年深入的研究。目前目前带领团队负责阿里巴巴Linux内核以及分布式块存储等相关的研发工作。