中国移动容器定制化Linux操作系统的解析

通用的操作系统集成了大量软件，默认开启了很多服务，其中大部分软件和服务并不是容器环境所必需的。因此基于通用操作系统部署容器业务，不仅会增大系统开销，而且会导致环境的不稳定以及安全攻击面的扩大。相比传统的通用操作系统，容器操作系统针对容器应用进行了深度裁剪和优化，提供了轻量级的容器最小运行环境。本文介绍中国移动在容器化系统方面所做的一些尝试以及取得的一些成果。

中国移动于2017年开展容器定制化操作系统的研发，基于大云操作系统BC-LINUX进行深度定制，并于当年5月份正式发布1.0版本，命名为“大云容器化操作系统”。BC-LINUX是中国移动基于CentOS开源社区，借助开源技术的开放优势，通过定制化手段自主研发的企业级通用Linux操作系统，当前已经在中国移动内部部署规模近20000套。大云容器化操作系统在通用系统的基础上，通过内核优化和系统裁剪等技术手段，提供了精简的容器运行环境，提升了系统的运行速度，实现了系统的最小化以及性能的最优化，如图所示。

在系统易用性和精简性之间做出平衡，大云容器化操作系统裁剪了无关的软件包和服务，同时保留了系统基础功能。在提供容器最小运行环境的基础上，大云容器化操作系统保证了操作系统常见服务和功能的不缺失，减少了系统开销，同时降低了系统运维难度；相比通用系统，大云容器化系统软件包数量由3723个裁减为376个，服务数量由254个减为143个，安装镜像大小由4.31G减为770M，如图所示。

大云容器化操作系统集成了Docker组件，并提供11款主流开源中间件容器镜像，实现了开箱即用。针对这11款开源组件提供版本更新、安全预警、漏洞修复和技术支持服务，并且定期扫描和更新修复容器镜像中存在的安全漏洞，确保容器镜像不存在安全问题，如图所示。

针对容器使用场景，大云容器化操作系统提供了优化的定制化内核。定制化内核基于内核社区最新长期支持版本4.9进行定制化开发，针对容器业务进行内核裁剪，增加了众多针对XFS、Btrfs和Overlayfs的功能增强和性能优化，大云容器化操作系统支持overlay2存储驱动，相比overlay来说，大云容器化操作系统的overlay2在inode使用率方面更加高效。此外，定制化内核中加入中国移动针对容器的多个补丁，实现了容器与宿主机系统部分网络配置参数的分离，满足容器业务系统在网络高并发场景的调优需求，如图所示。

大云容器化系统通过裁剪不必要的服务，减少了系统的安全攻击面。同时系统内置中国移动自主研发的安全加固软件，可全面扫描系统中存在的安全漏洞、安全配置问题，给出安全评估结果和修复建议，并可一键加固系统，开启系统安全模式。
定制化内核基于4.9内核，高版本内核修复了众多安全漏洞，如内核提权漏洞Dirty Cow（CVE-2016-5195）。存在这个漏洞的系统，在容器中可绕过系统的安全策略，获取主机系统的root权限，进而可以查看、修改甚至删除宿主机中任何文件，从而对宿主机和其他容器造成安全隐患。

针对传统升级手段中存在的动态库和内核升级导致业务中断的问题，大云容器化操作系统推出了热补丁技术。热补丁技术是一种不影响业务的在线缺陷和漏洞修复技术，可在不中断服务和不重启系统的情况下，实现动态库和内核的在线升级，并且不会影响系统性能，显著提高了业务系统的稳定性和可用性。
具体而言，动态库热升级解决了业务程序动态库升级的问题，适用于所有进程的动态库升级，操作简单方便，可靠性高，并且支持多次重入和反向操作，如图所示。

内核热升级技术，基于内核的ftrace机制动态添加探测点，实现函数级别的执行流程在线替换。该项技术使得内核升级无需重启系统，最大程度减少了系统宕机时间。对于重要的安全漏洞，大云容器化操作系统可以快速响应。同时，该系统支持回滚操作，可快速恢复内核至升级前状态。

针对容器化操作系统，大云可提供持续的系统更新和技术支持服务，跟踪操作系统尤其Docker组件的安全漏洞，发布安全预警和漏洞更新补丁包，如图所示。

大云容器化操作系统自发布以来，已经在中国移动内部进行商用推广，目前部署规模已经近两百节点，使用Kubernetes容器管理平台，稳定运行6个月，支撑5000个容器，产品的安全性、稳定性和可靠性在项目中得到了充分验证。