随着行业的快速发展和业务的高速迭代，数据量也呈爆炸式增长，传统的大数据架构在资源利用、高效运维、可观测性等方面存在诸多不足，已经越来越无法适应当下的发展需求。具体来讲，传统大数据架构主要存在以下几方面的问题：

1. 传统大数据组件繁多，安装运维复杂，在生产使用中需要大量的人力支持；
2. 在线业务和大数据业务各自使用独立的资源池，使得资源流转困难，利用率低，成本上升；
3. 传统大数据架构没有 CICD 机制，缺少测试和质量控制流程；
4. 传统大数据缺少开箱即用的高可用、多租户、日志、监控、告警、认识、授权、审计、计费等能力。

• 业务层面：传统模式下，业务独立占用资源，在业务高峰时段占用全部资源，但在低谷时段资源占用率可能只有20%-30%；云原生模式下的业务是混部的，比如在线和离线业务，它可以按分时复用的方式来调用资源。
• 资源调度层面：在传统模式下，如果一个 Flink 集群有100台机器，那这100台机器就由它独占；云原生模式虚拟化出了资源池的概念。资源池可以承载不同类型的大数据集群，可以装 Flink 集群，也可以装 Spark 集群，而且这些集群都是按需拉起的，可以迅速回收，在不需要时可以释放掉。
• 统一部署和运维安装：原来的运维方式是每个集群要运维每个自己集群的状态，出现集群之间的时延或者故障时，问题定位比较复杂。而云原生有统一的服务管理界面，以 Helm Chart 或 Operator 的形式，统一对服务进行发布、运维。这样，出现问题时，我们可以通过统一的界面进行查看和管理，监控告警日志也是和 K8s Pod（进程） 的采集、Node 采集相统一的，在监控告警上，我们既可以看到 K8s 的节点和容器，也可以看到服务的运行状态。

• 平台服务层由开源组件插件化集成，支持灵活配置选用；
• 核心引擎层包括 Flink、Spark、云原生消息引擎、实时服务分析引擎、云原生日志搜索和统一存储 HDFS 等核心组件，支持存算分离和自动调优；
• 资源调度层支持统一计算资源调度和统一引擎云原生生命周期管理。

平台服务层由开源组件插件化集成，灵活配置选用，这是整个平台架构的一个关键设计。

• 信息门户：一般是 BI 报表类，如 Superset、Apache Ranger 等；
• 数据工程：一般是大数据开发工程师、数仓工程师，做数据开发、数据 ETL、数据处理、清洗所用到的组件，如使用 Zeppelin Notebook 做数据开发，对接数据治理平台、调度平台；
• 数据科学：一般适用于 AI 场景，如 Jupyter、Ray等；

核心引擎层具备了存算分离的特点。

自动调优

• 第一阶段

  • 部署和管理 K8s 集群

  • 应用自己管理容器和镜像

• 第二阶段

  • 资源池化：对底层 K8s 资源无感知

  • 资源混部：在离线作业共享集群资源

  • 只关注作业资源的额度和并行度

  • 平滑演进：YARN 作业和 K8s 作业混部

• 第三阶段

  • 虚拟队列：支持跨集群和机房作业自动调度

  • 利用闲置资源：利用超发和驱逐机制利用空闲资源

  • 引擎半自动调优：利用智能团队推荐任务配置参数，人工确认下发

• 第四阶段（也是当前的终极目标）

  • 全局自动容灾：实现跨机房自动调度和容灾

  • 资源自动优化：没有负载的时候资源使用可以减低到0；毫秒级的冷启动延时

  • 引擎自动调优：混合不使用 AI 技术优化使用资源，包括计算网络和内存

存算分离

• 统一数据权限，降低安全风险：资源池包括数据，要有统一的权限和安全管理，降低安全风险；
• 统一资源调度和复用：资源池也需要统一的资源调度和复用，比如当进行了统一存储后，在不同业务进行复用时，我们可以进行统一的调度。

• 统一数据 Copy，减少数据卸载：数据任务经常出错，同步也会耗费资源，当任务同步出错时，定位很难，也非常耗费人力，所以要尽量减少数据卸载；
• 统一数据容灾，保证高可靠要求：支持多种存算分离的部署形态，既可以完全分为计算、存储两个集群，也可以将计算和存储混部在一个 K8s 集群上，但此时计算存储是单独管理的。

• 降低扩缩容和数据 Rebalance 时间：云原生数据湖、数据仓、消息队列、搜索引擎如果支持存算分离的部署模式，将存储放在统一的大数据文件存储或对象存储上，这样可以降低扩缩容和数据 Rebalance 时间；
• 增强对请求响应能力：将存储放在统一的大数据文件存储或对象存储上，也可以增强对请求的响应能力。

资源调度层主要起到统一计算资源调度，统一引擎云原生生命周期管理的作用，包含以下四个模块：

• 多云部署和调度：提供跨云的额度管理（统一的 Quota），可以实现高可用；
• 统一资源池：支持计算统一负载，支持在离线混部；
• 云原生 YARN ：兼容 YARN 资源负载，平滑迁移现有的 Hadoop 的负载；
• 云原生 Operator：用 Helm Chart 管理整个引擎的云原生生命周期。

• Serverless YARN：从上图可以看到，Resource Manager、Node Manager、Application Master 是 YARN 的三大组件。本方案是在 Resource Manager 中进行修改，增加了新的组件。经过这样改造之后，对于客户来说，新系统仍保持了通过 YARN Client 提交作业的使用方式，只是在 Resource Manager 这一层做了封装调度，让用户把作业直接提交到 API Server，而这个 API Server 其实是 K8s 的 API Server。也就是说，通过对 YARN 的 Resource Manager 进行改造，可以让原来使用 YARN 来提交资源请求的业务，平滑地把业务提交到 K8s 上。
• 云原生 Operator：这种方案是针对现有大数据组件的云原生化部署，把 Flink、 Spark 等计算引擎以 Cloud Native （云原生）的方式部署到 K8s 上。这种方案的好处有两个，第一是可以通过 Operator 对计算引擎进行全生命周期的管理，帮助用户进行更优的批量作业重启策略；第二是云原生和 K8s 融合得更好，它可以更精细地采集 Pod 上的日志，跟踪整个大数据的引擎和作业的运行状态。

• 队列属性：设置资源池 Min-Max 属性
• 更强的调度策略：任务优先级调度、GANG 调度和 DRF 调度（GANG 调度策略保证一个作业的所有容器一起被调度，DRF 算法保证公平地将资源分配给资源池内的各个作业）
• 更好的隔离控制：限制每个 Pod 的 CPU 时间片和内存使用量
• 更灵活的资源使用方式：空闲资源利用和队列抢占

• ResLake 具有资源的全局视图、全局资源池和 Quota 管控
• 不限机房、不限集群，以最优化资源利用率为最终的调度目标

集开源组件、服务生命周期、集群、容灾、可观测性于一体的一站式管理平台。

• 全链路监测：可以全链路地监测每个服务的运行状态，包括调用链、调用关系等，从而可以在故障时定位到具体出问题的调用环节；
• 开源组件管理：通过 Helm Chart 来对组件进行部署，通过 Operator 对运行组件进行整个生命周期的管理，包括开始、终止、清理等一系列操作。因此，开源组件管理是从 K8s 平台上对引擎或特定的开源组件，甚至是任务进行管理的特殊模式，这个模式的优势是更快捷和更细粒度。
• 服务生命周期管理：通过统一可视化的管理界面，提供服务组件的渲染、发布和状态管理服务。
• 集群管理：除集群扩缩容、集群信息统计外，为了更好地监控整个的作业运行状态和服务运行状态，往往需要更细粒度地采集容器日志，所以我们对这部分进行了增强。另外，为了定位容器之间的运行状态，我们提供通过 Web Shell 登录到 Pod 中，以命令行的形式输入 Linux 指令，在浏览器上直接操作作业运行环境的服务，类似于在本地终端操作远程服务器，这对作业开发以及问题定位来说是一个非常实用的工具。

1. Flink 和 Spark 的混部。即 Flink 不使用资源，或负载低的时候，资源可以出让给 Spark，Spark 执行完批式计算后，空闲的资源也可以出让给流式计算（Flink）用。
2. APP 实时调用和大数据场景的混部。在上图提到的5个场景中，右侧4个都是大数据场景。大数据场景可以和 APP 实时调用场景进行资源复用——当 APP 在线资源使用量较少时，可以出让给大数据场景使用，反之亦然。

• 首先是高效的资源切换，可以做到数万核离线资源分钟级出让。如在2022年春节时，抖音在线资源需求量非常高，我们将离线资源以分钟级出让了数十万核给在线资源使用。而当遇到某些突发社会热点导致的极端弹性场景时，高效的资源切换甚至可以成为业务的“保命利器”。
• 其次是利用率的提升，通过混部，可以降低整体公用的开销，在字节跳动内部带来 2% 的利用率提升；
• 最后是在离线资源的统一管理，在离线资源全量共池，可以实现 Quota 管控、调度、运行、机器运维统一。

• 提供全局虚拟队列：在用户使用多云的场景下，首先需要提供一个全局虚拟队列的概念。如上图，一个虚拟队列就是一个资源池，下面对应不同的两个物理资源池。用户在提交的时候，不需要关注实际对应的集群，而是提交到一个虚拟队列上，下层会针对作业进行相应的调度，自动分发到合适的集群/机房/队列上，能够有效提升容灾能力。
• 应用按多因子综合选择流量分配：多云部署的另一个好处是可以通过多种因素的综合考虑来选择流量分配。比如在一个多云场景下，AZ1 理解为厂商1，AZ2 是厂商2，现在发现使用同样多的 CU，在厂商2上比在厂商1上贵50%，那就可以通过多云调度把流量尽量分发到厂商1上。这是从成本角度考虑的一种情况，当然还可能存在虽然成本降低，但经常宕机，响应时间较长，任务状态出错率高的情况，那就需要把重要的应用放到各方面指标较好的机房里，总的来说就是通过多种因子的综合考量进行流量分配。在多云部署场景下，帮助用户实现多云成本的最优复用。