基于数据中台的数据资源解决方案

　　对数据中台的理解

　　在企业数字化转型的历程中，数据已逐步成为最核心的生产资料，基于数据中台可对海量数据采集、加工计算、共享开放，实现对数据价值深度挖掘，满足数据支撑业务、数据支撑决策，将数据价值最大化。

　　在建设数据中台的过程中，需要重视三个方面：数据、平台、服务。其中，数据作为数据中台的生产要素，数据的丰富程度和准确性直接影响到数据中台的数据价值;平台作为数据中台的核心构件，平台的灵活性、开放性、稳定性直接影响到数据中台的开放与适配能力;服务作为数据中台的使能者，其数据治理能力、供需对接能力、资产管理能力、服务管理能力直接决定数据中台的价值呈现。

　　通过数据、平台、服务三者拉通和磨合，实现数据中台的高效运行以及价值运营，将数据转化为信息，信息支撑业务。

　　在数据生产层面：数据汇聚主要实现对原始数据采集汇聚到大数据平台，通过数据开发治理进行清洗、标准化、融合形成以业务为主题的大数据资源池，再通过多维分析、数据集市、图谱应用对数据进行价值呈现。

　　在数据运营层面：数据资产管理是数据中台支撑运营服务的管理平台，一方面要求对下层数据资源的可视化管控，一方面要求对业务到数据、数据到业务的流程贯通。

　　核心解决方案

　　年华数据作为较早一批进入大数据领域进行方案实施的高科技企业，有着运营商、行业客户、政务行业的大数据经验积累，目前已沉淀出成熟的数据中台解决方案致力于支撑企业客户进行数字化转型，主要的解决方案包括：

　　·数据汇聚解决解决方案

　　支撑多协议海量数据采集接入的能力、分布式采集能力、采集任务编排能力、数据采集轻度加工能力，满足数据中台建设过程中适配数源平台的能力。

　　·数据开发治理解决方案

　　采用元数据前向获取的方式进行数据开发管控，达到对数据清洗、标准化、加工融合的可视化开发、可视化管控，满足数据中台建设过程中不同企业客户灵活的数据治理需求。

　　·数据资产管理解决方案

　　对内提供统一的数据资产管理门户支撑数据治理管控，对外实现数据资源的统一发布，通过供需对接、资产管理等实现提升数据中台价值运营。

　　2.1 数据汇聚方案

　　数据汇聚是数据中台最重要的环节，当更广、更多、更快的数据被采集时才能为数据中台输送丰富的数据原材料进行加工运算。

　　1) 采集的解决方案

　　为数据汇聚提供多租户管理、采集源端管理、采集目标管理、分布式节点管理、采集任务配置、分布式调度管理、可视化采集监控、多协议适配能力。

　　2) 解决方案的特点

　　在管理过程中支撑采集组件的管理、采集任务管理、采集节点管理，最大程度满足数据采集平台在数据中台部署过程中的协议对接和适配问题。在技术层面支撑采集扩展、功能扩展、性能扩展能力满足数据中台指数级数据接入。

　　·数据采集管理特点

　　可以基于平台进行采集组件的配置开发、热部、多节点部署，利用元数据驱动采集的方式进行打破技术黑盒，实现对采集任务的可视化管理。

　　利用分布式数据采集能力，可实现采集任务的统一调度和横向的功能扩展。

　　·数据采集技术特点

　　在数据接入协议层面支持实时数据接入和非实时数据接入，满足数据中台处理是离线计算和实时计算场景。

　　在数据中台采集汇聚过程中，随着数据量的增加、数据协议的复杂度增加、采集服务的资源开销，需要在满足在较少的中断时间内进行服务器扩容、采集组件扩容、采集性能提升。

　　3) 一些高级特性

　　在数据汇聚过程中，通常采用点对点的方式进行原始数据的搬迁，在复杂场景下会出现对采集任务有时序、关联的要求，因此数据采集平台的轻度加工能力在某些复杂场景下会发挥重要的作用。

　　2.2 数据加工治理

　　数据加工治理是对数据采集后的原始数据进行清洗、标准化、融合的加工平台，为了保证数据加工和数据管理的一致性，年华数据提供的是数据加工和治理一体化的平台。

　　1) 数据加工治理的理论依据

　　在DAMA理论知识体系内包括了数据架构、数据开发、数据操作、数据安全、数仓和商务智能管理、文档和内容管理、元数据管理、数据质量管理方面。在数据中台实施建设过程中，一方面接入的数据量越来越大，另外一方面需要支撑各个业务部门和技术部门使用，在数据治理实施前数据标准化极为重要，只有规范一致、标准统一的数据中台服务才能被治理。

　　基于元数据标准化、命名标准化、分层标准化、开发标准化、管控标准化、生产标准化，支撑核心的治理项，建议至少需要覆盖：数据架构、数据开发、数据操作、数据安全、元数据管理、数据质量管理等治理方面。

　　2) 避免陷入的治理误区

　　虽然有理论依据的加持、有治理规范的约束，但往往在数据中台实施过程中出现各种各样治理的误区。

　　·后向型治理，不一致

　　很多企业采用“先建后治”的方式，通过手工填报、反向解析代码、脚本等的方式进行元数据探查、血缘探查、数据质量管理，事后才能发现问题，容易造成管理的内容和生产内容的不一致。

　　·被动型治理，不高效

　　当发现质量问题时建设质量平台、需要数据字典的时候建设元数据管理平台，将原本完整的治理体系割裂为多个系统、多个平台，造成系统集成难度高、治理效果差。

　　·误区型治理，难聚焦

　　随着中台的建设脚本和任务越来越多，本来管理数据变为了管理程序;数据治理的本质是管理数据，走入误区变成管理程序、脚本、任务，造成了管理失焦。

　　3) 数据加工治理的能力架构

　　基于数据治理要求，形成数据开发、数据治理融合的技术支撑体系，实现事前约束、事中治理、事后稽核的治理手段，保障数据中台的资产沉淀、数据价值的持续运营。

　　n 多租户管理：提供租户之间隔离和共享，管理各个租户模型资源。

　　n 基础数据管理：对码表、数据源、血缘图标等管理，统一租户公共数据。

　　n 元数据管理：提供元模型设计、元数据建模、自定义函数开发、备份等功能，提供可视化的数据开发功能，降低开发门槛。

　　n 血缘管理：提供数据加工过程的可视化展示，降低运维门槛。

　　n 数据质量管理：提供数据质量的闭环管理，保证数据输出的正确性。

　　n 任务调度管理:提供可视化的作业管理，保证开发和生产的一致性。

　　n 数据安全管理:提供标准字段安全分层分级的定义管理，提供对外接口。

　　4) 数据加工治理的方案特点

　　数据加工治理采用建管一体化的方式进行设计，建主要指数据生产，管主要指数据治理，通过加工治理的紧密结合打破传统治理难落地、治理效果差的问题。

　　n 从治理角度看

　　采用前向元数据获取的方式进行前向治理，通过元模型驱动的方式进行元数据管理，实现对元数据的进一步抽象和总结，最大幅度降低元数据管理的难度和规范执行力度。

　　n 从生产角度看

　　数据加工治理环节采用提供可视化设计、可视化开发、可视化运维的加工手段，保障数据加工和生产工艺的正确性。

　　提供元模型配置设计能力实现产品适配业务，提供元数据前向获取能力实现管理和生产100%一致，提供分布式调度能力实现数据加工工艺的正确性，提供可视化运维监控能力大幅降低数据质量问题追溯和运维服务门槛。

　　5) 数据加工治理的目标

　　实现数据治理的100%落地和灵活适配能力，保障数据管理和数据加工的一致性，完成业务和技术语言的和解，形成可管、可控、可视化的加工治理体系。

　　2.3 数据资源管理

　　数据资源管理运营体系包括：组织机制、运营支撑两个部分：

　　组织机制：包括组织架构、角色职责、制度流程、认责机制等，通过组织机制建立管理办法，制定工作流程，确定角色职责。

　　运营支撑：基于统一门户、供需对接、服务发布、资源目录、标准规范管理、数据质量管理、模型生命周期管理、运维监控视图提供供需对接服务、数据服务运营、数据业务运营、平台运营等基础服务。

　　1) 数据资源管理的能力架构

　　数据资源管理对数据中台的统一管理门户，对内实现数据治理管控，对外与业务对接支撑数据价值运营，其提供的支撑能力为：

　　·数据标准管理：数据标准管理实现对数据中台采集、加工环节的标准进行配置管理，保证标准可以影响并作用于数据生产。

　　·元数据管理：通过前向获取方式进行元数据管理，保证管理的元数据和实际作业生产的元数据100%一致。

　　·生产运维监控：对数据汇聚、加工阶段、数据分发环节进行监控，保证数据中台调度执行的正确性，可视化监控数据中台生产情况。

　　·数据安全管理：通过对数据元的分层分级，实现对模型的分类分级分布分析，在数据对外共享开放时，与安全平台结合实现数据的脱敏、加密，保障数据开放的安全。

　　·数据体检管理：通过对元数据的进一步数据分析，识别相似模型、幽灵模型、冗余模型，达到对数据中台减负的作用，实现数据治理本身的价值变现。

　　·数据质量管理：提供数据质量规则库，覆盖业务规则和技术规则，将规则直接作用于生产，保障数据加工环节数据质量100%正确。

　　·数据资产管理：打破数据中台技术属性，将数据资产进一步开放和管理，提供目录管理和数据资源的挂接。

　　·API服务管理：提供配置化界面，实现配置化的服务开发和外部服务挂接，以API服务的方式支撑业务中台的应用。

　　·数据计量管理：提供API调用次数、调用频率的控制。

　　2) 数据资源管理的能力特点

　　数据资源管理对数据中台的统一管理门户，对内实现数据治理管控，对外与业务对接支撑数据价值运营。

　　解决方案优势

　　基于多年大数据平台实施和支撑经验，所提供的数据资源管理解决方案可支撑指数级数据中台的平台集成和运营管理。

　　1) 在技术层面的优势

　　业务驱动能力：采用业务驱动设计原则的解决方案，所提供的解决方案具备跨行业特性，具备不同规模的企业级客户使用。

　　中台开放能力：采用多租户方式支撑大规模、指数级数据中台协同开发、共同治理、持续运营

　　中台扩展能力：面对复杂问题和业务场景，可基于平台进行二次功能配置开发，提升中台的响应能力

　　中台集成能力：所提供的解决方案采用前后台分离技术，可与其他产品集成或被集成，高度可控的定制化

　　2) 在管理层面的优势

　　复杂问题线性化：随着数据量、种类、规模增加集成方案的复杂度为线性增长，在数据量越大情况越复杂时，解决方案的效果越好。

　　技术业务统一化：采用语义化的方式表达数据生产过程，技术和业务人员站在统一的角度共同参与数据管理，支撑业务和技术100%的对应。

　　知识管理可视化：采用设计驱动开发模式解决数据中台运营过程中的知识沉淀问题，开发的同时进行元数据、血缘、质量、调度的知识沉淀。

　　数据生产可控化：对内可控制数据采集和加工过程，随时干预生产，对外实现供需对接、数据服务发布，支撑精细化运营。

　　结束语

　　年华数据提供的解决方案核心思想为：满足数据中台建管一体化、业务驱动技术实现、软件产品适配的管理诉求，最大程度助力企业级数据中台的价值运营，帮助企业实现数字化转型的愿景。