建信金融科技大数据平台负责人赵世辉应邀做客由国内大数据公司 Kyligence主办的首届金融科技沙龙，为三十多家银行、保险、券商等机构带来主题为 “技术引领，数据赋能——建行大数据能力建设之路”的精彩讲座。本文节选自现场的演讲，已经本人审阅，敬请阅读。
主讲人：赵世辉，建信金融科技有限公司大数据平台团队负责人
金融科技发展历史
科技已经成为金融业经营决策和创新的一个核心动力，建行这几年有这么出色的业绩表现，很大程度上归结为建行在金融科技方面的持续关注和投入。其中，对数据的运用水平是科技水平的一个重要表现。各个时期科技对金融的推动，很大一部分是因为数据的赋能。
●2000年以前的“IT+金融阶段”，数据赋能体现在数据和机器之间的关系上。通过信息系统实现业务的电子化、自动化，增强数据的交互能力，提升数据的服务效率。
●到了2000年左右的“互联网+金融阶段”，金融科技的关注点转到人和数据的关系。利用互联网和移动端汇集用户数据，打通信息渠道，变革服务方式。
●到了2016年左右，金融科技的重点转向数据和数据的关系。以大数据赋能金融业，削弱信息不对称、控制交易风险、降低交易决策成本、充分挖掘客户的潜在需求和价值。
●未来5G、物联网、人工智能、区块链等技术将在更大范围内拓宽金融的数据视野和处理方式，给金融业带来新的发展机遇。
建行大数据发展的重要里程碑
建行数据建设方面起步比较早，在2003年就在《全行的科技规划》中规划中就明确提出：数据管理应用水平是影响银行竞争的关键因素，是经营分析和科学化管理的先决条件。
建行第一个数据仓库从2005年开始建设， 2006年上线，实现了跨部门、跨业务、跨时间、跨平台的数据整合。当时是一个后台的系统，和ODS一起协同，为监管和风险等应用系统提供数据。
到了2012年，建行开始新一代核心系统建设，在规划的时候就把数据线能力放到和交易线同等重要的位置。新一代数据线的建设思路非常明确，就是自主用数，把数据开放给最需要的人，让每一个用户都能通过简单的方式获取数据来做分析，让数据从后台走到前台。
经过多年的建设，建行无论是在数据量还是在数据范围、数据类型上都有了很大的扩展，这种变化对海量数据的处理效率和分析方法又提出了新的要求，因此在2018年，建行又开始建立大数据云平台。
目前建行正在基于大数据平台规划建设全行数据湖，构建数据生态，深挖数据价值，提升数据应用的能力。
建行如何建设大数据？
建行的大数据能力建设有两条主线。
第一条主线：数据赋能。通过不断深挖自身的数据潜力，扩充外部数据，使数据在深度和广度上都有了很大的提升，推进了数据在更多业务领域的融合与应用。
第二条主线：技术引领，也就是降低数据门槛。为了让更多的人运用大数据，建行一直在完善用户环境，提供更好的工具和方法，帮助用户便捷地查看、理解和使用数据，目标就是“人人都能玩转大数据”。
技术引领
从建行大数据技术演进的路线看，从使用国外成熟软件到使用开源技术，从单一产品到多元化产品，这个过程中紧跟技术潮流，提升了从数据需求、数据采集到数据归档、数据退出等全周期的技术能力。
在2010年以前，对于稍大一些的银行来说，数据仓库技术基本以Teradata为主。到了2013年，建行引入Greenplum，更加开放的架构促进了建行大数据的迅猛发展。2014年同华为合作，搭建了Hadoop平台，主要应用在非结构化数据处理和历史数据归档上，再后来又相继引入了Spark等Hadoop生态组件，搭建起了大数据分析平台。
建行和Kyligence第一次接触是在2017年，当时用Kyligence的开源版本Kylin建立了一个应用。到了2018年，基于更多的开源技术与互联网厂商一起打造大数据云平台。
大数据云平台是对建行新一代数据平台能力的增强，基于开源、云计算等技术，支持更多的数据、分析方法来适应建行转型和发展的要求。这个平台具备多种类型的数据整合以及海量数据处理能力，提供了大量大数据加工分析工具。平台主要提供三类服务：
第一类服务，基础资源服务，提供Hadoop，并行数据库、图数据库等，让应用快速的搭建环境。
第二类服务，技术工具服务。提供数据获取，数据管理，数据开发等工具，利用这些工具，应用可以快速的进行数据加工和应用构建。
第三类服务，数据支持服务。为业务提供贴源数据、整合数据、数据产品的支撑。
大数据云提供的众多产品和工具，可以依托统一的门户，统一的调度，统一的元数据管理和统一的资源管理串起来，形成了一个整体，适应复杂的业务场景。
上图提到的产品组件和技术工具，可以为不同的用户装配出个性化的大数据环境，平台提供了UI、API、SDK方式，让大数据能力无缝集成到应用里，这是开放银行的理念，从底层给应用赋能，融入应用之中，就像空气一样，虽然看不到摸不着，但是是不可或缺的东西。
数据赋能
建行依托新一代实现了企业级的全流程数据管控，支撑全行实施全生命周期的管理，同时建立了企业元数据资产库和数据质量平台，提供可定制的数据质量监测服务，促进业务数据质量不断提升，目标是让数据的使用者在正确的时间、正确的环境能用正确的方式拿到最正确的数据。
为了实现这个目标，建行在数据规划方面主要做了几件事情：
●第一：实现数据的单点创建，通过指标认责明确衍生数据的首创责任，让各级机构能够获得支持精细化管理的数据；
●第二：实现数据的全行共享，各组件、数据集成层的加工结果，同一业务指标只有一个数据，口径统一，提供给全行使用；
●第三：建立“自主用数”的数据使用模式。建立统一数据视图，提供自主用数环境，将数据的使用权交给用户，覆盖大量报表需求
●第四：保障数据时效性，用户数据需求得到快速响应。
通过一系列的数据治理手段，实现了数据的“全省信快易好”，提升了数据管理和应用水平。
建行结合具体实践，从顶层设计开始，建立了适应互联网和大数据新业态下的工作组织体系，激发全行管理数据、应用数据的积极性和创造性，推动全行经营管理向数据智能化迈进。
建行每天从200多个内部系统和60多个外部系统中获取数据，对这些数据进行深加工，形成客户、员工、机构等维度信息以及对应的数据图谱和画像。
总结：建行大数据的发展在技术能力方面，通过上文提及的大数据平台，增强数据加工和处理过程中各项能力实现敏捷的开发；在数据方面就是通过引入大量的外部数据扩展自身的数据视野、并以统一的数据整合能力来扩展数据的服务深度。通过以上措施，聚焦全行业务发展的热点、难点问题，提升大数据分析挖掘能力，推动全行体系化大数据应用。在技术和数据支撑下，建行正在实现数字化转型，以及对B(企业)端、C（个人）端、G(政府端)的应用扩展，形成技术、数据、应用三位一体服务能力，促进建行从“传统金融”向“新金融”的转变。
展望未来
建行大数据未来会继续提升整体的数字能力，通过不断跟踪大数据及相关领域的最新技术成果，深入研究大数据领域相关技术应用，积极引入各类先进的分析工具，培育数据挖掘和分析技能，在继续提升结构化数据分析能力的同时，扩大对非结构化数据的分析和应用。。
主要工作有四点：
●夯实大数据的基础技术能力，建行的金融科技战略简称TOP+。T就是科技驱动，核心技术会聚焦于“ABCDMIX”，以技术和数据作为双要素，驱动金融创新。
●推进数据中台的建设，建行在数据中台的落地上概括为5U（U是统一的意思）,包括统一的模型管理、统一的数据服务、统一的数据视图，统一的数据规范以及统一的数据管理。建行目前和Kyligence的合作也是在数据服务这一层，通过技术来改变原来数据的组织形式，使数据的服务更加高效。前一段我们和Kyligence一起做了自主用数的效能提升工作，取得了非常好的效果。
●大数据应用创新，大数据的价值最终要体现在应用上，后面会在不同的领域发力，比如产品大数据、安全大数据、运维大数据以及产学研的数据创新。
●统一数据线研发体系，这个是针对开发者，通过建立一体化研发平台，实现对AI、BI技术研发的支撑，快速释放大数据技术和数据的价值。
总的来说建行大数据平台的发展策略就是在建行金融科技战略指引下不断进行完善。
另一项工作重点就是大数据平台的国产化，包括与国产芯片、操作系统适配，以及对标国外软件进行各项能力的增强。建行会扩大和国内大数据厂商的合作范围，也希望后续能和业内同仁多交流，一起推动金融大数据的国产化进程，提升整个金融业的国产化水平。
原创文章，作者：奋斗，如若转载，请注明出处：https://blog.ytso.com/183288.html