从报表到数据可视化,我用这五步,成功搭建银行大数据架构
今天来讲讲银行的数字化建设吧,作为大数据量的典型,它的数据架构搭建是很有意义的。
双模IT是由gartner首次提出来的概念,当时他是这么解释的:双模IT就像武士和忍者,一个行为严谨规范,是作战主力,一个擅长盗取暗杀,是高效辅助。其实就跟抗日战争时期的正规军和游击队类似。Gartner认为:双模式IT才是未来很长一段时间的主流。
双模IT在数据分析上的具体形态,就是将固化分析和探索分析结合起来,用固化分析来应对复杂逻辑场景,比如查询报表、填报报表、复杂报表等;探索分析来应对不确定的临时场景,进行一些探索式业务分析,比如大数据全量分析、自助取数、可视化探索分析甚至是数据挖掘。
举一个简单的例子,比如1104的贷款质量迁徙表,这种报表比较复杂,里面涉及到的计算也比较多,但是内容是相对固定的。所以这种报表毫无疑问是需要交给IT来完成的,业务没有能力和时间完成这种复杂报表。
但是再看下面两个报表,左右两边的报表整体未改,但是指标由于某些原因又需要进行增删改操作,这种需求如果有自助分析平台,让报表有足够的自由度,业务是可以自己去修改报表的。
这个其实就是双模IT的一个典型场景,双模IT其实就是用固化分析和自助分析结合的模式来解决现阶段数据应用的分工问题,是真正能实现IT和业务双赢的一种IT解决方案。
我们都说离开建设谈应用都是耍流氓,那我们该如何建设良好的双模IT架构呢,这就是今天的另一个关键词了:生态。
生态学思维是指有机体不能脱离其他环境单独存在,强调各个系统之间、各个个体之间的相互联系和反馈,就像我们的自然生态系统一样,任何一个生命体都不能离开自然生态而独立存活。同样的,将这个思维映射到商业智能的建设上,就是要建立一个具有连续性、多样性的商业智能生态。
我们知道物种多样性和自然生态系统的稳定高效息息相关,同样的,商业智能生态是否丰富多样也决定了商业智能是否可以长期保持活力。商业智能的生态类型非常丰富,但基本分为数据生态、业务生态、分析生态、产品生态、应用生态五个大类。
每个生态其实都有其丰富的内涵,这也正好符合生态系统”丰富多样”的特征,下面我们就详细的解释一下各个生态的建设过程。
数据生态建设
数据生态建设的第一步是对全行数据进行梳理,建立数据治理制度,与业务紧密结合进行数仓建设。一般的过程是从各个业务系统增量抽取数据到ODS贴源层,然后在ODS层数据进行分类和清洗但是保留最小粒度,最后根据设计好的维度模型进行数仓的建设,形成口径一致的汇总层数据。
一般的,我们还会在数仓中建设一些面向应用的数据集市,比如面向审计我们会做EAST数据,面向风险监管我们会有风险集市等。
然后就是坚持长期的进行数据治理。其实在数仓的建设过程中就会做好一些清洗工作,比如统一编码规则,规范脏数据等。但是数据治理是一个长期的工作,不仅仅包括ETL过程的一次性工作,还包括长期的组织、制度、流程的配合。
那在建设好数据基础之后,我们该怎么利用这些数据进行分析呢?首先我们分析肯定不是乱分析的,而是根据一定的指标体系来进行分析的,而指标体系在一些传统分析领域是有非常成熟的指标库的。比如分析盈利性分析、流动性风险分析、财务分析等。
举个例子经营状况分析指标体系就包含:资金成本率、经营成本率等等。再结合分析模型,比如说财务经常使用的杜邦分析模型,就能形成一张层次清晰的分析报告。
有很多人问到,到底什么是分析模型。其实分析模型就是分析问题的方法、思路,有些能够固化,而有些需要临时确定。复杂的类似一些数据挖掘模型,简单的比如针对客户的RFM分析模型已经有了固化套路了,但是针对审计系统的有些新的模型可能需要临时分析逻辑,在经过行内验证之后,就能固化下来,逐渐形成审计模型库。
上面这些方法是针对部门的专业人员的,但是对于领导来说,不一定要每个指标都看,这就需要针对领导的需求进行指标体系定制。
我们对多家银行领导对于驾驶舱的诉求总结了一下,给领导的看的指标一定要有层次、有分类、有闭环。有层次就是不能把全行经营的所有明细一股脑的全部给领导进行展示,需要按照汇总关系设计一些钻取联动;有分类就是需要把经营指标进行分类展示,形成类似经营看板的报告;有闭环,就是业务有头有尾,又涵盖全貌,比如不能只有存贷款分析而没有收入和利润分析。
比如,可以将全行经营指标进行分类之后进行展示的,比如经营对比、规模对比、净利润、净收入、成本收入比、总资产、各项存款余额、各项贷款余额和不良贷款率等,未达标的大指标进行泛红显示,领导点进详细信息就可以查看详细统计信息了,比如哪个支行、哪个客户经理未达标,前五名后五名等。
数据整理好了只是完成了将数据转化为信息的过程,但是数据只有紧密的结合业务场景,才能发挥更大的价值。相比于数据仓库采用成熟的建模方式不同,业务生态相对来说比较个性化。
业务生态建设
银行的业务生态其实是很复杂的,但是商业智能应该尽量根据行内的需求进行业务生态建设,不能盲目开发导致资源浪费。各个银行根据他们自己的特色和领导的关注点,都开发了丰富多样的分析系统。
业务生态的建设相对于数据生态来说,是比较个性化的。比如某个省联社其实已经在我们平台上建设了非常多的经营管理驾驶舱给到下面的行社来用,但是对于农商行这种区域特色的金融机构来说,行长的经营管理策略和关注的指标体系都是有不一样的。
而且不同的时间节点,关注的报表内容也是不同的,所以没办法一套大而全的系统满足全省所有农商行的管理需求。所以很多行社其实自己也会针对行领导的关注点来开发一些特色的管理驾驶舱,还有些会将驾驶舱放到移动端上面,让领导出差在外也能对行内状况了如指掌。
分析生态建设
其实不仅仅是指标和业务是具有多样性的,分析方式也是具有丰富多样的形式的。分析生态的建设内容一般包含四种:固化分析、自助分析、数据挖掘和人工智能分析,我们需要根据需要和科技现状采取不同的分析方式。
第一个分析形式是固化报表。首先我们给报表下一个定义:
1.报表能够将所需数据反馈给使用者
2.数据将以标准的、预定义的格式呈现
3.在生成报表的过程中,除了通过报表界面请求报表的使用者外,没有他人参与
综上几点:报表不够灵活。
一种比较常见的误解是:手头上有大量可用的报表,但是误以为他们有大量可用的分析。商业智能的管理员会说”我们有世界一流的BI环境,我们有500多份可用的报表,它们可以覆盖任何业务领域,我们的业务人员拥有他们想要的一切数据”。
但是,业务人员会说”太失望了!我们花费了一两年时间来建这个报表系统,但我依然没有找到我需要的”。这就是为什么IT和业务经常争执的原因。
分歧源于下面的事实:好像埋藏在500份报表中的东西才是业务人员所需要的。但是当报表多达500份时,他们很难从中找出他们想要的。另外,任何两个人都希望用他们的方法和角度来看同一件事,这也就意味着每个报表都需要面向不同的人员提供不同的观察角度。
重要的不是报表的数量,而是报表的相关性。所以在固化分析这一步,我们需要的不仅仅是固化报表,而是固化报表群,这个群是用来表达一个业务模块的,并且报表与报表之间是有业务关联或者逻辑关联的。
比如单独的一张流动性缺口表是一个固化报表,但是如果配合上流动性结构表、趋势表,资产流动性表,负债流动性表等组成一个报表群,就能将流动性的常规分析模型给固化下来,每次不用重新思考报表之间的关系,也不用每次重新开始一个分析,固化报表会直接给你答案。
那我们该怎么让报表更加灵活并且确实对某类问题行之有效呢?这个就需要业务自助的形式,来对业务问题进行探索性的分析。当然这个工作也可以交给IT来做,但是效果肯定没有业务自己拿到数据来做好。
因为业务是数据的生产者,也是应该是数据的消费者,而IT只应该是数据的加工者。业务自助分析是一种社会专业化分工细化的体现,银行的业务越来越复杂,IT人员不太可能同时对所有的银行业务都很了解,不懂业务去做分析那自然是没法得到答案的。
IT将数据加工成业务能懂的数据之后,对业务来说数据就转化为了信息,然后业务再结合自己的专业知识,就能将信息场景化的转化为智慧,这就是著名的DIKW模型。
除了固化分析和自助分析,现在数据挖掘也非常的火。我们在BI中我们内置了一些数据挖掘算法,让业务人员也可以在前端用可视化的方式做一些数据挖掘工作,结合FineBI强大的可视化能力,制作出优秀的数据分析报告。
如果需要更加高级的数据挖掘算法支持,我们也提供R语言深度集成,可以在前端输入R语句来实现复杂的算法,后期也将支持python语言。
最后的一个分析生态,人工智能分析,现阶段实际应用场景还比较少,但是我们的创新产品研究所也在持续跟进这样的新兴需求,比如微信语音打开报表。详细请看《AI与BI结合的前景怎么样?》
产品生态建设
要实现多样化的数据分析方式,我们需要一个好的平台或者工具来支撑这些任务。帆软在数据行业沉淀了十几年了,在产品生态上已经从数据采集、数据存储、数据处理到最后的数据分析都提供了一站式的解决方案,其中也包括云产品和移动端分析产品。下面我们来简单介绍一下。
首先是FineReport这款产品功能非常的强大,作为中国报表软件的领导品牌,是国内唯一 一家入选gartner全球报表市场指南的厂商。主要面向的是IT人员,以简单的方式制作复杂报表和复杂可视化报告,以类Excel的方式设计报表,并且提供强大的数据录入模块。
FineBI作为自助大数据分析平台的领跑者,提供强大的数据处理、数据存储和数据分析的功能,让业务人员可以自己定制所需要的报表。能够和finereport这种复杂固化分析形成双模IT架构,实现既有正规军又有游击队的数据分析模式。为了实现更加流畅的大数据自助分析,FineBI提供了spider引擎,采用分布式架构和内存计算,解决大数据量分析和快速展现的问题。
应用生态建设
我们针对行长、支行长等管理者,开发了一套适合行内经营管理的驾驶舱系统。将行长经常关注的指标梳理成一套模块化的指标体系,结合帆软银行业多年的经验和我们公司的美工和UI设计,形成一套有管理闭环、多维度追踪的行长驾驶舱。
总结一下
今天分享的内容有比较多,不得不总结一句。其实讲了这么多,围绕的都是今天的主题”双模IT银行商业智能生态建设”方法,总结一下其实就是双模IT的思路加上生态学的思维。
双模IT非常好理解,就是需要固化分析和自助分析结合起来,分别应对一些复杂分析和探索性临时性分析。
生态学思维其核心就是相互联系和丰富多样。商业智能的建设不能是孤立的系统,而应该是连接数据、业务、分析和应用的纽带。
比如不管使用探索分析还是固化分析都可以对各种业务进行分析;不同的业务生态也需要不同的数据生态建设来进行支撑;不论使用finereport还是FineBI都可以根据不同的使用场景选择PC端、移动端和大屏端进行展现;应用生态的建设应该紧密联系银行的业务生态。
这才是生态学思维的究极奥义,生态既要丰富多彩,又要紧密联系,这样才能让商业智能源源不断的迭代和发展。
原创文章,作者:carmelaweatherly,如若转载,请注明出处:https://blog.ytso.com/219168.html