随着公司数字化转型的加快和多年的大数据运营,数据团队的职能终于能超越部门的限制,成为整个企业大数据的实际管理者,数据团队能走到现在非常不容易,今天就来聊聊其演进过程。
可划分为五个层级:小组-报表取数级、科室-数据管理级、科室-数据运营级、企业-数据管理级及企业-数据运营级。
1、小组-报表取数级
在我刚进公司的时候,IT部门没有独立的数据组织,只有业务开发室,业务开发室下面挂着一个小组专门负责报表取数,大概2-3个人,这个小组其实就是数据团队的前身。
当时没有数据仓库,没有大数据平台,更没有数据中台,有的就是一个ORACLE库,我们每天通过ORACLE的DBLINK从本部门管理的业务系统抽取数据,对这些数据简单加后形成中间表,然后通过Oracle的客户端工具进行人工取数,并通过存储过程完成报表作业。
当然也不会有什么报表系统和门户,主要通过系统导出EXCEL报表为业务部门提供支撑,后来你们也知道了,Excel其实真的太差了。
我们对外服务的对象仅限于市场和财务部门,市场主要基于我们提供的数据做跟踪分析,财务部门主要用来做财务报表,每个月取数需求大概20-30个,这就是一只数据团队的全部工作。
我们面对的最大挑战是报表和取数及时性和准确性,经常半夜被叫醒去解决财务报表的问题,业务部门是我们最大的甲方,每次加班完成一个复杂的取数或报表就会感觉做出了很大贡献。
2、科室-数据管理级
在我进公司的第3年,商业智能(BI)和数据仓库的概念席卷全球,数据仓库似乎成为了公司经营决策走上新台阶的必备利器,全世界都在建设数据仓库。
某一天,小组突然接到了建设数据仓库的项目任务,然后我见证了公司数据仓库从无到有,无论是DB2数据仓库、报表系统、Essbase OLAP,IBM DM挖掘引擎等等。
数据仓库建设完了后留下了一堆的资产,包括数据仓库服务器、应用服务器、ETL服务器、上百个数据接口,几十个数据仓库模型等等,这些接口和模型是KPI和业务主题的基础。
我们接入数据的范围其实并没有扩大,仍然只能从业务系统获取数据,但深度上有所提升。
我们管理的数据资产从一个Oracle数据库拓展到了一个数据仓库体系,原来作坊式的小组生产模式已经满足不了数据仓库运维的需要,因此数据小组从业务开发室剥离独立成为了一个科室:数据管理室。
从此我们走上了独立发展的道路,人员也扩充到了6人,随之而来的是元数据管理,数据质量管理相关体系的建立。
数据仓库最大的价值似乎是提供了一个报表门户可以访问,大家上这个门户唯一的目的就是下载报表,各种高大上的功能比如OLAP鲜有人问津,但自动化程度的确高了不少。
数据组织的建立往往是时代发展的需要,但一旦建立就有扩张的天然要求,不管它到底有没有用。
3、科室-数据运营级
数据仓库建立以后,数据团队如果仍然仅限于去做报表和取数,这与BI的初衷相距甚远,也达不到领导的期望。
这才是BI
在我进入公司的第6年,为了推动数据更好的发挥价值,我们科室的名字从数据管理室改成了数据运营室,管理到运营两字之差,凸显了领导希望用数据创造价值的雄心。
在BI漫长的探索中,一方面我们会觉得只做报表取数很low,另一方面报表取数又是我们的立身之本,既爱又恨吧。我们一直想超越报表取数,去做一些不一样的东西。然后我们找到了新的数据模式:数据可视化、专题分析。
数据可视化的本质就是指标+体验,我们当时整天琢磨着如何更好的向领导展现数据,比如引入更好看的报表引擎,打造驾驶舱和仪表盘、甚至建设手机BI。我们当时就是用的FineReport和FineBI,取得了不错的效果。
专题分析看起来是个更为专业性的工作,其实只是将某业务类别的报表和指标以更好的可视化方式展现出来,其脱离不了看数的本质,新瓶装旧酒吧。
我们也在努力做些数据分析报告,一些分析报告甚至受到了公司的表扬,但也就体现下数据团队的主动性,跟业务部门的边界问题及自身团队的基因限制决定了你不可能成为公司经营分析的主力军。
公司对于数据组织的定位是很关键的,它决定了你的天花板,从数据管理到数据运营是一种进步,它让我们从关注建设到关注价值,虽然在当时的作用有限,但的确体现了一种方向。
4、企业-数据管理级
没有互联网的发展就没有BAT,而没有以上这些,就不可能有大数据的发展。
正当我们陷入数据运营的困境不可自拔时,大数据让我们获得了不可多得的发展机会,否则也许就到此为止了吧。
传统的数据价值是非常有限的,恰好公司有丰富的跨域大数据资产,而公司把这个跨域数据采集和整合的使命放到了我们数据团队,科室也升级成了公司部门:数据技术部,这是时代给予的机会。
然后我们似乎又回到了从前,重新开始新一代的数据仓库建设,即大数据平台,但这次与上次本质的区别是:除了技术上的变革,我们采集的数据蕴含了巨大的价值,意味着较高的数据运营起点,因为是数据本身决定了价值的天花板。
同时我们管理数据的视角从原来部门级升级到了企业级,需要拉通所有部门的数据,建立起相关配套的机制和流程,这是我们的使命。
企业数据组织的壮大跟时代发展和公司转型有千丝万缕的关系,把一个数据团队从科室级别做到独立的部门,光靠自身的努力是不够的,还是需要一点点运气。
5、企业-数据运营级
我们通过三年时间完成了企业级大数据平台的建设,并致力于研究如何让大数据平台变得好用,数据中台由此拔地而起。数据中台的本质是业务化、服务化和开放化,它天生就与业务直接相关,立足于直接创造价值。
在完成大数据技术变革后,数据部门的名字改成了:数据技术和产品部,相关的职能进一步拓展,新增了以下二项:大数据技术和产品研发,大数据对外变现服务,数据是基础,产品是封装,变现则是临门一脚,数据在我们手里真的有可能变成了资产。
我们服务的对象不再局限于市场和财务,拓展到了企业各个部门和外部的各个行业,服务的模式从报表取数、精确营销拓展到了管理、服务等各个方面,我们终于打开了另一扇门。
数据从业者能走到第五阶段是非常幸运的,也许它只存在于互联网行业,但当你每天忙于报表取数的时候,还是要抬起头来看看别人是如何做的。在数字化转型的当下,数据团队充满了机会,十年难遇。
数据分析 BI
原创文章,作者:奋斗,如若转载,请注明出处:https://blog.ytso.com/tech/bigdata/172877.html