看到文末,你不会对这份干货失望的。
我是一名算法工程师,在那个和老干妈有纠纷的大厂工作….
但是工作了大半年,我发现我的算法技能没有涨多少,反而sql的水平提高了很多,因为一天到晚都在写,感觉自己就是一个BI/报表哥,而且我还经常安慰自己:业务第一,取数要紧…
虽然总不能把代码叫数据挖掘,用SQL,Excel叫数据分析,只要能解决问题就好,但我的心里总是过意不去,我一算法工程师为什么会去做报表?
同样的,我发现别人也有这样的问题:
同样的,也会有人怀疑BI、报表这个岗位的未来在哪里:
以前做大数据平台还好,也可以上手弄Hadoop、Spark、Storm、Flink以及Kafka等集群,但是做了BI和报表之后,除了sql和ETL,我就啥也不干了。
其实这事好解决,不能看你的title,这个岗位分化极大,而是看你想干成什么事情,以什么手段去干成这些事情。
我曾经也在大型企业搭建过数据中心,从项目规划到技术选型都是投入很大精力的,日吞吐上千个G,存量达到2个pb,刚开始也经常被业务喷,现在得到了认可。
我是从哪几个方面去做的呢?
1、规划项目架构
我们需要在每个时间段规划出这个项目所要达成的目标,比如一开始是手工报表,那我们有了数据仓库和大数据平台之后,就应该变成自动化的报表。
有了Hadoop之后,我们的目标应该是OLAP分析,规划做大一点,总没错的。
这里的框架主要聚焦于企业内部,对于企业内的不同团队、部门乃至于子公司,打通期间的数字藩篱,让数据在企业内部以同样的标准流动起来。
2、组建属于自己的数据团队
很多数/商分部门负责人上来以后意气风发,会立下Flag:数据驱动业务发展/360度数据视图/管理驾驶舱等等高大上的里程碑。
我负责任的告诉大家,如果这么立死定了。
要知道,传统企业的数据收集比互联网要复杂的多,光是把所有收集数据的源头理清楚,从各个渠道(财务系统、ERP系统、手工报表、自开发系统)把数据都要整合到一个数据仓库里就是超超超大量的工作,ETL要干到吐血。
建立团队要慢慢来,先找到能有快速产出的事情,再慢慢做困难的事情,比如领导需要帮他做业务实时数据看板,很简单的需求:就是实时,Excel做不到。
这部分业务数据当时系统已经是现成的了,只是报表都是T+1出,于是我通过技术手段把T+1变成T+0,实现过程没那么复杂,这得到了认可,于是我才有时间和资源去做剩下的事情。
3、选择合适的报表和BI工具
到这一步,大数据平台基本算是搭建好了,抛开基础架构不谈,我们来看看应用层,这也是前端人员最容易接触到的东西,评价好不好全看这些。
这绝不仅仅是IT系统的建设和升级,但却离不开IT系统的支撑。除了企业使用的管理和生产软件外,我们还需要自动化、实时的大数据分析工具帮助我们处理大量的数据。
在这里我推荐FineReport,它的定位是报表工具,但是也能解决很多报表之外的事情,比如:可视化大屏,大数据分析。在数据应用层,有这么一个工具就够了,更大点的公司或许会用让业务人员用到BI做更细致的分析,也是可以的。
(此处已添加小程序,请到今日头条客户端查看)
有了FineReport,从mysql建表、数据导入、制作日报、周报、月报,各种对比报表就会被逐一攻破,你以前都是用Excel,数据收集肯定很麻烦吧,而且还要担心口径不统一的问题。
而IT只需要向各业务部门的负责人收集数据,然后花几分钟导入数据库,然后点点鼠标,生成各种报表就行。
其实如果你想要更好的利用报表,数据仓库是离不开的。如果本身没有后端数据仓库,宣称自己是内存BI,实际用起来对硬件要求极高,对于超千万条的数据分析,必须借助于其他ETL工具处理好数据再进行前端分析。
FineReport和数据仓库的关系:
1.数据仓库前端应用展示工具,位于数据应用层,主要解决报表展示问题
2.在规划报表体系的时候,能梳理数据指标、数据字典等
3.finereport填报能解决一部分数据补录问题
4.finereport能整合数据(数据接口能力,丰富的API接口,能对接各种大数据平台和数据库)
其他就是finereport的面向IT的开发优势,太多了,这里就先略过了,文中提到的都是。
如果你的老板一直给你提到,能不能给他整一个数据驾驶舱,而他现在只能看见财务部、运营部的Excel表格,觉得很low,看见高颜值的可视化驾驶舱也想拥有。
这时候,IT人员就可以通过FineReport做出来,实时展现插件不能满足,需要后台对数据库频繁请求,后台可用java开发,在需要数据的时候触发前台的ajax往后台发命令获取数据。
帆软FineReport 的大屏展现是这个原理,自身直接连数据库,展示可用自带图表也可以集成Echarts、Hightchart插件。
BI 可视化
原创文章,作者:奋斗,如若转载,请注明出处:https://blog.ytso.com/172804.html