疫情以来,企业高层的管理思维开始发生变化,越来越重视数据驱动业务和数据化管理,希望借BI来迈出数据建设的第一步。
然而,在BI行业,来自不同厂商的BI工具不断涌现,并且产品逻辑和功能架构千差万别,BI选型过程已成为商业智能实施的关键所在。
谈到商业智能BI,我们非常熟悉。这似乎并不是那么触不可及。也许它只是用作统计数据和制作看板。这样一个看似轻松简单的产品,但IT人员在选择产品时仍然“困惑不解”。市场上有很多种传统BI、OLAP式 BI、敏捷BI、协同BI和云BI。易用如Powder BI,全面实用如帆软,图表多样如Tableau。似乎每个公司都有自己的特点,比如天锁斩月,大红莲冰轮丸,千本樱景严,狒狒王蛇尾丸和白霞罚等,各有千秋。
各种各样的产品来自不同的应用层需求,而BI工具无疑是最侧重应用层需求的。在BI选型过程中,我们列几个需求。也许项目经理能深有同感。
业务端需求:战略部门需要制作复杂报表开发;财务部门需要手工添补数据;运营部门需要实时数据显示;用户中心需要BI工具支持多维自助分析;决策层需要管理驾驶舱;销售部门需要多终端操作和展示……
技术端需求:需要支持实时数据处理;需要支持ETL二次开发;需要支持Echarts外部图表插件对接;需要支持快速高效的大屏、移动应用开发……
市场上BI的新发展似乎也带来了更多忧虑:数学算法平台是否应该集成在BI层?强化学习对BI的价值在哪里?诸如此类。
左手是琳琅满目的BI工具产品,右手是天壤之别的BI要求,BI选型过程真的很难。不过,“满目疮痍”的选型困局也要破解。我们把需求和产品功能进行匹配梳理,概括起来无非是四个方面:
一、基础数据准备
很多敏捷BI工具产品都鼓吹“敏捷BI不需要复杂的数据建模,不需要Cube,业务需求无需IT人员接手,业务人员随手就用”。但是,需要注意的是,无论哪种BI工具产品,业务人员都不应该直接面对未经处理的原始数据。任何基于“脏乱差”数据的BI系统都缺乏实际应用价值。因此,无论BI系统的产品逻辑如何演变或进化,“基础数据准备”都是不可或缺的模块。具体包括以下内容:
数据连接能力:大多数BI系统同时支持三种数据类型:主流关系数据库、分布式数据库和文本数据源。基于具体的业务需求,我们需要关注解决方案提供商的BI系统是否能够支持实时数据对接,以及支持API接口的能力。
ETL能力:ETL引擎是数据治理和数据整合的基础。市面上BI系统的ETL能力分为三种:一种是使用Kettle、Kafka等三方ETL工具;第二种是自主开发、简单基础、支持少量常见ETL逻辑计算功能的ETL工具;第三种是自主开发、封装50-100种逻辑计算功能的全面完备的ETL工具。但是,我们在选型时并不一定要购买ETL齐全的BI工具产品。在建设大数据系统的过程中,大部分ETL工作应该在数据平台层面完成,BI系统只需要承担一些简单的ETL工作,如合表、关联、分组、去重等。当企业缺乏完整的数据平台体系,数据质量问题较多时,建议选择ETL功能齐全的BI工具产品。
数据建模:OLAP式BI更强调构建多维数据模型,帮助分析人员多维探索分析数据,并通过创建Cube来预计算数据,以保证分析的效率,但这是用实时性换来的,失去了实时性。敏捷BI整合了大数据的技术架构,通过分布式计算、内存计算、列存储、库内计算等技术,实时分析数据,使亿万数据秒级响应,因此省略了Cube环节。只需轻度建模即可满足探索性分析和自助式分析的需要。
数据集市:对于已经整理和建模的数据,建议以数据集市的形式清晰、系统地展示,这非常符合敏捷BI的特性。
二、固定报表开发
BI看板、管理驾驶舱、移动端可视化等要求本质上都是固定报表开发,也是大多数企业需要的。固定报表开发以技术为主,技术更注重报表开发的规范性和高效性、插件和素材的多样性、支持二次开发的能力。
1.图表开发能力:图表类型的丰富程度、3D可视化图表的支持程度、地图集成优化能力、图表扩展能力(如是否集成Echarts图表等)是检验BI工具产品图表开发能力的重要指标。
2.中国式复杂报表:战略部门、财务部门等业务部门可能会有更复杂的中国式报表需求。如果BI工具缺乏对复杂报表开发的支持能力,技术人员只能“海底捞针”。而国外BI工具产品在复杂报表开发方面的表现明显疲软,国内也就帆软软件在该领域表现较为出色,但FineReport(报表)和FineBI(分析型BI工具)是目前的两套产品,但据软帆一方介绍,技术上可以做集成的,数据是可以互通的。
3.大屏设计能力:管理驾驶舱是中国大型企业和政府单位的主要需求之一,炫丽的大屏设计往往成为BI项目的神来之笔。目前市场上设计大屏的方式主要有三种:
一种是基于Echarts、HighCharts等前端可视化开发工具。它的开发效率是最慢的,需要UI支持。
二是借助BI/报表系统的固定样表功能模块实现。它的开发效率高,但少不了UI的支持。
三是BI工具产品直接提供炫酷的屏幕设计器,内置各种HTML华丽组件,提供各种UI皮肤。它的开发效率最快,更不用去找UI人员。
移动应用集成:可以无缝连接PC、手机、平板电脑等终端,Andriod、iOS和window等操作系统,并与微信、钉钉、飞书、小程序等进行集成。国外的BI工具往往缺乏与国内主流应用集成的能力。毕竟,国内的互联网产品在生态上是成熟的。
帆软移动端应用
三、自助式BI
大数据时代,业务部门对BI的需求已经从传统的看板和指标,演变为从大数据中分析和挖掘运营问题。实时、多样化的数据分析需求日益普遍,业务人员自助式BI已经成为一种趋势。但是业务人员不会开发,如何让业务人员能用、会用、好用自助式BI已经成为企业关心的问题。实现“自助”的方式有几点:
无代码化,降低上手难度:典型的例子有Tableau、PowerBI和FineBI,它们都致力于“每个人都可以做数据分析”,在无代码化和拖拽可视化的基础上,力求使用起来极其简单。
削减建模,增强灵活性:省去了技术人员闹心的数据建模、CUBE等赘环节。面对大量数据,要随时随手拖拉拽,同时保证大数据的实时性。这是BI工具追求的自助分析之道。
增强学习,提高智能性:在BI的基础上,融合人工智能推荐算法,精准推荐用户意中的图表样式;基于NLP和语音识别技术,通过搜索助手的方式快速了解用户意图,搜索并呈现用户期望的结果。通过AI让BI的使用变得简单,已经成为BI工具产品发展的新方向。不过,目前相关技术还处于初级阶段,国外先进BI工具产品已经积累出优秀的AI功能,但产品往往只会英语、不会汉语,在国内应用推广上也只能“对牛弹琴”;虽然国内极少数BI工具厂商也在积极开发AI,但仍处于研发阶段,做卖点还可以,不能摆出台面。
总之,万变不离其宗,无代码化、敏捷BI、增强学习都是为了更好实现自助分析的种种手段,能够在某个方面做到极致的BI工具产品都值得关注。
四、其他功能
1.数据填报:这也是报表系统中最常用的场景之一,主要解决财务人员、仓库人员、生产管理人员等一线业务人员的大量手工数据和台账数据填报补录的问题。
2.权限管理:数据是企业的命脉,如何做好对数据的不同细粒度管控至关重要,这考验着BI决策平台的管理能力,帆软BI就擅长这一块,国外BI与之相比就很虚羸,Tableau和Powder BI都是定位为工具型产品。
帆软BI可以设置角色权限,权限受体包括部门、角色、职务、用户
可设定权限如人员管理、目录权限、管理系统、数据连接、数据权限(数据表)、分享权限、定时调度管理权限等,权限设置粒度丰富
权限设置对象细致,可细致到组件和数据行级
数学算法:在企业内部,对数据科学和数据预测的需求逐渐增加。BI工具产品是否应该提供数据算法平台的能力,已经成为一些企业选型BI的难点。就个人而言,BI更贴合应用层需求和业务端,要具备简单基础的数学算法能力,以保证业务人员能做简单的数据预测,尤其是快消零售行业,对数学算法的需求更强。但并不是每个人都会数据分析。大规模、复杂的算法模型通常是由专门的算法工程师来完成,而BI产品在处理千万、上亿数据时容易崩溃,所以完整的数据科学能力构建在独立的算法平台上或者集成在数据平台上是一个符合实际的想法。
总的来说,变化无穷的独孤九剑也能做到万剑归心,所以我们也可以形成一套比较完整的BI评选体系。选型只是BI的开始,商业智能的普及更多依赖于运营指标体系的构建,“人人都是科学家”的目标需要“自助式分析文化”氛围的培养和熏陶。海量数据挖掘和分析仍然需要更简单的操作。“能用、会用、好用”才是BI系统建设的最终目标。
所以在BI选型过程中,除了工具产品本身,还要考虑厂商的业务方案能力、学习推广服务体系,越是顶尖的厂商,做这些也越完善,对于甲方来说,同行经验也更加丰富,总之,各得其所,软硬结合!
数据分析 BI
原创文章,作者:ItWorker,如若转载,请注明出处:https://blog.ytso.com/tech/bigdata/173097.html