今天分享一篇企业数据分析的“扫盲文”，涵盖了企业做数据分析的底层基础到战略规划，对于不了解数据分析的外行，也能一文读懂！
全文6500字，读完15分钟！
文 | 饼干君
写这篇文章来源于两个故事：
故事一：一位在互联网行业做数据库架构多年的朋友一起吃饭，问起我现在在做什么，我说自己在做医疗方面的数据分析，朋友笑，说：你有很多资源啊，只要你能拿到电子病例的数据，就能分析很多东西了……我脸上的微笑表情瞬间僵化！
故事二：当时为内蒙一个企业做上游原材料供应商的数据管理项目，当时我们拿到的只是该企业小部分供应商的数据，下一阶段计划拿到其全国供应商的相关数据给该企业进行管理支持。有一天，我们的项目负责人很兴奋，高兴地对我说：后面我们拿到所有供应商的数据后，我们做的就是“真正的大数据”了，你要考虑一下后面的大数据分析如何做啊……我脸上的微笑再一次僵化！
大家觉得以上两个故事如何？反正我当时内心是一万头羊驼奔过~~
类似的“外行人看热闹”的情况在我工作中碰到很多，很多企业老板、客户以及领导拿着数据”“画蓝图”，但对企业数据分析的理解浅薄令人难以置信，以为有了数据就是万能的，估计很多人都有同感。
所以也就萌生了写这篇文章的想法，向不了解数据分析体系建设的朋友们解释一下：数据分析到底都包括些什么？从完成数据采集到做出数据产品，到底有多远的路要走？
1.数据分析本身是一个过程
数据分析是企业的一种能力，数据分析本身是一个过程，数据分析的本质是一种思想。
企业利用这一过程将数据中的信息提取出来，进行处理、识别、加工、呈现，最后成为指导企业经营管理的知识和智慧。因而，企业利用这一过程的成熟程度，决定了企业使用数据的有效程度。
在我看来，从拿到数据到将数据中的知识提炼成人类的智慧，这是一个很长的过程，有可能一年甚至几年。
首先，想要分析数据你要获取数据。获取数据这个过程如果是线上还相对容易，如果是线下就非常复杂。
其次，得到数据之后，如何整理才能让数据变成信息，也是个“技术活”。这里涉及到数据的清洗、整理、关联等等问题。
再次，数据整理得到的信息是海量的，需要经过加工、提取、抽象等操作，提炼成为各项知识被人脑理解、吸收。这个过程就涉及到各种分析方法的使用，而且这也是个随着对业务认识的加深而逐渐复杂的过程，金融领域的风控模型、宏观经济领域的福利模型等等，都是发展多年并逐步演进的例子。
最后，人们在各个业务领域通过数据得到知识，在很多情况下可以重复应用在不同的领域，并与其他领域的知识相融合，形成新的生产生活方式。每个领域的知识内容如何相互融合，也是一个需要长期实践和探索的过程。
做个简单的比喻：
采集到的原始数据就像是一堆堆食材，没有任何整合。数据处理的过程就是挑拣菜，把每种菜都挑拣开，再通过洗切使其成为可加工和食用的食材。
每种菜在在搭配上都有讲究，比如怎么配菜，餐桌上怎么安排，冷菜，热菜、炒菜、汤品等等。我们会按照图纸（就是数据分析体系）将不同的菜品搭配。
一桌盛宴煮完后，怎么吃就要看食客们的安排了~~
那么，我们就来看看企业到底要做些什么，才能完成从数据采集到智慧积累这一过程。
2.企业数据能力层级
企业的数据分析能力层级大概可以分为这么7级：
可能有同行会对这个金字塔的层级不认同，而且大部分专家也认为这几个部分是平级关系，不存在高低关系……我这里这样列出来只是为了说明“要做到每个层级的水平，该层级以下的内容都是支撑这些层级的必要条件”而已。
2.1 基础IT系统
最底层的”基础IT系统”是一切数据分析的基础，因为它最重要的作用就是完成“数据采集”。
这里主要指的就是我们各个企业在实际生产中使用的软件系统及其配套的硬件设备，如企业各业务系统，财务管理软件，CRM系统；硬件设备诸如医院里的医学影像设备和其他传感器、探测器等，这些系统解决了我们口中的“数据采集”问题，正是因为有了这些基础的IT系统，才能将企业的所有一切数字化、可度量~~
解决了最基本的“数据采集”问题之后，是不是意味这我们就有数据了呢？
当然不是！从数据采集系统中拿到的信息有这样几个特点：割裂的、碎片化的、无序的，它们必须经过处理之后才能用于使用，因而我们需要进入到下一个阶段“数据集中管控与标准化”。
2.2 数据集中管控与标准化
在“数据集中管控与标准化”这一层级中，我们要实现的是打破数据壁垒，让数据能够正常地在企业内流动。这一阶段的工作并不只是“数据集中”和“数据标准化”两件事情，需要做的内容大概包括：
1、 数据清理
这个步骤解决的问题是将系统采集到的内容转化为人类能够理解的数据内容，主要有两个方面：一是清理原始数据，使之完整、干净无杂质；二是将采集到的一些非结构化数据、编码信息转化为人能看懂的文字、数字等数据。
2、 数据逻辑和数据结构的搭建
每个系统中的数据描述的都只是企业业务流程中的一部分，因此梳理业务流程，按照业务流程找到各个系统之间数据的衔接点，从而实现多领域数据的关联。
第一步，根据业务逻辑，需要将数据分别划分为多少类？每一类的字段、纬度、统计周期等都是什么样的？每一类数据需要多少层汇总？……这些问题首先将数据从采集的清单分离出来，成为一个个数据体系；
第二步，在考虑数据关联逻辑方面，需要考虑三个方面：
1） 关联使用的“主键”需要在各个系统中实现统一，即在各个相关的系统中，对于同一内容的同一主键是相同的，例如：在电信系统中，用户ID是个在所有相关系统中可以唯一标识用户的主键，而非手机号码；
2） 各个系统中数据的时间颗粒度统一才能保证主键关联的有效使用，例如表格A是每日最新数据，表格B是每日数据，则使用时就要在时间上进行限制：表格A中的日期=表格B中最大日期，而且这种情况下，要想查询A表中的历史数据就无法查到；
3） 各类数据在业务上存在相互制约、相互影响的关系，这种关系也要在多系统的数据关联中体现出来，例如营销活动中的活动商品数量受到库存商品数量的限制，在营销活动执行过程中，每增加一单活动商品销售量，库存商品数就要进行相应的减少，若不做相应的触发变更，多系统数据融合也会意义大减。
2.3 数据报表与可视化
解决了数据关联和标准化的问题之后，我们下一步要解决的问题是：如何能让大家看到数据？
最简单直接的方法是“数据报表”。对，就是按照日常业务使用习惯，构建各种表格，在表格中填写大量的数据。有的企业是手工制作报表，有的企业使用报表制作报表，有的企业则进入到了数据分析可视化阶段，通过BI等分析工具下放数据分析的权利，帮助业务快速取数快速出报表，甚至自主的做一些分析。
由报表工具FineReport制作
从“基础IT系统”到“数据报表及可视化”，前三个层级从某些方面而言，都是完成数据分析和数据应用工作的基础。对于一个企业来说，完成这三个层级的方式可以是手工形式的，也可以是本地系统化的，更可以是云端化的，但是无论如何只有在一定程度上具备了上述三个层级的能力，才能说企业具有了使用数据指导运营、决策、管理等进行数据应用的基础。
2.4 产品及运营分析
在我的理解中，所有的分析都是从日常的业务分析中开始的，因为笔者主要从事互联网行业，且互联网企业也是数据分析走在最前沿的，所以从此层级开始，产品与运营分析、精细化运营以及数据产品都是互联网企业数据分析典型的，至于传统行业，可以参考着看。
互联网企业的数据分析最先是从产品和运营分析开始的，这一层级的主要作用有3个：
1、解决日常运营和监控需求；
2、深入分析用户、市场、产品；
3、以分析结果指导产品和运营工作。
产品和运营分析，首先要满足的就是日常数据的监控：高了？低了？为什么高？为什么低？数据的变动能否说明我们的产品和运营在往好的方向变化？如果变化是好的，我们如何继续保持？如果是不好的，那是什么原因造成的？如何改正？——这些是日常数据监控过程中，业务人员最常问的一些问题，解决这些问题是日常分析报告最主要的工作。
其次，当日常分析已经成为例行工作的一部分之后，企业的产品和业务人员就会发现简单的日常分析无法解释很多复杂的现象和问题，这就需要对用户、产品、渠道、市场、需求等等方面进行深入的分析和研究。在这个过程中，很多针对具体业务情况的分析专题和数据模型应运而生，这些专题和模型帮助企业更好地认识我们的市场，扑捉客户和潜在的商机。这其中最具代表性的例子就是“用户画像”。
2.5 精细化运营
在“产品和运营分析”层级中积累的分析思路和分析方法，大多是分散的、点状的。在“精细化运营”这一层级，所有的分析不再相互孤立，而是更多地以一个实际业务场景为基础，在该业务场景下从“如何感知识别”，到“如何筛选用户”，再到“如何营销配合”，从而实现该场景下全部过程的统筹管理。
基于不同产品阶段、不同用户处于的不同生命旅程节点，建立用户画像和会员体系。每个用户画像、会员体系，都需要有针对性地设计个性化、差异化的运营策略。每个运营策略，需要大量运营活动来支撑。运营人员需要明确，每个运营活动支撑的是什么策略，需要通过哪些用户触点，实现效果最大化。后续，跟踪这些触点的效果回到底层数据。而数据，是搭建完善的用户画像和会员体系的基础，反哺运营策略，形成一个完整的数据驱动运营闭环。当然，这一流程不能是靠手工来完成，一定是自动化的，人只是这一流程中起决策作用的节点而已。
更有甚者，将多个业务场景下的数据驱动过程进行组合，就形成了诸如“用户生命周期管理”、“会员运营体系”这样的数据应用集合（我这里暂且把它们成为数据应用集合，其实这些内容每个都可以形成一个单独的数据应用产品）。
如果企业中每个领域都能建设起来多个数据应用集合，那么这些集合就基本能够支撑其企业的主要运行管理工作。
2.6 数据产品
数据产品是企业数据能力建设的进化产物，是企业将内部数据价值变现的众多方式中的一种。
实体行业的数据产品很多时候是因为企业内部的数据能力成长到一定阶段，企业某些内部数据及分析方法已经具备了独立变现的条件，因而被企业单独拿出来作为一类产品提供到市场，从而形成我们所理解的数据产品。当然实体行业中出现的数据产品实例并不多。
在狭义的范畴里，从使用用户来看，可以是企业内部用户，外部企业客户，外部个人客户等。从产品发展形态来看，从最初的报表型（如静态报表、DashBoard、即席查询），到多维分析型（OLAP等工具型数据产品），到定制服务型数据产品，再到智能型数据产品、使能型数据产品等。
智能型数据产品则会更多的将大数据的智能性融入产品，并与决策逻辑结合起来，发挥作用。比如，你可以有一套传统的会员营销系统，允许你按自己的规则筛选目标用户；而也可以在更智能的数据产品中这样来实现：输入你的营销目标及参数，比如要开展双十一母婴市场的促销活动，系统可以基于以往海量数据计算出应该选择什么品类的商品，在什么用户群中，以什么形式开展活动效果会更佳。
但是无论哪种产品形式，都必然离不开适当的商务模式，而必要的商务模式也是保证数据市场安全、高效运转的必备条件。
我接触的很多实体行业中的企业，有些可能刚刚完成数据采集和数据中心的建设工作，有些则连数据采集问题都没有解决。但是我在接触这些公司的企业负责人时，每个人都雄心勃勃地说自己的企业要在未来的一两年内做出数据产品，完成数据价值的变现~~而当我问到：您知不知道从贵公司现在的数据情况做到数据产品，需要走过多少阶段从而支撑您做成数据产品吗？对方的回答也出奇地相似：所以我们需要找一个懂这方面的人来啊……！
emm…
3.传统企业数字化
最后金字塔的顶层，数战略，就再来闲聊几句数字化。
数字化转型这个概念这两年很火，个人认为这就和当年大数据这个概念出来时一样，内行人看还是有点大有点虚，映射到直接落地不知道要多少年时间。相对接地气的概念就是数据化管理，也是当下很多企业正在实施的措施。
诸如企业的财务、销售、市场等业务自身就带有强烈的数据分析需求，领导也厌倦了查看一沓沓报表，更希望看到结论化的数据。如果说运用到个人或是某一个问题的叫数据分析，那么投入到企业的业务层面用于辅助管理产生效益的则可称为数据化管理。
回顾若干年前，企业做信息化总结起来就是实施ERP系统，财务系统，人力资源系统，客户关系管理（CRM）系统等等。这些信息化的项目有一个共同特点，就是把企业的组织架构，业务流程，运营模式等通过软件系统的形式固化下来，这样企业相关的员工，物料，设备，资金等要素就围绕固化好的软件系统运转。如果企业管理人员发现现有软件系统不适用现在的业务，就会实施流程变革等措施来优化现有的软件系统，所以信息化更多的是支持业务。
企业实施信息化后，企业相关的人，物料，设备，资金等要素就围绕固化好的软件系统运转，但是这些要素在企业日常运营过程中实际运行情况是怎样的，企业并不十分清楚，企业并没有一个系统能实时抓取并可视化企业日常运营全景，比如客户购买企业的产品和服务后的使用情况、市场的变化情况、工厂流水线的运行情况、供应链的运转情况等。如果需要这些数据，大都需要通过人力来统计，做各种报表，费时费力，且不一定能保证数据的准确行。
数字（据）化就是要通过收集企业日常运营的数据，客户使用产品服务的数据，市场行业，趋势等等数据，形成企业日常运营的全景图，反映到产品研发、服务流程改善、精准营销、销售模式升级、优化库存等业务的改进上来。
第一阶段：数据连接、采集、整理
数据是数字化的基础，数字化转型的第一步往往都是先进行数据连接。要分析什么业务，分析的指标有哪些，需要的数据有哪些，当下已有哪些数据，哪些数据不足需要定向收集。
比如：
生产可以通过传感器等设备收集生产环节的数据。
库存可用过扫码等手段来收集，以及后续物流运输数据。
销售可以通过改进业务流程，设置数据采集环节来收集数据。
营销可以通过网站的埋点来收集用户的行为数据。
……
数据采集的成本比较高，而且往往大动干戈。建议先做好数字化路线和场景的规划，尽量自顶而下推导到底需要哪些数据及其采集技术，往往数据采集的难点不在于技术层面，而在于业务层面的推动。
采集到数据还只是第一步，后续需要有大量的工作保证数据质量，数据有问题分析再严谨都是空谈。建议在数字化规划阶段，需要对全数据链路进行详细设计，争取做到几个要点：
①多个系统相联通，至少保证同一种数据在不同系统中是一致的；
②通过数据链路设计使得相邻环节的数据可相互校验；
③数据质量需融入日常运营管理流程。
然后是数据整合。采集到的数据往往都分布在各业务系统内，但后续分析的时候往往会涉及多种业务的数据，比如财务+销售，所以系统之间的数据壁垒要打通，避免数据孤岛。
系统来看，就是从数据分析出发，向上要保证数据口径的统一，避免数据对不上。向下要以分析为目的来搭建数仓和数据中心，让数据整合—数据清洗—数据分析—可视化都在一个平台上进行。
在这个过程通常需要借助BI平台、数仓来搭建。
第二阶段：数据分析与可视化
数据连接完成后，下一步是基于业务需求分析和可视化展示。分析分为历史和当下数据按指标、业务归类展示，生成报表、可视化报告。涉及到具体问题比方说找到带来80%营收的20%家优质代理商，则需要数据挖掘技术来追踪定位。
数字化成熟到一定程度，各个业务都应该有相应的可视化模块，运用商务智能BI系统或制造智能MI系统，这是企业实现数字可视化的重要工具。
最后，就扯到这吧因本人水平有限，文中所说的很多观点可能更多针对的是实体行业内部结构化数据的理解范畴，若与各位读者有观点不一致的地方，欢迎大家评论指出~~文中部分观点借鉴了很多行业内大神的思想。
数据分析BI
原创文章，作者：奋斗，如若转载，请注明出处：https://blog.ytso.com/tech/bigdata/173458.html