在今天，几乎每家公司都在某种程度上使用数据驱动。
包括医疗保健、电信、银行、保险、零售以及教育等，主流的垂直行业务都在用数据分析来更好的理解他们的客户，以优化自己的商业和业务流程实现利润的最大化。
目前企业在进行大数据分析时，会面临两个主要挑战：
数据追踪：
从各个数据源追踪所需要的数据，从中取得相关行为和有益反馈。比如，大多数的电商企业，追踪如会员登录，注册，购买，加购物车，支付，包括移动应用上的收藏，评论以及浏览等用户活动数据都是一个挑战。
在数据与商业智能（BI）之间建立联系
获取到数据后，将它转换为BI工具兼容的类型、格式等，也是一个巨大的挑战。
因此，设计良好的数据分析技术栈非常重要。
数据分析技术栈都有什么
一个数据分析技术栈是一个工具组合，放在一起，可以将全部数据集成在一个平台上，平台提供给开发者获取可操作的报表或洞察力，给决策层提供良好的帮助。
如图所示，数据分析技术线基于三个基本步骤构建：
1、数据集成
从多个混合来源收集数据，转换成兼容数据并存储。来源包括不限于MySQL,日志，事件等，如APP点击，登录，收藏等。数据分析技术栈能够有效使用这些数据，并执行有意义的分析。
2、数据仓库
在做数据分析时，随着数据复杂性增加，需要将数据整合到同一个数据仓库。包括使用Redshit，Google BigQuery、Snowflake以及MarkLogic等平台。
3、数据分析
最后一步骤，使用可视化工具从数据仓库中加载数据，提取其中有意见的数据和模式，输出为图表、报表等直观可视化的图形。
在选择数据分析栈时，通常有两个选择，一个是专有工具，比如Google Analytics，Mixpanel，这些供应商提供了标准的配置和管理，人们的重点是项目管理，而不是技术管理。
这些工具有着一些优点，但是从成本，数据共享，隐私等存在问题，人们于是从开源产品寻找替代方案。
开源数据分析工具优势
1、成本
开源工具免费，即使是企业版本，价格也更低，可以说是物有所值。
2、灵活性
即便软件接口改变，修改起来也是方便的。
3、避免供应商锁定
锁定即垄断，即客户完全依赖供应商的产品和服务，不能迁移或迁移非常困难。
而使用开源工具，则不会。开源社区一直在持续前进，始终在最新状态，无需依赖任何组织。
4、优化的数据安全和隐私保护
虽然GDPR和CCPA等数据保护条例，但是数据泄露问题也一直发生。
使用自己的私有去或本地环境中，使用开源技术栈可以完全控制自己的数据，可以自己决定如何使用这些数据，通过它也能明确指明第三方哪些数据能够用。
小结
开源已经主流，微软，苹果以及IBM等公司也在积极推进和参与开源社区，并不断为此做着出贡献。
一起拥抱大数据开源技术栈。
作者：刚子
原创文章，作者：ItWorker，如若转载，请注明出处：https://blog.ytso.com/258182.html