随笔记录
-
爱奇艺数据仓库平台和服务建设实践
首先介绍一下爱奇艺公司整体的业务情况以及数据仓库1.0的设计和出现的问题，针对数仓1.0的缺陷，是如何演进到数仓2.0架构以及数仓2.0需要解决的问题和需要达成的目标。 这张图非常清晰的展示了爱奇艺的产品矩阵，早…
-
数仓入门基础-1-漫谈数仓
数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的…
-
大数据项目之电商数仓（电商数据仓库系统）
写SQL的规律第 1 章 数仓分层1.1 为什么要分层1.2 数据集市与数据仓库概念1.3 数仓命名规范1.3.1 表命名1.3.2 脚本命名第 2 章 数仓理论2.1 范式理论2.1.1 范式概念2.1.2 函数依赖2.1.3 三范式区分2.2 关系建模与维…
-
数据仓库架构及数据模型介绍
数据仓库体系和数据模型介绍 一、 数据仓库基础架构 做大数据分析，建立大数据分析体系，首先需要对源数据进行采集，经过一定的整理，转换成统一规范和量纲之后，得到统一的、规范的数据后才得以进行大数据分析，也…
-
某电商公司数据仓库项目
一、项目背景 公司是一家以女装销售及网红孵化为主的大型电商公司，一年的GMV大约在30亿左右。公司的数据存在多个业务系统(ERP、WMS、SCM、OA)中，由于数据比较大而且分散，收集和分析都比较困难。因此想搭建基于ha…
-
数据处理层中数据仓库的建设
本文将重点探讨数据处理层中数据仓库的建设。早期的数据服务中存在不少问题，虽然在做运营Dashboard系统时，对后台数据服务进行了梳理，构建了数据处理的底层公共库等，但是仍然存在一些问题： 1.中间数据流失，计…
-
什么是数据仓库？
一、什么是数据仓库？ 其实很多企业做数据仓库的时候，都忽略了数仓与BI、数据库的差异，只去搞底层数据，不去做数据服务和应用，其实就是把数据仓库给狭义化了。 其实数据仓库可以看成是BI的基础版本、数据库的升…
-
数据仓库建设方案详细：数据平台建设
数据仓库建设方案详细：数据平台建设 第2章 大数据平台2.1 大数据平台基础架构 大数据基础平台基于烽火自主知识产权FitData产品，FitData主要集成了基础计算资源、网络资源、存储资源，在统一的安全体管理体系下，…
-
数据仓库建设之总方案
商务智能（Business Intelligence）用于支持制定业务决策的技能、流程、技术、应用和实践。核心是通过数据提取、整理、分析，最终通过分析结果制定有关策略、规划，帮助企业了解新的趋势、抓住新的市场机会、发现潜…
-
电子商务中的数据仓库技术
电子商务中的数据仓库技术Data Warehousing for E-BusinessW.H. Inmon 1 电子商务的基于和挑战ERP CRM EAI，数据仓库工程 挑战：数据量、数据周转速度和多样性 电子商务通道：B2B B2C B2E（企业-员工）第一代CRM侧…
