随笔记录
-
大数据-数据仓库建模
为什么要数据仓库建模 数据模型是数据组织和存储方法，它强调从业务、数据存取和使用角度合理存储数据。有了适合业务和基础数据存储环境的模型，那么大数据就能获得以下好处： 性能：良好的数据模型能帮助我们快速…
-
数据采集方案初探
问题用户浏览网站、App或者小程序的基础行为（浏览、点击、搜索与收藏等）数据怎么采集？会话粒度的数据怎么获取？ 埋点与无埋点采集？ 背景数据采集是整个数据分析的前奏，直接关系到后续数据展现的准确性。本文聚…
-
nginx 中 fastcgi_pass配置为unix:/tmp/php-fpm.sock与127.0.0.1:9000区别
nginx中的 fastcgi_pass为什么有时候是unix:/tmp/php-fpm.sock，有时候是127.0.0.1:9000 这牵扯到了nginx和php的通信模式，上面所列的就是这两种，一种是利用系统本身socket的，一种是利用tcp协议的 两种协议有区别…
-
502 Bad Gateway nginx
使用 httpclient 工具通过代理服务器请求第三方http 接口，多次返回 502 Bad Getway，少数返回正常。 502 Bad Getway是什么意思？ 502 Bad Gateway是指错误网关，无效网关；在互联网中表示一种网络错误。表现在WEB…
-
如何建设数据仓库？
一、什么是数据仓库？ 其实很多企业做数据仓库的时候，都忽略了数仓与BI、数据库的差异，只去搞底层数据，不去做数据服务和应用，其实就是把数据仓库给狭义化了。 其实数据仓库可以看成是BI的基础版本、数据库的升…
-
大数据架构之端到端方案综述（1）数据采集
序言：为便于初学者，对大数据的端到端架构有一个整体认知。我站在售前解决方案角度，整理和汇总了从数据采集、数据分析、数据存储再到数据治理等多方面内容。希望大家在读完本篇内容之后，可以有所学，有所得。（…
-
最全数据仓库建设指南
数据仓库（Data Warehouse）是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。这个概念最早由数据仓库之父比尔·恩门（Bill Inmon）于1990年在《建立数据仓库》一书中提出，近年来…
-
数据仓库架构和建设方法论
1.数据仓库概要 1.1.数据仓库起因 在建设数据仓库之前，数据散落在企业各部门应用的数据存储中，它们之间有着复杂的业务连接关系，从整体上看就如一张巨大的蜘蛛网：结构上错综复杂，却又四通八达。在企业级数据应…
-
浅谈数据仓库建设中的数据建模方法
为什么要数据仓库建模 数据模型是数据组织和存储方法，它强调从业务、数据存取和使用角度合理存储数据。有了适合业务和基础数据存储环境的模型，那么大数据就能获得以下好处： 性能：良好的数据模型能帮助我们快速…
-
数据仓库常见建模方法与建模实例演示
1.数据仓库建模的目的？ 为什么要进行数据仓库建模？大数据的数仓建模是通过建模的方法更好的组织、存储数据，以便在 性能、成本、效率和数据质量之间找到最佳平衡点。一般主要从下面四点考虑 访问性能：能够快速查…
