大数据

1、首先，先创建一个文件夹，专门用于管理xhprof cd /tmp mkdir xhprof && cd xhprof 2、安装xhprof wget http://pecl.php.net/get/xhprof-0.9.4.tgztar -xvf xhp…

MySQL创建存储offset的表格 mysql> use test mysql> create table hlw_offset( topic varchar(32), groupid varchar(50), partitions int, fromoffset bigint, untiloffset bigint, primary key(topic,groupi…

好程序员大数据学习路线之大数据自学路线二 lambda表达式 比较lambda表达式和匿名内部类： lambda表达式就是简单的匿名内部类 匿名内部类可以为任意接口创建实例，不管接口有多少抽象方法； lambda表达式只能为函数…

Yarn 集群资源管理系统 Yarn 角色及概念 •Yarn 是 Hadoop 的一个通用的资源管理系统 • Yarn 角色     – Resourcemanager     – Nodemanager    &nbsp…

某省车险每天新增保单 1-2 万，三年历史保单 2 亿条数据。跑批时要计算新增保单对应的历史保单，计算复杂、数据量大、耗时很长。点击保险行业历史保单关联业务跑批性能优化，去乾学院看看集算器如何比存储过程提速 …

discover 权限，是对Job的URL对匿名用户的权限设定的。 如果一个job对应的url ，给一个匿名用户，设定了discover权限的话，这个匿名用户将被强制重定向到登录页，登陆后，将看到这个Job 。 这个权限是比read要低的…

博文原址：折腾Java设计模式之单例模式 单例模式 Ensure a class has only one instance, and provide a global point of access to it. 一个类仅仅只有一个实例，并且提供全局的接入点。简洁点理解就是涉及到一个…

基于 ElasticSearch-6.1.2 关于文档元数据 参考官方权威指南 文档元数据 一个文档有三个必须的元数据元素： _index：表示文档存放在哪个 index 中； _type：文档表示的对象类型； _id：文档的唯一标…

最近由于业务需求，测试各种组件的高可用性。由于我们的环境在AWS 北京部署。只有两个Aviable Zone（可用区）。 注释：有两个数据中心，相互需要做容灾的需求，和本文测试的情况是相同的。 而Zookeeper需要3个以上…

文 | 吕鹏 DataPipeline架构师 进入大数据时代，实时作业有着越来越重要的地位。本文将从以下几个部分进行讲解DataPipeline在大数据平台的实时数据流实践。 一、企业级数据面临的主要问题和挑战 1.数据量不断攀升 …