大数据
-
部署HDFS
HDFS存放副本时会优先在同一个数据节点备份一份,然后在不同的虚拟机架上备份 namenode的HA是靠主备方式保证的,自动切换时要用到zookeeper,手动切换可以通过命令,备节点可以在数据节点上,一套HDFS-HA最少需要3…
-
ERP系统生产委外管理,内外无缝连接
信息化时代,一切都被大数据包围,机会稍纵即逝,行动分秒必争,联合才能致胜!前段时间燃爆朋友圈的《红海行动》,上映4天票房就高达40亿人民币,将“海上蛟龙,陆地猛虎,空中雄鹰,反恐精英”美誉的“蛟龙突击队”霸…
-
一次由日志引发的严重性能问题的排查过程
一 现象描述 新系统上线后运行正常,但突然有一天客户反馈登录出现很慢的情况。那就先重现客户的问题,在测试环境,单笔测试系统登录发现响应时间在100ms以内,数据上看还是不错的。但并发测试,结果竟然大…
-
Hadoop 系列(四)—— Hadoop 开发环境搭建
一、前置条件 Hadoop 的运行依赖 JDK,需要预先安装,安装步骤见: Linux 下 JDK 的安装 二、配置免密登录 Hadoop 组件之间需要基于 SSH 进行通讯。 2.1 配置映射 配置 ip 地址和主机名映射: vim /etc/hosts # 文…
-
Delphi 设置系统默认打印机
获取默认打印机名: function TForm1.GetDefaultPrinterName: string; var iSize: Integer; sIniFile, sSection, sKeyName: PChar; begin iSiz…
-
数据分析_DIKW与数据工程
DIKW体系 DIKW体系是关于数据、信息、知识及智慧的体系,可以追溯至托马斯·斯特尔那斯·艾略特所写的诗--《岩石》。在首段,他写道:“我们在哪里丢失了知识中的智慧?又在哪里丢失了信息中的知识?”(Where is the w…
-
0006-Zookeeper指标分析
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 1. 问题描述 通过CDH管理平台,进入Zookeeper管理界面,Zookeeper的平均请求延迟、最小请求延迟、最大请求延迟指标趋势图维持不变,指标数据异常…
-
Ubuntu系统搭建单机Spark注意事项
对于Spark而言,如果大家只是想摸一下、熟悉熟悉而已,可以搭建单机的Spark,大致步骤如下(我使用VMWare下的Ubuntu 14.04,暂不考虑安全问题,在root下运行): 1、安装Ubuntu 14.04,注意装好后需要…
-
10亿数据量的即席查询 spark 和 kylin的对比
数据量大约在10亿+,需要做一个即席查询,用户可以主动输入搜索条件,如时间。可提供一定的预处理时间。每天还有新数据加入。 10亿+的数据对于普通的rdbms还是有…
-
使用Jmeter在linux环境实现分布式负载
分布式意义:在使用Jmeter进行性能测试时,如果并发数比较大(比如最近项目需要支持1000并发),单台电脑的配置(CPU和内存)可能无法支持,这时可以使用Jmeter提供的分布式测试的功能 一、Jmeter分布式执行原理 Jmeter…