大数据
-
Spark Streaming 实现数据实时统计案例
Spark 是一个基于内存式的分布式计算框架。具有高性能,高效可扩展,容错等优点。 今天讲解一下spark的流计算,其实它也不完全是实时的流计算,算是一种准实时的流计算。 上图讲解 运行环境:需要linux环境下的spark…
-
8、Yarn资源调度系统架构与原理分析
@[TOC] 1、Yarn介绍 Apache Hadoop YARN 是 apache Software Foundation Hadoop的子项目,为分离Hadoop2.0资源管理和计算组件而引入。YARN的诞生缘于存储于HDFS的数据需要更多的交互模式,不单单…
-
VMware几种网络连接方式对比
主机:自动获取ip地址、无线网络连接 一、NAT网络地址转换方式:1、虚拟机ping百度:通2、虚拟机ping主机:通3、主机ping虚拟机:通4、通过主机访问虚拟机站点:可以5、虚拟机ip:192.168.40.1286、主机ip:192.168…
-
【自动化测试技术QTP基础系列四】---深入探讨录制回放原理
下面简单说说自己对QTP录制回放原理的理解 QTP录制的是鼠标和键盘的消息。QTP在录制时监听应用程序的消息,监听到之后把消息放到容器里,而另外的监听程序则从容器中取出容器中的消息,并调用对用的API处理函数。QT…
-
修改Linux Mysql字符编码
修改MySQL字符编码 1.登录数据库,查看数据库字符编码表 (SHOW VARIABLES LIKE 'character%';)2.退出数据库,修改mysql配置文件,改变数据库字符编码 (vi /etc/my.cnf)4.进入配置文件后增加如下代码,然后保存…
-
loadrunner 12.02 录制手机app脚本
1.用手机连接电脑的360wifi,配置手机wifi连接的HTTP代理地址和端口,代理地址(服务器)为电脑的ip地址,端口可以写1-65535,建议使用不常用的端口,如:9898。 2.打开loadrunner脚本编辑器,选择录制协议为HTTP协…
-
关于大数据,看这篇文章就够了(附整理XMIND)
附件:http://down.51cto.com/data/2367322
-
kafka为什么那个快?
kafka是一个高吞吐速度的消息中间件,可以部署在廉价的主机上。 速度快的原因有两个: 1.从写数据方面:写入的数据按顺序写入到磁盘;memory mapped files 磁盘读写的快慢取决于你怎么使用它,写入的时候可以选择顺序…
-
mapreduce,整合数据字典表
这个坑踩了好长。结果却是map方法中的context写错位置,导致错误。 源数据内容。就是想数据表中的第二列替换成字典表中的第二列。即字典表中的红色,换成字典表的蓝色。 //数据表data.txt //one 1 &n…
-
TDSCDMA Layer1的midamble allocation学习
主要有两种midamble,default midamble 和common midamble。 首先说一下common midamble,对于common midamble的使用是通过高层对物理信道配置的过程中给UE发送信令中发送了common mid…