开源
-
Hadoop--1.环境准备
1.内存要求大于2G 低于2G在分析数据是会卡屏。 2.修改主机名：master、slave 3.配置hostname 所有的机器都要配置hosts 192.168.0.2 master 192.168.0.3 slave ..... 4.关闭selinux [root@master ~]# vim /etc/selin…
-
pycharm引入django
在mac上已经安装django，依赖于python3.6.0，在pycharm上的file-->default setting中也已经调整project interpreter为3.6.0，import django相关模块时依然提示无法找到第三方模块 调整以下两个配置，重启pycharm…
-
kafka中丢数据可能性探讨和kafka为什么高吞吐量
2019/2/22 星期五 在kafka中为什么高吞吐量是他的优点 见下4点优点 1、创建一个topic时，同时可以指定分区数目，分区数越多，其吞吐量也越大，但是需要的资源也越多，同时也会导致更高的不可用性，kafka在接收到生…
-
LoadRunner中截取字符串中的字符
Action { char * name; char * passwrod; name = "ABCDEFGH"; passwrod = name + 3; //从name的第3个字符后开始取值 lr_ouput_mess…
-
Redis 集群 lua 实现
二话不说,直接上货.多多交流哈,谢谢各路大神..重点就是下面这段: Object object = redisTemplate.execute(redisUpdateOrderScript, //这里有key 要像官网说的那样加个"{}",不然就报错了,这里3个key都要前缀一致 Arr…
-
namenode gc故障及解决办法记录
问题：WARN org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager: Waited 19016 ms (timeout=20000 ms) for a response for sendEdits. Succeeded so far: [10.80.248.17:8486] namenode gc overhead lim…
-
spark开发环境安装配置
在window上安装spark开发环境， 1，安装java http://www.oracle.com/technetwork/java/javase/downloads/index.html 配置环境变量 2,安装scala http://www.scala-lang.org/ 配置环境变量 3,安装idea https://www.je…
-
HDFS 实验 (三) hadoop节点配置
vi /etc/hosts 添加节点dns信息 192.168.209.157 node1 192.168.209.158 node2 192.168.209.159 node3 vi /etc/profile 添加运行目录 export HADOOP_HOME=/home/hadoop/hadoop-3.1.0 exportPATH=$PATH:$HADOOP_HOME…
-
cassandra-stress 压测使用介绍
Cassandra从很早的版本就自带了cassandra-stress压力测试工具，它的使用方法在cassandra-stress后添加命令和选项。其中常用的命令一般只用到：write、read、mixed、user。其中单纯的write和read只测试读和写，mixed…
-
大数据技术扫盲，你必须会的这些点
虽说人生没有白走的路，新的一年来到，会的还是原来的知识，人的身价就摆在那里，无论怎么折腾，也不会拿到更好的offer。所以在年轻还有拼劲的时候多学学知识，寻找自身的不足，查漏补缺非常重要。**今天小编给大家…