大数据
-
Redis 集群 lua 实现
二话不说,直接上货.多多交流哈,谢谢各路大神..重点就是下面这段: Object object = redisTemplate.execute(redisUpdateOrderScript, //这里有key 要像官网说的那样加个"{}",不然就报错了,这里3个key都要前缀一致 Arr…
-
namenode gc故障及解决办法记录
问题:WARN org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager: Waited 19016 ms (timeout=20000 ms) for a response for sendEdits. Succeeded so far: [10.80.248.17:8486] namenode gc overhead lim…
-
spark开发环境安装配置
在window上安装spark开发环境, 1,安装java http://www.oracle.com/technetwork/java/javase/downloads/index.html 配置环境变量 2,安装scala http://www.scala-lang.org/ 配置环境变量 3,安装idea https://www.je…
-
HDFS 实验 (三) hadoop节点配置
vi /etc/hosts 添加节点dns信息 192.168.209.157 node1 192.168.209.158 node2 192.168.209.159 node3 vi /etc/profile 添加运行目录 export HADOOP_HOME=/home/hadoop/hadoop-3.1.0 exportPATH=$PATH:$HADOOP_HOME…
-
cassandra-stress 压测使用介绍
Cassandra从很早的版本就自带了cassandra-stress压力测试工具,它的使用方法在cassandra-stress后添加命令和选项。其中常用的命令一般只用到:write、read、mixed、user。其中单纯的write和read只测试读和写,mixed…
-
大数据技术扫盲,你必须会的这些点
虽说人生没有白走的路,新的一年来到,会的还是原来的知识,人的身价就摆在那里,无论怎么折腾,也不会拿到更好的offer。所以在年轻还有拼劲的时候多学学知识,寻找自身的不足,查漏补缺非常重要。**今天小编给大家…
-
09_02_磁盘及文件系统管理详解之五
分区 —> 创建文件系统(格式化) 文件系统管理 重新创建文件系统会损坏原有文件 fdisk /dev/sda 在里面删不掉,按ctrl+Backspace即可 partprobe /dev/sda 只探测这一个 mkfs: make file system  …
-
Jmeter-发送JDBC请求
下午花了两个小时研究了一下Jmeter发送JDBC请求,现在把基本操作流程分享一下。 做JDBC请求,首先需要两个jar包:mysql驱动-mysql-connector-java-5.1.13-bin.jar 和 sqlServer驱动-sqljdbc4.jar,将这两个jar…
-
软件测试的类型和方法
软件测试的类型和方法
-
SparkSQL 初步应用(HiveContext使用)
折腾了一天,终于解决了上节中result3的错误。至于为什么会产生这个错误,这里,先卖个关子,先看看这个问题是如何发现的: 首先,找到了这篇文章:http://apache-spark-user-list.1001560.n3.nabble.com/SparkSQL-…