大数据

鲁春利的工作笔记，谁说程序员不能有文艺范？ sbin/start-all.sh sbin/start-dfs.sh sbin/start-yarn.sh sbin/hadoop-daemon.sh sbin/hadoop-daemons.sh

本期内容： Spark Streaming资源动态分配 Spark Streaming动态控制消费速率 为什么需要动态？ Spark默认情况下粗粒度的，先分配好资源再计算。而Spark Streaming有高峰值和低峰值，但是他们需要的资源是不一样的，…

一、概念 闭包:我们把一个函数与其相关引用环境(变量)组合成一个整体叫做闭包概念晦涩难懂，下面我们用一个例子说明 二、小例子 def minusxy(x:Int) = (y:Int)=>x-y val f=minusxy(20) println("f(1)="+f(1))//1…

hi，baby~i am back！ 在上一篇博文中，我大概写了一下登录脚本的录制，没有给出源代码。但实际上，只要你 认真按顺序看下去，每一部分拼接起来，就已经是完整的代码部分了。 **今天我们来看一下参数的设置。** 任…

测试中，会遇到这样的问题。一台LR机器性能跟不上，需要多台同时测试一个场景. 这样配置多机负载测试就很方便，只需要在主LR上创建脚本，创建测试场景，从LR直接使用主LR的脚本和场景。 注：主LR和从LR必须保持正常…

makefile描述规则： target...:prerequisites... command... 其中target为目标文件，prerequisites为依赖文件，command为生成规则 “-”号： 在makefile命令前加一个减号，表示不管命令是否出错，都继续执行后面的操…

刚开始接触，不太熟悉，做个小纪录，以后修正生成公钥和私钥ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa   将公钥导入  authorized_keys文件 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys正常…

你可以从http://docs.seleniumhq.org/获取很多信息。

SQL 虽然有集合概念，但对于集合运算、特别是有序集合运算，提供的支持却很有限，经常要采用很费解的思路才能完成，计算效率也不佳。而集算器 SPL 在方面则要直观许多，可以按自然思维习惯写出运算。这里对 SQL 和…

前言： Linux系统里，个人觉得最大的不方便之一就是没有回收站的概念。rm -rf很容易造成极大的损失。而在Hadoop或者说HDFS里面，有trash(回收站)的概念，可以使得数据被误删以后，还可以找回来。 Hadoop里的trash选…