开源

伴随信息时代的发展，新技术、新框架、新语言层出不穷，解决问题的技术视角其实从来没有改变。所有应用都需要和存储系统相关联，无论存储是 SQL 还是 NOSQL 的。业务系统和数据库遵循不同的开发规范，为了让开发更…

  定制化大数据平台一键安装OS 大数据平台一键安装OS系列 大数据平台一键安装OS【定制化OS镜像制作】 搭建脚本篇 脚本命名随便，只要能看懂就行 镜像包说明 os1.1.iso 用于安装服务端和客户端操作系统 hdp.iso…

层次图和HIPO图 层次图用来描述软件的层次结构。虽然层次图的形式和描绘数据结构的层次方框图相同，但是表现的内容却完全不同。层次图中的一个矩形框代表一个模块，方框间的连线表示调用关系而不像层次方框图那样表…

启动申请提交一个job(wordcount.jar和程序中的配置参数和数据切片规划文件)运行进程为runjar ResouceManager 会在一台节点NodeManager上先启动客户提交的wordcount.jar的主管进程MRAppMasster 由主管进程(MRAppMass…

鲁春利的工作笔记，谁说程序员不能有文艺范？ sbin/start-all.sh sbin/start-dfs.sh sbin/start-yarn.sh sbin/hadoop-daemon.sh sbin/hadoop-daemons.sh

本期内容： Spark Streaming资源动态分配 Spark Streaming动态控制消费速率 为什么需要动态？ Spark默认情况下粗粒度的，先分配好资源再计算。而Spark Streaming有高峰值和低峰值，但是他们需要的资源是不一样的，…

一、概念 闭包:我们把一个函数与其相关引用环境(变量)组合成一个整体叫做闭包概念晦涩难懂，下面我们用一个例子说明 二、小例子 def minusxy(x:Int) = (y:Int)=>x-y val f=minusxy(20) println("f(1)="+f(1))//1…

hi，baby~i am back！ 在上一篇博文中，我大概写了一下登录脚本的录制，没有给出源代码。但实际上，只要你 认真按顺序看下去，每一部分拼接起来，就已经是完整的代码部分了。 **今天我们来看一下参数的设置。** 任…

测试中，会遇到这样的问题。一台LR机器性能跟不上，需要多台同时测试一个场景. 这样配置多机负载测试就很方便，只需要在主LR上创建脚本，创建测试场景，从LR直接使用主LR的脚本和场景。 注：主LR和从LR必须保持正常…

makefile描述规则： target...:prerequisites... command... 其中target为目标文件，prerequisites为依赖文件，command为生成规则 “-”号： 在makefile命令前加一个减号，表示不管命令是否出错，都继续执行后面的操…