开源

作为一名合格的架构师，有些数据是必须要牢记在心的，在设计系统的时候，能够通过定量计算，预测出系统的负载，以及各个组件单元之间的协作关系，哪里是瓶颈，如何改进，都是非常重要的。在与其他团队谈协作的时候…

问题1： windows机作为master，1台linux虚拟机作为slave 不论是GUI模式运行，还是非GUI模式运行，TPS都是对的 windows机作为master，２台或者３台linux虚拟机作为slave 命令行运行数据正确，但是命令行运行出来的文…

*基本操作（单集群）：***1、创建文件夹命令[hadoop@master ~]$ hadoop fs -mkdir -p /201910212、上传文件命令[hadoop@master ~]$ hadoop fs -put test.txt /201910213、查看文件命令[hadoop@master ~]$ hadoop fs…

为什么我们生产上要选择Spark On Yarn？ 开发上我们选择local[2]模式生产上跑任务Job，我们选择Spark On Yarn模式 ， 将Spark Application部署到yarn中，有如下优点： 1.部署Application和服务更加方便 只需要yarn…

1、首先，先创建一个文件夹，专门用于管理xhprof cd /tmp mkdir xhprof && cd xhprof 2、安装xhprof wget http://pecl.php.net/get/xhprof-0.9.4.tgztar -xvf xhp…

MySQL创建存储offset的表格 mysql> use test mysql> create table hlw_offset( topic varchar(32), groupid varchar(50), partitions int, fromoffset bigint, untiloffset bigint, primary key(topic,groupi…

好程序员大数据学习路线之大数据自学路线二 lambda表达式 比较lambda表达式和匿名内部类： lambda表达式就是简单的匿名内部类 匿名内部类可以为任意接口创建实例，不管接口有多少抽象方法； lambda表达式只能为函数…

Yarn 集群资源管理系统 Yarn 角色及概念 •Yarn 是 Hadoop 的一个通用的资源管理系统 • Yarn 角色     – Resourcemanager     – Nodemanager    &nbsp…

某省车险每天新增保单 1-2 万，三年历史保单 2 亿条数据。跑批时要计算新增保单对应的历史保单，计算复杂、数据量大、耗时很长。点击保险行业历史保单关联业务跑批性能优化，去乾学院看看集算器如何比存储过程提速 …

discover 权限，是对Job的URL对匿名用户的权限设定的。 如果一个job对应的url ，给一个匿名用户，设定了discover权限的话，这个匿名用户将被强制重定向到登录页，登陆后，将看到这个Job 。 这个权限是比read要低的…