开源

1.自己设计一个并行计算框架，应该需要考虑那些问题呢？ 第一个问题是：并行计算肯定是多台计算机吗，多台计算机他们之间如何划分任务？ 这个地方总归有一个模块来分发任务，也就意味这它就是老大，它来维护任务或…

1、说明 这篇文章是在xxx基础上进行部署的，需要hadoop的相关配置和依赖等等，Spark on Yarn的模式，Spark安装配置好即可，在Yarn集群的所有节点安装并同步配置，在无需启动服务，没有master、slave之分，Spark提交…

<?php /** * 一致性哈希实现接口 * Interface ConsistentHash */ interface ConsistentHash { //将字符串转为hash值 public function cHash(string $str): int; //添加一台服务器到服务器列表中 public function…

1，环境 1）Firefox 45.0下载地址：http://ftp.mozilla.org/pub/firefox/releases 2）harexporttrigger-0.5.0-beta.10.xpi下载地址：http://www.softwareishard.com/blog/har-export-trigger/https://github.com/fi…

LR学习笔记 I.         软件测试基础 1.     软件的概念：程序与文档的结合。 2.     软件缺陷的概念：指计算机…

作者: 张皓 G7业务快览 G7主要通过在货车上的传感器感知车辆的轨迹、油耗、点熄火、载重、温度等数据，将车辆、司机、车队、货主连接到一起，优化货物运输的时效、安全、成本等痛点问题。 整个数据是通过车载的传感…

现在很多需要自己的电脑打开每个浏览器显示的IP的地址不一样，突破IP限制后去访问别的网址，上页游等等的技术。这个方法真的是傻瓜式的操作，不需要你去电脑上设置什么东西，直接使用软件一键连接即可，非常方便。…

发现用spark写表join比flink 简单很多，至少schema 可以省了，下面是一个例子 public static void main(String[] args) { SparkSession s= SparkSession.builder().appName("rec").getOrCreate(); Dataset<Row&g…

　　好程序员大数据学习路线之hive表的查询　　1.join 查询　　1、永远是小结果集驱动大结果集(小表驱动大表，小表放在左表)。 2、尽量不要使用join，但是join是难以避免的。　　left join 、 left outer join 、 l…

1、总结文本编辑工具vim的使用方法； vim是一种可视化的编辑器 有三种模式：编辑模式、插入模式、末行模式；（使用vim打开文件时默认是处于编辑模式） 模式间的转换： 编辑模式à插入模式 i   在光标所在…