开源
-
Hadoop常用的操作命令(2)
Hadoop常用的操作命令 列出目录清单 [root@centos67 ~]# hdfs dfs -ls / 递归列出目录清单 [root@centos67 ~]# hdfs dfs -lsr / 创建目录 [root@centos67 …
-
太平洋保险家园大数据项目DSG应用（30多个Oracle等实时同步到KAFKA）
太平洋保险集团“家园项目”大数据平台DSG应用（oracle&kafka） 项目背景根据太平洋保险集团的IT建设规划，在2017年年底，需要完成“一个太保，共同的家园”项目（简称家园项目），旨在给客户提供更加便携、全面的…
-
IPFS打破传统经济流通特性
一、传统中心化企业的特点与弊端我国古代的社会体系是典型的中心化组织，以皇帝为权力中心，统治全国，一切经济、政治、文化等活动都要以此为基础，才算合法合规。“溥天之下，莫非王土；率土之滨，莫非王臣”这句话…
-
为什么我从 Git Flow 开发模式切换到了 Trunk Based 开发模式？
我已经使用 Git Flow 构建我的 Git 分支有几年了。但是，我遇到了 Git Flow 的一些问题，其中大部分来自长期存在的分支。解决这些问题的方案就是 Trunk Based Development。这是一个非常简单的技术，也是有效的持续…
-
7.spark core之数据分区
简介 spark一个最重要的特性就是对数据集在各个节点的分区进行控制。控制数据分布可以减少网络开销，极大地提升整体性能。 只有Pair RDD才有分区，非Pair RDD分区的值是None。如果RDD只被扫描一次，没必要预先…
-
卸载CDH5.10.0
集群中每个节点都要执行： 停止服务 service cloudera-scm-server stop service cloudera-scm-agent stop 卸载安装包 yum remove -y cloudera* yum clean all 或者： for f in `rpm -qa | grep cl…
-
如何设计实时数据平台（设计篇）
导读：本文将会分上下两篇对一个重要且常见的大数据基础设施平台展开讨论，即“实时数据平台”。在上篇设计篇中，我们首先从两个维度介绍实时数据平台：从现代数仓架构角度看待实时数据平台，从典型数据处理角度看待…
-
testNg 关闭浏览器异常解决办法
执行testNg关闭浏览器方法一直报错，报错信息如下：Process refused to die after 10 seconds, and couldn't taskkill it 引起该问题的原因是windows 系统文件taskkill.exe无法执行，可检查系统环境变量。 解决办法…
-
测试报告模板范例
1. 简介 1.1 编写目的 本文档用于记录测试过程，总结各轮次的测试情况，分析测试数据，归纳测试工作进行过程中暴露的问题与遗留的风险，给出相应的测试建议以供后续项目参考。 1.2 项目背景 xx需要…
-
大规模微服务实战经验
作者 | 李林锋 《Netty 进阶之路》、《分布式服务框架原理与实践》作者李林锋分享大规模业务团队实施微服务的经验和教训。 引言——背景 对于一些复杂的业务系统(例如CRM)进行服务化改造，涉及到多个业务团队的配合和…