开源
-
SparkStreaming整合kafka
项目架构：日志数据---->flume----->kafka-------->spark streaming---------->mysql/redis/hbase 前置条件： 安装zookeeper 安装flume 安装kafak hadoop实现高可用 (1)实现flume收集数据到kafka 启动k…
-
大数据培训后好就业吗？
大数据培训好就业吗？ 大数据的本质是从一堆杂乱无章的数据中分析出有价值的信息，能够为政府、企业、科研机构等决策提供依据。近年来，大数据行业发展势头迅猛，国家政府层面大力扶持，想转行学习大数据的人员也很…
-
大数据学习路线分享Master的jps
大数据学习路线分享Master的jps，SparkSubmit 类启动后的服务进程,用于提交任务, 哪一段启动提交任务,哪一段启动submit(Driver端) 提交任务流程 1.Driver端提交任务到Master(启动sparkSubmit进程) 2.Mas…
-
Hadoop常用的命令
hdfs dfs -mkdir -p /user/centos/hadoop hdfs dfs -ls /user hdfs dfs -ls -R /user 递归查看 hdfs dfs -help put hdfs dfs -put index.html /user/centos/hadoop上传 index.html到hadoop上 查看 hdfs dfs …
-
自动化excl学习笔记
学习excl操作 import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import java.text.DecimalFormat; import java.util.ArrayList; import java.…
-
如何组建一个合理的研发团队？
背景：不管您的公司是以产品为导向还是以项目为导向总需要一支团队去完成任务。这个团队有可能是一个研发部门，也有可能是由多个研发部门的成员混合组成，甚至有可能还包含研发部门之外的其他的组织成员，比如产品…
-
神经网络在测试抽样中的应用
1. 工具产生的背景 导航对人们的生活起着越来越重要的作用，由于公司一直在做导航产品，所以为了从深度上保证产品的质量（已经通过大量的case从广度上来保证产品质量），做为Routing…
-
遇Hadoop 50070端口打不开，如何排查？
遇Hadoop 50070端口打不开，如何排查？ Hadoop 50070是hdfs的web管理页面，在搭建Hadoop集群环境时，有些大数据开发技术人员会遇到Hadoop 50070端口打不开的情况，引起该问题的原因很多，想要解决这个问题需要从以…
-
Hadoop 50070端口打不开，该如何排查？
Hadoop 50070端口打不开，该如何排查？ Hadoop 50070是hdfs的web管理页面，在搭建Hadoop集群环境时，有些大数据开发技术人员会遇到Hadoop 50070端口打不开的情况，引起该问题的原因很多，想要解决这个问题需要从以…
-
亲自动手搭建微服务框架和测试环境-8-SpringCloud
1 EJB、Dubbo、SpringCloud对比（SOA，微服务） EJB Dubbo SpringCloud 开发方 标准由oracle开发 阿里 Spring社区 最新版本及时间 3.1，2009年 2.5.3，2012年10月23号 Finchley.SR1，2018年8月1号 维护状态 不活跃…