大数据
-
portal开发与配置技巧集锦(一)
1.1如何为自己留下进入管理界面的后门 1.1.1 问题描述 在主题与皮肤开发的过程中,不小心删除了“管理”链接,无法再进入到Portal管理界面。这个问题其实挺严重的,如果不进入Portal管理界面,就无法卸载…
-
python自动化测试开发利器sublime环境搭建实战
百度搜索:小强测试品牌 感觉文章不错,记得转发一下哈 引子 用代码有一个好用的ide是非常重要,有的人总是去鄙视工具,我觉得完全是三观不正。其实工具本身并没有错,错的是用工具的人,所以请不要鄙视工具,不然…
-
性能测试需要掌握的技能
1. 精通性能测试的基本概念,过程,方法论,了解性能工程; 2. 精通1个商业性能测试工具+1个开源性能测试工具,知道工具可以做什么,不可以做什么,以及工具使用中常见的问题和解决思路; 3. 扎实的计算机专业基础知…
-
分布式系统实战
导语:记得在自己大学毕业的2006年到之后近五年的工作里,源于工作经历和有限的视野,几乎对“分布式系统”没有任何概念。当然,彼时的互联网/移动互联网还未对我们的生活呈覆盖颠覆之势,很多网络应用采用传统的集中…
-
总线锁定与一致性缓存
总线锁定和缓存一致性 这是两个操作系统层面的概念。随着多核时代的到来,并发操作已经成了很正常的现象,操作系统必须要有一些机制和原语,以保证某些基本操作的原子性,比如处理器需要保证读一个字节或写一个字节…
-
入门教程 | 5分钟从零构建第一个 Flink 应用
本文转载自 Jark’s Blog ,作者伍翀(云邪),Apache Flink Committer,阿里巴巴高级开发工程师。本文将从开发环境准备、创建 Maven 项目,编写 Flink 程序、运行程序等方面讲述如何迅速搭建第一个 Flink 应用。在…
-
SparkStreaming整合kafka
项目架构:日志数据---->flume----->kafka-------->spark streaming---------->mysql/redis/hbase 前置条件: 安装zookeeper 安装flume 安装kafak hadoop实现高可用 (1)实现flume收集数据到kafka 启动k…
-
大数据培训后好就业吗?
大数据培训好就业吗? 大数据的本质是从一堆杂乱无章的数据中分析出有价值的信息,能够为政府、企业、科研机构等决策提供依据。近年来,大数据行业发展势头迅猛,国家政府层面大力扶持,想转行学习大数据的人员也很…
-
大数据学习路线分享Master的jps
大数据学习路线分享Master的jps,SparkSubmit 类启动后的服务进程,用于提交任务, 哪一段启动提交任务,哪一段启动submit(Driver端) 提交任务流程 1.Driver端提交任务到Master(启动sparkSubmit进程) 2.Mas…
-
Hadoop常用的命令
hdfs dfs -mkdir -p /user/centos/hadoop hdfs dfs -ls /user hdfs dfs -ls -R /user 递归查看 hdfs dfs -help put hdfs dfs -put index.html /user/centos/hadoop上传 index.html到hadoop上 查看 hdfs dfs …