大数据
-
大学生该如何适应从“学生”到“员工”的身份转变
《5分钟从学生到程序员》第1课。 1. 步入社会的困惑 大学生毕业要进入职场，往往都有很多的困惑。我在互联网行业工作17年，身边的亲戚朋友的小孩，读计算机系、软件工程、软件学院毕业或实习前，经常会我：…
-
敏捷开发概念
什么是敏捷开发？ 敏捷开发(Agile Development)是一种以人为核心、迭代、循序渐进的开发方法。 怎么理解呢？首先，我们要理解它不是一门技术，它是一种开发方法，也就是一种软件开发的流程，它会指导我们用规…
-
ES插件开发之--如何添加自己的动态设置项
ES中，有一类参数是可以动态调整的，比如副本数量： number_of_replicas。在插件开发中，如何添加自己的自定义参数呢？在插件的入口，添加onModule(ClusterModule module)即可。 public class ShgyPlugin extends P…
-
Hitachi Vantara：数字化时代的精炼师
“21世纪最有价值的商品就是数据。”Hitachi Vantara CMO Jonathan Martin在Hitachi Vantara 2019中国论坛上如是说。 如果说用一种商品来定义二十世纪的话，那么这个商品肯定就是石油。二十世纪没有一款商品能够像石…
-
前端日志分析
前端日志分析介绍 前端日志分析是通过搜集访客访问网站的行为数据，然后在这些用户日志数据的基础上通过定量和定性分析，来改善用户的浏览体验及网站性能，最终提升商业回报的过程，通常，前端日志分析遵循以下步骤…
-
学大数据需要什么语言基础?,学前必知
首先，学习大数据是需要有java，python和R语言的基础。 1) Java学习到什么样的程度才可以学习大数据呢? java需要学会javaSE即可。javaweb，javaee对于大数据用不到。学会了javase就可以看懂hadoop框架。 2) python…
-
Hadoop学习--person类对象的序列化和反序列化--day07
person类的代码： import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import org.apache.hadoop.io.BooleanWritable; import org.apache.hadoop.io.IntWritable; import org.apac…
-
SPARK启动历史任务查看
SPARK历史任务查看需要一下配置: 修改spark-defaults.conf配置文件 spark.eventLog.enabled true spark.eventLog.dir  …
-
在pycharm中通过VCS快速提交代码
在这之前，都是通过git bash 里，通过命令行进行提交。pycharm提供了和VCS工具的集成，所以提交的工作可以在pycharm IDE里无缝集成，很方便 一、准备工作 有github账号； 项目已经push 到…
-
Elasticsearch中文分词器安装测试
导言：Elasticsearch自带的分词器会将中文分割成一个一个字节（如下图），搜索效率较低，我们可以在Elasticsearch上安装中文分词器提高搜索效率 下载中文插件安装包（地址：https://github.com/medcl/elasticsearch…