大数据
-
学习日志---partitioner和采样器
Mapreduce中： shuffle阶段是在map和reduce之间，可以自定义排序，自定义分区和自定义分组！ Mapreduce中，map出的数据是键值对，默认的是hashPatitionner来对map出的数据进行分区； 分区的方法还有其他几个： Rand…
-
Spring boot与数据持久化Spring Data JPA集成实战
数据持久化Spring Data JPA项目集成了spring boot+spring data JPA+thymeleaf前台代码地址：https://blog.51cto.com/13501268/23196221.JPA理解：是用于管理Java EE和Java SE环境中的持久化，1.以及对象/关系映射的…
-
大数据之四：Hive安装
Hive 安装步骤： JAVA实现读取文件 但是使用hive会更简单 hive能够把文件变成表，只保存表结构存在数据库mysql中，但是数据还是在文件中 文件----->database---->table ----->deby------>mysql(保存…
-
hbase读写请求详细解释
2019/2/28 星期四 hbase读写请求详细解释hbase的读写过程读请求过程 1、客户端通过 ZooKeeper 以及-ROOT-表和.META.表找到目标数据所在的 RegionServer(就是 数据所在的 Region 的主机地址)2、zk返回结果给客户端3…
-
HDFS 实验 (四) 集群操作
集群设置 http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/ClusterSetup.html 用户手册 http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html Da…
-
开源mock server系统——moco简单好用
1、Moco 是什么 Moco是一个简单搭建模拟服务器的程序库/工具，这个基于 Java 开发的开源项目已经在 Github 上获得了不少的关注。该项目的简介是这样描述自己的：Moco 是一个简单搭建 stub 的框架，主要用于测试和集…
-
人人都应学习的公链知识——比原总体架构
本文将会给大家介绍一下比原链总体的技术架构。 如下图所示：比原链分为三个层次 第一层就是大家接触比较多的钱包层，就是进行收款和打款的模块，钱包一般带操作界面，大家都可以日常使用，所以会比较熟悉。 然后就…
-
elasticsearch5.3安装kibana、x-pack插件、elasticsearch-an
1. 安装Kibana 1.1 安装Kibana Kibana是一个强大的es图形化组件,可以通过http的方式来查看es集群的状态,操作数据等. 当前es官方推荐的拓展组件为Kibana和X-Pack,而X-Pack需要依赖于Kibana. * 选择任意一台节点安装k…
-
window下批处理操作：bat文件中调用vbs
@echo "kill CRT process" taskkill /F /IM SecureCRT.exe ::ping 127.0.0.1 -n 30 echo "start vos through CRT" echo off d: cd D:…
-
JMeter入门教程4：聚合报告详解
之前说过jmeter的查看结果数，这次简单聊下jmeter中最重要的listener聚合报告。 聚合报告顾名思义，就是把执行的结果聚合在一起，在jmeter中聚合的方式就是通过sampler Name。 我们就以csv格式的jtl为例(见下图)，…