开源
-
Kafka-2.11学习笔记（二）Shell脚本介绍
鲁春利的工作笔记，谁说程序员不能有文艺范？ Kafka主要的shell脚本有 [hadoop@nnode kafka0.8.2.1]$ ll 总计 80 -rwxr-xr-x 1 hadoop hadoop 943 2015-02-27 …
-
HDFS学习小结(Hadoop2.xx版本)v1.2
hadoop2.xx 集群搭建：http://bigtrash.blog.51cto.com/8966424/1830423 1.HDFS（Hadoop Distributed File System）:hadoop分布式文件系统，由管理文件系统元数据（metadata）的NameNode和存储实际数据的DataNode组…
-
扩展Spring Data QBE实现动态范围查询
Spring Data JPA提供了Query by Example (QBE) 查询技术，实现了动态条件查询，不必再写烦琐的条件判断。但QBE不支持范围查询，本文结合QBE和Specification实现了动态范围查询。 本文以汪云飞-Spring Data JPA实现…
-
VBS Exit
ExitTest -退出整个TEST。ExitAction - 退出当前操作，无论其循环属性如何。ExitActionIteration - 退出操作的当前循环。ExitRun - 退出测试，无论其循环属性如何。ExitGlobalIteration - 退出当前全局循环。 *****…
-
python笔记-模块
模块是一段代码，以.py结束的文件 引入：import math，放在脚本的顶端调用函数:模块名.函数名导入模块中的一部分from modname import name1[, name2[, ... nameN]]导入所有from modname import*
-
在Hive中如何实现数据分区
Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成更小的数据集。那么在Hive中如何进行数据分区呢？分区时应该注意…
-
什么是大数据开放
大数据的价值评估，需要从社会效益、企业效益、个人效益和产品效益来综合评价。比如，金融数据和电商数据碰撞到一起，就产生了像小额贷款那样的互联网金融；电信数据和政府数据相遇，可以产生人口统计学方面的价值…
-
十一、MapReduce--自定义Input输入
在“MapReduce--input之输入原理”中说到实现定义输入的方法，其实就是继承InputFormat以及 RecordReader实现其中的方法。下面例子讲解操作。 1、需求 将多个文件合并成一个大文件（有点类似于combineInputFormat），…
-
Storm笔记整理（四）：Storm核心概念与验证——并行度与流式分组
[TOC] Storm核心概念之并行度 Work 1个worker进程执行的是1个topology的子集（注：不会出现1个worker为多个topology服务）。1个worker进程会启动1个或多个executor线程来执行1个topology的(spout或bolt)。因此，1个…
-
SQL 难点解决：直观分组
1、 对位分组 示例 1：按顺序分别列出使用 Chinese、English、French 作为官方语言的国家数量 MySQL8: with t(name,ord) as (select 'Chinese',1 union all select 'English',2 …