大数据
-
【总结】Hadoop中的MultipleOutputs实践
本例子采用hadoop1.1.2版本，附件中有例子的数据文件 采用气象数据作为处理数据 1、MultipleOutputs例子，具体解释在代码中有注释 package StationPatitioner; import java.io.IOException; import …
-
软件测试基础单元测验
一、理论题 1、画出软件测试V模型图 需求分析--概要设计--详细设计--软件编码--单元测试--集成测试--系统测试--验收测试 2、写出编写测试用例方法选择的综合策略 …
-
个人收集的Dev控件使用方法
TdxBarManager添加一个TcxBarEditItem，我想在TcxBarEditItem 文本框里输入字符，来完成查询操作。可是不知道怎么取TcxBarEditItem里输入的内容。 方法： 1.ShowMessage(VarToStr(cxBarEditItem1.EditV…
-
<<代码整洁之道（clean code）>>读书重点笔记
整洁的代码 1.习艺之要 1).知：习得有关原则、模式和实践的知识，穷尽应知之事，并且要对其了如指掌 2).行：通过刻苦实践掌握它 2.阅读本书原因 1）。你是个程序员 2）。…
-
azkaban的部署以及简单使用
1.工作流调度器的介绍 （1）为什么要使用工作流调度器？ - 一个完整的数据分析系统通常都是由大量任务单元组成：shell 脚本程序，java 程序，mapreduce 程序、hive 脚本等 - 各任务单元之间存在时间先后及前后…
-
利用区块链系统推动数字转型，保险行业抱团取暖
主流保险公司、技术大咖聚在一起就利用区块链推动保险行业数字转型进行讨论。虽然5.5万亿美元的保险行业市场竞争激烈，但在采用区块链技术或分布式账本技术方面，瑞士再保险、苏黎世保险、荷兰全球人寿保险公司等保…
-
Webbrowser 代码收集
1、禁止Webbrowes新窗口打开页面，强制在当前页面打开 方法：放两个webbrowser控件，错码如下; procedure TForm1.WebBrowser1NewWindow2(Sender: TObject; var PpDisp:&n…
-
大数据服务之数据管理
数据管理过程主要包括：数据转换、数据关联、数据丰富、数据操作以及数据保持。 数据转换就是将数据从一种形式变换为另一种形式，通过形式的变化，使得数据更便于分析利用。比如在数据采集阶段导入的原始数据，需要…
-
lucene复杂数据类型存储
Lucene以Field作为key-value存储单元，Field的value可以为String、int、long、double、float和byte[]存储，开发过程中往往需要存储复杂的数据类型，例如List、Map等。下面将会讲解如何将复杂的对象转换为单一的key-…
-
spark通过combineByKey算子实现条件性聚合的方法
实际开发过程中遇到了需要实现选择性聚合的场景，即对于某一个key对应的数据，将满足条件的记录进行聚合，不满足条件的则不进行聚合。 使用spark处理这种计算场景时，想到了使用combineByKey算子，先将输入数据中的…