开源
-
我的Spark源码核心SparkContext走读全纪录
我的Spark源码核心SparkContext走读全纪录 Dirver Program(SparkConf) package org.apache.spark.SparkConf Master package org.apache.spark.deploy.master SparkContext …
-
hbase导数据的几种方式
这里小编介绍两种导入数据的方式，一种是基于hive，一种是基本文件生成HFile。 1. hive-hbase-handler 导数据 这种方式需要一个jar包支持：下载地址：https://down.51cto.com/data/2464129将其放入$HBASE_HOME/li…
-
API是何时？以什么姿态开启了它的时代？
说到API，非业内技术人士，大家似乎对它还是知之甚少。但如果有关注这个领域，其实不难发现，国内一些所谓大厂已经在API方面做了不少动作，不论是对外宣称的API生态，还是相对低调的API市场，亦或API平台，都围绕的…
-
您的单元测试工具是否一无是处？
想必您已经了解什么是单元测试与它的好处，例如可以在项目前期对软件进行充分地测试，发现后期测试容易遗漏的bug，或测试难以覆盖的条件等。也许您也已经接触过，或正在使用这一类软件工具，那么您的工具能否切实有…
-
【总结】Hadoop中的MultipleOutputs实践
本例子采用hadoop1.1.2版本，附件中有例子的数据文件 采用气象数据作为处理数据 1、MultipleOutputs例子，具体解释在代码中有注释 package StationPatitioner; import java.io.IOException; import …
-
软件测试基础单元测验
一、理论题 1、画出软件测试V模型图 需求分析--概要设计--详细设计--软件编码--单元测试--集成测试--系统测试--验收测试 2、写出编写测试用例方法选择的综合策略 …
-
个人收集的Dev控件使用方法
TdxBarManager添加一个TcxBarEditItem，我想在TcxBarEditItem 文本框里输入字符，来完成查询操作。可是不知道怎么取TcxBarEditItem里输入的内容。 方法： 1.ShowMessage(VarToStr(cxBarEditItem1.EditV…
-
<<代码整洁之道（clean code）>>读书重点笔记
整洁的代码 1.习艺之要 1).知：习得有关原则、模式和实践的知识，穷尽应知之事，并且要对其了如指掌 2).行：通过刻苦实践掌握它 2.阅读本书原因 1）。你是个程序员 2）。…
-
azkaban的部署以及简单使用
1.工作流调度器的介绍 （1）为什么要使用工作流调度器？ - 一个完整的数据分析系统通常都是由大量任务单元组成：shell 脚本程序，java 程序，mapreduce 程序、hive 脚本等 - 各任务单元之间存在时间先后及前后…
-
利用区块链系统推动数字转型，保险行业抱团取暖
主流保险公司、技术大咖聚在一起就利用区块链推动保险行业数字转型进行讨论。虽然5.5万亿美元的保险行业市场竞争激烈，但在采用区块链技术或分布式账本技术方面，瑞士再保险、苏黎世保险、荷兰全球人寿保险公司等保…