大数据
-
通过hadoopAPI访问文件
/** * 通过Hadoop api访问 * @throws IOException */ @Test public void readFileByAPI() throws IOException{ Configuration conf = new Co…
-
探寻流式计算
一、静态数据和流数据 静态数据：为了支持决策分析而构建的数据仓库系统，其中存放的大量历史数据就是静态数据。 流数据：以大量、快速、时变的流形式持续到达的数据。（例如：实时产生的日志、用户实时交易信息） …
-
迟到的年度总结，我们应该收放自如
现在已经2018年3月了，这篇2017的年度总结显得晚了一点，但意义非凡，让我有了更多的反省和思考，我相信大家读完一定会有收获。好了，废话不多说进入主题。 别用学习来逃避成长 这话说的简直是屁话，不是学习才会成…
-
ethereum入门-常用命令示例(包括创建用户、挖矿、交易等)
ethereum常用命令示例 用户管理 打开控制台 $ geth --datadir=path/to/custom/data/folder attach --datadir“~/.ethereum”数据库和密钥库的数据目录 创建账户,参数是密码在控制台输入下面命令： personal.newAccoun…
-
spring cloud(四)：Feign的应用
1、概念 Feign 是一种声明式、模板化的 HTTP 客户端，是一个声明web服务客户端，这便得编写web服务客户端更容易。 2、应用 2.1 、在项目中，模块与模块之间需要互相调用，比如web模块需要调用s…
-
Spark和Hadoop大决战
Spark作为数据处理的核心应用，有着重要的作用和地位，那么spark能不能取代Hadoop而存在呢？ Spark只是分布式计算平台，而hadoop已经是分布式计算、存储、管理的生态系统。 与Spark相对应的是Hadoop MapReduce。Spa…
-
LR测试WebService接口
练习接口：http://www.webxml.com.cn/webservices/qqOnlineWebService.asmx?op=qqCheckOnline 选择协议： 点击Manage Services 点击Import，选择WSDL（找开发人员要） File形式 URL形式：http://www.webxml.com.cn/…
-
Hive 调优总结
一、查看执行计划explain extended hql；可以看到扫描数据的hdfs路径 二、hive表优化 分区（不同文件夹）：动态分区开启：set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstrict; …
-
大数据开发是干什么的？
大数据作为时下火热的IT行业的词汇，随之而来的数据开发、数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临，大数据开发也应运而…
-
分布式系统关注点——「高内聚低耦合」详解
如果这是第二次看到我的文章，欢迎文末扫码订阅我个人的公众号（跨界架构师）哟~ 本文长度为3012字，建议阅读8分钟。 坚持原创，每一篇都是用心之作～ 下面的这个场景你可能会觉得很熟悉（Z哥我…