大数据
-
hadoop的Hive实战操作sogou的日志
动手实战操作搜狗日志文件 本节中所用到的内容是来自搜狗实验室，网址为： http://www.sogou.com/labs/dl/q.html 用户可以根据自己的Spark机器实际的内存配置等情况选择下载不同的数据版本，为了让所有的学习者都可…
-
用ndk制作一个安卓so
做个记录打开EclipsFile->New->Project选择安卓应用填写名称mytest2ndk然后一路点下去就行，不用选什么，注意不要勾选 Mark this project as a library，生成so的事情在其他地方处理。 然后工程就建好了，接…
-
git tag按照时间排序
打标签 git tag -a v1.2.0 -m "new version" 显示标签以及备注，这个是按照tag的version的顺序排序，并非按照tag的时间顺序 git tag -n 实现标签以及备注，按照打标签的时间排序，这个应该是最可能使用的，反正我版…
-
Apache Pig和Solr问题笔记（一）
记录下最近两天散仙在工作中遇到的有关Pig0.12.0和Solr4.10.2一些问题总共有3个如下 1问题一 如何Pig中使用ASCII和十六进制hexadecimal的分隔符进行加载和切分数据 注意关于这个问题在Pig中会反应到2个场景中 第一 …
-
（第4篇）hadoop之魂--mapreduce计算框架，让收集的数据产生价值
通过前面的学习，大家已经了解了HDFS文件系统。有了数据，下一步就要分析计算这些数据，产生价值。接下来我们介绍Mapreduce计算框架，学习数据是怎样被利用的。 Mapreduce计算框架 如果将Hadoop比做一头大象，那么M…
-
kylin通过API增量build
官方文档参考：http://kylin.apache.org/cn/docs21/howto/howto_build_cube_with_restapi.html （写的不详细） 账户：我们使用的默认账户：ADMIN/KYLIN的basic认证码为：QURNSU46S1lMSU4= 格式如下：curl -X PUT -H…
-
spark+kafka+redis统计网站访问者IP
*目的是为了防采集。需要对网站的日志信息，进行一个实时的IP访问监控。 1、kafka版本是最新的0.10.0.0 2、spark版本是1.61 3、下载对应的spark-streaming-kafka-assembly_2.10-1.6.1.jar放到spark目录下的lib目录…
-
接口自动化与RPC服务mock平台相结合的应用实践
原文链接：http://mp.weixin.qq.com/s/xESQTuCyuDLKbeLo1HelBg 内容大纲： 为何要进行 mock? 1、下游服务接口不稳定，环境缺失导致依赖服务不可用，阻塞联调或测试。2、 由于线上环境测试数据无法构造，测试场景单…
-
Pyhon学习笔记4:异常
1.文件的异常处理：try except FileNotFoundError try: open("abc.txt",'r') except FileNotFoundError: print("异常了！") 2.name的异常 try except NameError t…
-
C++中头文件设计
对于小工具程序而言，用C++编写估计也就几个文件，此时很少设计头文件互相包含引发的编译出错问题。但是当软件功能越来越多，功能越来越复杂，各模块之间的调用关系也越来越不明显，此时很有可能会出现A头文件包含B…