开源
-
LR事务、检查点
1. 事务： 注意：思考时间，不要放在事务里。事务里尽可能不要涉及除了本业务之外的逻辑。 2. 检查点 web_reg_find（）函数 注意：web_reg类型的函数，属于注册函数，必须要放在它所作用的请求之前。
-
spark性能优化之使用高性能序列化类库
如果使用序列化技术，在执行序列化操作的时候很慢或者是序列化之后的数据量还是很大，那么会让分布式应用程序性能下降很多，spark自身就会在一些地方对数据进行序列化，比如shuffle写磁盘，还…
-
IDEA集成Spark开发环境
IDEA集成Spark开发环境的pom文件<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apa…
-
个推用户画像的实践与应用
“以用户为核心”的概念在互联网时代深入人心，然而要真正了解用户懂得用户，就不得不提到“用户画像”。 随着大数据技术的深入研究与应用，借助用户画像，企业或APP可以深入挖掘用户需求，从而实现精细化运营以及为精…
-
大快DKhadoop大数据处理平台详解
大数据可以说是从搜索引擎诞生之处就有了，我们熟悉的搜索引擎，如百度搜索引擎、360搜索引擎等可以说是大数据技处理技术的最早的也是比较基础的一种应用。大概在2015年大数据都还不是非常火爆，2015年可以说是大数…
-
azkaban提交job出错记录
在UE中编写一个test.sql，用azkaban启动，报错 18-02-2016 23:09:17 CST hivef ERROR - FAILED: ParseException line 1:0 character '' not sup…
-
走通用软件架构路线？走通用软件产品路线？我们都要有梦想与大家一起分享走过的经验
其实我们做开发的都有一个梦想，有个强大的软件架构，开发起软件又好用又快，功能又强大。然后天天刻苦专研，折腾好几年后才能出来一个勉强可以用的，而且也不容易得到大家认可的架构来。 这个…
-
直播系统前后端技术原理
手机直播系统，可以分为采集、前处理、编码、传输、解码、渲染这几个环节，下面小编分别解释一下啊：1、直播采集：iOS是比较简单的，Android则要做些机型适配工作，PC稍微麻烦一点，各种摄像头需要驱动，所以需要做…
-
ELK 日志收集实时分析大数据平台（简介）
ELK “Elasticsearch、Logstash、Kibana” 今天只是了解 。搭建服务的文章后期待续。 日志的收集和分析一直都是困扰你我的麻烦事情 ，虽然我们知道的是 Splunk 公司正是凭…
-
selenium学习：多表单的切换
文件：frame.html <html> <head> <meta http-equiv="content-type" content="text/html;charset=utf-8"/> <link href="http://cdn.bootcss.com/bootstrap/3.3.0/css/bootstrap…