开源
-
Yarn中的Map和Reduce的优化
通过Hive执行的批次任务处理失败，Spark中报的错误日志如下： [plain] view plain copyERROR : Failed to monitor Job[ 3] with exception 'java.lang.IllegalStateException(RPC channel is closed.)' java.lang.I…
-
第13课：Spark Streaming源码解读之Drive
本期内容： ReceivedBlockTracker容错安全性 DStream和JobGenerator容错安全性 Driver的容错有两个层面：1. Receiver接收数据的元数据 2. Driver管理的各组件信息（调度和驱动层面） 元数据采用了WAL的容错机制 cas…
-
【SQL】spark sql 不等值 join
products一个商品价格变化的表，orders商品订单，记录每次购买商品和日期基于Spark SQL中的不等值join实现orders和products的匹配，统计每个订单中商品对应当时的价格 缓慢变化的商品价格表旺仔牛奶，发生过一次价…
-
测试自动化：关注服务层测试
测试发展至今已十年有余，测试的工作也越来越受到各方面的重视，对于测试人员的要求也越来越高，据不完全统计，目前测试项目自动化要求已经接近5成，自动化测试已经在测试行业中占据了相当的地位，而开展自动化测试…
-
在人工智能时代下，如何让券商的数据做到“快准稳”
文 | 郑林峰 财通证券大数据经理 交流微信 | datapipeline2018 财通证券股份有限公司是一家经中国证券监督管理委员会批准设立的综合性证券公司，成立于1993年的浙江财政证券公司，现为浙江省政府直属企业，主…
-
查询手机号的归属地及运营商接口（验证可用）
今天接到需求，需要根据手机号查询归属地，在网上找到几个不错的接口。提供给有同样需求的兄弟。 接口参数及内容一样就能明白，不再赘述。 淘宝接口 接口地址： http://tcc.taobao.com/cc/json/mobile_tel_segment.…
-
从老板到项目成员,如何从燃尽图中洞悉团队工作?
很多时候，我们感觉什么都没干一天就过去了，但对领导者来说，事情最好已经提前做完了，而且是越快越好。聪明的管理者知道，“时间”是需要花大功夫去把控的限制因素，只有掌握了更多关于时间和工作的数据，我们才能…
-
dll加密工具
Virbox Protector Standalone 加壳工具可直接对dll文件进行加壳，防止代码反编译，更安全，更方便。 产品简介 Virbox Protector Standalone提供了强大的代码虚拟化、高级混淆与智能压缩技术，保护您的程序免受逆向…
-
性能优化技巧 - 查找
日常生活中，我们会遇到各种各样的数据，小到公司通讯录，大到互联网用户行为分析。在进行数据分析处理的过程中，查询是必不可少的环节，如何更加高效地进行数据查询。 SPL为用户提供了强大的索引机制以及针对不同…