大数据
-
对xgboost和lightgbm的理解及其调参应该关注的点
这两个算法都是集成学习了分类回归树模型，先讨论是怎么集成的。集成的方法是 Gradient Boosting比如我要拟合一个数据如下： 第一次建了一个模型如上图中的折线，效果不是很理想，然后要新建一个模型来综合一下结果…
-
现代软件工程讲义 8 软件的血型
[这是 现代软件工程讲义 的一篇] 一个软件团队经历了计划/设计/开发等阶段, 达成代码完成 (Code Complete) 这一目标，似乎后面的事情就水到渠成了. 其实不然, 软件生命周期的最后阶段往往是最考验…
-
消息队列之kafka(基础介绍)
一、关于JMS 1. JMS 的基础 JMS是Java提供的一套技术规范。即Java消息服务（Java message service）。应用程序接口。是一个Java平台中关于面向消息中间件的API。用于在两个应用程序之间或者分布式系统中发送消息…
-
电商大数据项目（二）-推荐系统实战之实时分析以及离线分析
电商大数据项目-推荐系统实战（一）环境搭建以及日志，人口，商品分析https://blog.51cto.com/6989066/2325073电商大数据项目-推荐系统实战之推荐算法https://blog.51cto.com/6989066/2326209电商大数据项目-推荐系…
-
处理键值对RDD
保存Key/Value对的RDD叫做Pair RDD。 1.创建Pair RDD: 1.1 创建Pair RDD的方式： 很多数据格式在导入RDD时，会直接生成Pair RDD。我们也可以使用map()来将之前讲到的普通RDD转化为Pair RDD。 1.2 Pair RDD转化实例…
-
内存卡的数据保存与读取
,内存卡 2.1数据保存 File file=new File(Environment.getExternalStorageDirectory(), name); …
-
【Druid】Druid读取Kafka数据的简单配置过程
Druid的单机版安装参考：https://blog.51cto.com/10120275/2429912 Druid实时接入Kafka的过程 下载、安装、启动kafka过程： wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.2.1/kafka_2.11-2.2.1.tgz ta…
-
使用dubbo时applicationContext.xml报错的解决办法
引子 最近在为新的小强性能测试班备课，在整理dubbo的时候一直出现applicationContext.xml的报错，我也是最了，最后查了一些资料终于解决 解决方案 在dubbo的jar包中把dubbo.xsd文件单独copy出来 在eclipse中配置如…
-
浅聊Spark的应用场景有哪些？
Spark 是一种与 Hadoop 相似的开源集群计算环境，是专为大规模数据处理而设计的快速通用的计算引擎，现已形成一个高速发展应用广泛的生态系统，主要应用场景如下： 1. Spark是基于内存的迭代计算框架…
-
列举系统对接技术的几种常见方式
系统对接最常见的方式是接口方式，运气好的情况下，能够顺利对接，但是接口对接方式常需花费大量时间协调各个软件厂商。 因此当前各行业数据孤岛林立，对接业务软件或者是获取软件中的数据存在较大困难,尤其是CS软…