数据采集

Spark算子总结（带案例）   spark算子大致上可分三大类算子： 　　1、Value数据类型的Transformation算子，这种变换不触发提交作业，针对处理的数…

Spark Shuffle原理解析   一：到底什么是Shuffle？         &…

Spark SQL讲解   Spark SQL是支持在Spark中使用Sql、HiveSql、Scala中的关系型查询表达式。它的核心组件是一个新增的RDD类型Schem…

Spark内存管理之钨丝计划 1. 钨丝计划的产生的原因 2. 钨丝计划内幕详解  一：“钨丝计划”产生的本质原因 1， Spark作为一个一体化多元…

Hadoop与Spark之间的比较   Hadoop框架的主要模块包括如下： Hadoop Common Hadoop分布式文件系统(HDFS) Hadoop YARN …

Spark的核心RDD（Resilient Distributed Datasets弹性分布式数据集）   铺垫 在hadoop中一个独立的计算，例如在一个迭代过程中，除…

Lifetime-Based Memory Management for Distributed Data Processing Systems 　　　　　　　　（Deca：Dec…

图像识别中的深度学习     来源：《中国计算机学会通讯》第8期《专题》 作者：王晓刚 深度学习发展历史 深度学习是近十年来人工智能领域取得的重要突破。它在语音…

人脸识别的主要算法以及原理     主流的人脸识别技术基本上可以归结为三类，即：基于几何特征的方法、基于模板的方法和基于模型的方法。 1. 基于几何特…

人脸识别必读的优秀论文   一，人脸检测/跟踪 人脸检测/跟踪的目的是在图像/视频中找到各个人脸所在的位置和大小；对于跟踪而言，还需要确定帧间不同人脸间的对应关系。 &n…