数据分析

1.概述 　　前面给大家介绍了整个Kafka项目的开发流程，今天给大家分享Kafka如何获取数据源，即Kafka生产数据。下面是今天要分享的目录： 数据来源 Flume到Kafka…

1.概述 　　在《Kafka实战－Flume到Kafka》一文中给大家分享了Kafka的数据源生产，今天为大家介绍如何去实时消费Kafka中的数据。这里使用实时计算的模型——Sto…

1.概述 　　经过前面Kafka实战系列的学习，我们通过学习《Kafka实战－入门》了解Kafka的应用场景和基本原理，《Kafka实战－Kafka Cluster》一文给大家分享…

1.概述 　　在项目业务倍增的情况下，查询效率受到影响，这里我们经过讨论，引进了分布式搜索套件——ElasticSearch，通过分布式搜索来解决当下业务上存在的问题。下面给大家列…

1.概述 　　之前在《Hadoop2源码分析－RPC探索实战》一文当中介绍了Hadoop的RPC机制，今天给大家分享关于YARN的RPC的机制。下面是今天的分享目录： YARN的R…

1.概述 　　在《Hadoop2源码分析－YARN RPC 示例介绍》一文当中，给大家介绍了YARN 的 RPC 机制，以及相关代码的演示，今天我们继续去学习 YARN 的服务库和…

1.概述 　　在开发Hadoop的相关应用使用，在业务不复杂，任务不多的情况下，我们可以直接使用Crontab去完成相关应用的调度。今天给大家介绍的是统一管理各种调度任务的系统，下…

1.概述 　　在《高可用Hadoop平台－Oozie工作流》一篇中，给大家分享了如何去单一的集成Oozie这样一个插件。今天为大家介绍如何去使用Oozie创建相关工作流运行与Had…

1.概述 　　最近在和人交流时谈到数据相似度和数据共性问题，而刚好在业务层面有类似的需求，今天和大家分享这类问题的解决思路，分享目录如下所示： 业务背景 编码实践 预览截图 　　下…

1.概述 　　从HDFS的应用层面来看，我们可以非常容易的使用其API来操作HDFS，实现目录的创建、删除，文件的上传下载、删除、追加（Hadoop2.x版本以后开始支持）等功能。…