数据湖
-
大数据技术之流量汇总案例详解大数据
7.2 流量汇总程序案例 7.2.1 需求1:统计手机号耗费的总上行流量、下行流量、总流量(序列化) 1)需求: 统计每一个手机号耗费的总上行流量、下行流量、总…
-
大数据Hadoop之MapReduce详解大数据
一 MapReduce入门 1.1 MapReduce定义 Mapreduce是一个分布式运算程序的编程框架,是用户开发“基于hadoop的数据分析应用”的核心框架; Mapred…
-
Java8新特性详解大数据
Java 8新特性简介 速度更快 代码更少(增加了新的语法 Lambda 表达式) 强大的 Stream API 便于并行 最大化减少空指针异常 Optiona…
-
CentOS7.5之MongoDB4.0安装与CRUD基本操作详解大数据
一 MongoDB简介 MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。 MongoDB 是一个介于…
-
TensorFlow学习笔记(七)Tonser Board详解大数据
为了更好的管理、调试和优化神经网络的训练过程,TensorFlow提供了一个可视化工具TensorBoard。TensorBoard可以有效的展示TensorFlow在运行过程…
-
win下idea远程提交WordCount任务到HA集群详解大数据
一,环境配置 1,修改win下的host文件:即C:/Windows/System32/drivers/etc/host中添加集群中机子的ip 2,win下hadoop,并为win…
-
使用MapReduce实现二度人脉搜索算法详解大数据
一,背景介绍 在新浪微博、人人网等社交网站上,为了使用户在网络上认识更多的朋友,社交网站往往提供类似“你可能感兴趣的人”、“间接关注推荐”…
-
使用MapReduce实现温度排序详解大数据
温度排序代码,具体说明可以搜索其他博客 KeyPair.java package temperaturesort; import org.apache.hadoop.io.IntW…
-
centos7+hadoop完全分布式集群搭建详解大数据
Hadoop集群部署,就是以Cluster mode方式进行部署。本文是基于JDK1.7.0_79,hadoop2.7.5。 1.Hadoop的节点构成如下: HDFS…
-
hadoop的client搭建-即集群外主机访问hadoop详解大数据
1增加主机映射(与namenode的映射一样): 增加最后一行 [[email protected] ~]# su – root1 [[email…