开源
-
Spark集群简单安装流程
Spark集群部署 一、准备工作 准备3台机器创建集群，主机名及IP地址为Master 192.168.2.240Slave1 192.168.2.241Slave2 192.168.2.242 下载软件Scala： https://downloads.lightbend.com/scala/2.12.3/scala-2.12.3.…
-
0037-如何在Windows Server2008搭建DNS服务并配置泛域名解析
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 1.文档编写目的 有了DNS服务，对于一个CDH集群的所有节点的hostname和ip，您就再也不需要手动维护各个节点的hosts文件。另外DNS服务对于在CDH上安…
-
大数据四大常识，不会你敢说自己在做大数据？
一、大数据分析的五个基本方面 1、可视化分析 大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够…
-
hadoop命令大全
参考来自hadoop官方网文档 http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html#cp FS Shell cat chgrp chmod chown copyFromLocal copyToLocal cp du dus expunge get getmerge ls lsr mkdir movefromLocal …
-
Archive failed
终端输入：xcodebuild -scheme xxx(项目名) archive 可查看具体哪里导致Archive failed
-
软件质量之web项目的CUT
在做web项目开发时，我们会遇到很多通用的细节项需要处理，如果没做好，则会爆出很多bug。最常见的有以下一些（用java、.NET、PHP等开发web前台都存在）： 最大…
-
学习日志---hdfs配置及原理+yarn的配置
筛选算法： 关注度权重公式： W = TF * Log(N/DF) TF：当前关键字在该条记录中出现的总次数； N：总的记录数； DF：当前关键字在所有记录中出现的条数； HDFS的 namenode HA和namenode Federation (1)解决单…
-
Shell 发邮件
使用 mail 指令进行邮件发送。 mail 的配置文件在 /etc/mail.rc 插入以下参数： set from=邮箱地址 smtp=SMTP服务器 set smtp-auth-user=邮箱地址 smtp-auth-password=邮箱密码 smtp-auth=login 即可使用 mail 指令…
-
Mapsidejoin是什么？最详细的应用介绍在这里
我们知道数据分析的第一步是准备数据，所以在前面的课程里，我们介绍了元数据。今天这篇文章，主要介绍大数据量组合数据集在永洪中的应用实例：Mapsidejoin。 什么是Mapsidejoin？按照字面意思，Mapsidejoin就是M—…
-
用大数据构建用户画像应该怎么做？
用大数据构建用户画像应该怎么做？很多人都不太了解，今天小编为了让大家更加了解大数据构建用户画像的方法，所以给大家总结了以下内容，一起往下看吧。 进入大数据时代，我们常常在谈论的一个概念就是用户画像。在…