大数据
-
关于命名的规则
namspace->noun::adjective::adjective 命名 名词 形容词 形容词 package Disk; package Disk::Audio; package Disk::DVD; package Disk::DVD::Rewritable; &nbs…
-
hadoop环境初始化搭建
一、首先把hadoop二进制包和jdk的文件包download下来，并放置到合适目录的路径来解压(步骤省略) 二、在主机器上的hadoop解压出来的目录创建一个目录是专门放置hdfs的文件，把解压好的jdk包传去从的机器那 三、添加…
-
数据中台：宜信敏捷数据中台建设实践|分享实录
内容来源：宜信技术学院第2期技术沙龙-线上直播|宜信敏捷数据中台建设实践 分享嘉宾：宜信数据中台平台团队负责人 卢山巍 导读：宜信于2017年推出了一系列大数据开源工具，包括大家熟悉的DBus、Wormhole、Moonbox、…
-
安装Oozie4.1.0-CDH版本
安装oozie经历了好长的时间，先是源码包，但是放弃了。。。 然后就是安装的这个CDH版本的，弄了好久，经常报各种错误。 最后整理出来这篇。 这个安装过程同样适用于oozie4.1.0的其他的CDH版本。 先对文件进行下载：…
-
cdh看完官方文档后小结002
1、Cloudera Manager包含内部机架感知脚本，但您必须指定群集中主机所在的机架。如果您的群集包含10个以上的主机，Cloudera建议您为每个主机指定机架。 HDFS，MapReduce和YARN将自动使用您指定的机架。https://www.…
-
数据清洗、合并、转化和重构
数据清洗 数据清洗是数据分析关键的一步，直接影响之后的处理工作 数据需要修改吗？有什么需要修改的吗？数据应该怎么调整才能适用于接下来的分析和挖掘？ 是一个迭代的过程，实际项目中可能需要不止一次地执行这些…
-
大数据时代：传统BI还能走多远？
<div class="iteye-blog-content-contain" > 从事BI多年，经历了经营分析系统的大建设，大发展时期，也有幸处在大数据与传统BI系统的交替之际，因此特别来谈谈，传统BI还能走多远？ <img src="http:/…
-
整理 JAVA中的IO流 (字符流和字节流两个大类）
java中的io流分为两类，字符和字节： OutputStream和InputStream字节流的父类，抽象。OutputStream有两个提供了实现的接口closable和flushable。 Writer和Reader字符流的父类，抽象。实际上在流的操作中，底层与文…
-
一文带你弄懂Livy——基于Apache Spark的REST服务
背景 Apache Spark作为当前最为流行的开源大数据计算框架，广泛应用于数据处理和分析应用，它提供了两种方式来处理数据：一是交互式处理，比如用户使用spark-shell或是pyspark脚本启动Spark应用程序，伴随应用程序…
-
Lr(2)-脚本调试之“集合点” 和 “事务”
本篇文章主要介绍的是脚本部分的“事务”和“集合点”的插入 插入集合点 1、集合点的含义 集合点：也叫并发点，Lr通过集合点实现了真正意义的并发，当脚本运行到集合…