大数据
-
三、kibana原理和使用
一、Kibana概述 Kibana是一个开源的分析和可视化平台，设计用于和Elasticsearch一起工作。你用Kibana来搜索，查看，并和存储在Elasticsearch索引中的数据进行交互。你可以轻松地执行高级数据分析，并且以各种图标…
-
TestBird频现国内手游“盛宴” 开发商互相介绍用得很赞
TestBird自2013年创建以来得到了各方的关注，其首创的游戏对象识别技术突破了行业技术难题，带领行业走出测试结果不精确、费人费力的僵局。2014年，TestBird继续发力，先后在Chinajoy、GMIC、TFC、GMGDC四大游戏盛…
-
使用Apache Flume抓取数据（1）
使用Apache Flume抓取数据，怎么来抓取呢？不过，在了解这个问题之前，我们必须明确ApacheFlume是什么？ 一、什么是Apache Flume Apache Flume是用于数据采集的高性能系统 ，名字来源于原始的近乎实时的日志数据采…
-
Python3 操作 HDFS
【第三方包】 pyhdfs（pypi，github，支持HA） 【功能】 重命名 hdfs 文件或目录 # encoding: utf-8 # author: walker # date: 2018-03-17 # summary: 利用 py…
-
Hadoop之AVRO
Avro是个支持多语言的数据序列化框架，支持c，c++，c＃，python，java，php，ruby，java。他的诞生主要是为了弥补Writable只支持java语言的缺陷。 1 AVRO简介 很多人会问类似的框架还有Thr…
-
hbase单节点安装部署
本次配置延续上次的hadoop伪分布式安装部署 资源下载 http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.12/zookeeper-3.4.12.tar.gz http://mirror.bit.edu.cn/apache/hbase/stable/hbase-1.2.6-bin.tar…
-
大数据：spark集群搭建
创建spark用户组，组ID1000 groupadd -g 1000 spark 在spark用户组下创建用户ID 2000的spark用户 获取视频中文档资料及完整视频的伙伴请加QQ群：947967114useradd -u 2000 -g spark spark 设置密码 passwd spark 修…
-
大数据运营-服务型企业架构新思维
《大数据运营》是一种立足于企业架构系统化的思维方式，从战略到执行，从业务到技术，全方位、多维度地剖析，将大数据服务应用于企业运营实践。下面是几张典型的思维框图： 图书已经在各大网上商城预售，8月25日即…
-
Hadoop+Hbase+Zookeeper集群配置
系统版本： CentOS 7.3 最小化安装 软件版本： Hadoop 2.8.0 Hbase 1.3.1 Zookeeper 3.4.9 集群规划： 主机名 IP hadoop01 192.168.1.61 hadoop02 192.168.1.62 had…
-
好程序员大数据学习路线分享HDFS读流程
1.客户端或者用户通过调用FileSystem对象的Open()方法打开需要读取的文件，这时就是HDSF分布式系统所获取的一个对象 2.FileSystem通过远程协议调用NameNode确定文件的前几个Block的位置，对于每一个block,Na…