大数据
-
JMS消息队列ActiveMQ(点对点模式)
生产者(producer)->消息队列(message queue) package com.java1234.activemq; import javax.jms.Connection; import javax.jms.ConnectionFactory; import javax.jms.Destination; import&n…
-
大数据Hadoop集群搭建
大数据Hadoop集群搭建 一、环境 服务器配置： CPU型号：Intel(R) Xeon(R) CPU E5-2620 v4 @ 2.10GHzCPU核数：16内存：64GB 操作系统 版本：CentOS Linux release 7.5.1804 (Core)主机列表： IP 主机名 192.168.1.10…
-
hive配置
vi ./bin/hive-config.sh export JAVA_HOME=/usr/local/jdk/jdk1.8.0 export HADOOP_HOME=/usr/local/hadoop export HIVE_HOME=/usr/local/hive/apache-hive-1.2.1 cp hive-default.xml.template hive-site.x…
-
SDN网络IPv6组播机制支持实时视频业务海量用户扩展
一、背景： 随着互联网的迅猛发展，诸如视频直播、网络教学等实时业务的广泛应用，多个接收者需要同时从一个或多个源节点接收相同的流媒体数据，网络传输的信息容量大大增加，占用大量的网络带宽。对这些应用需求，…
-
Hadoop数据操作系统YARN全解析
为了能够对集群中的资源进行统一管理和调度，Hadoop 2.0引入了数据操作系统YARN。YARN的引入，大大提高了集群的资源利用率，并降低了集群管理成本。首先，YARN允许多个应用程序运行在一个集群中，并将…
-
Java 实现文件随机读写-RandomAccessFile
RandomAccessFile是Java中输入，输出流体系中功能最丰富的文件内容访问类，它提供很多方法来操作文件，包括读写支持，与普通的IO流相比，它最大的特别之处就是支持任意访问的方式，程序可以直接跳到任意地方来读写…
-
hbase集群部署与测试（2017）
部署hbase的集群首先我们要需要一个hadoop集群、至少要有一个hdfs的集群和zookeeper集群用HA集群的可用性号，由于做实验，没必要这么多集群，那么就不用HA集群第一步看一下hdfs是否正常启动hdfsstart-dfs.sh启动zoo…
-
Hadoop运维记录系列(十六)
应了一个国内某电信运营商集群恢复的事，集群故障很严重，做了HA的集群Namenode挂掉了。具体过程不详，但是从受害者的只言片语中大概回顾一下历史的片段。 Active的namenode元数据硬盘满了，满了，满了...上来第一…
-
Logstash解析Nginx访问日志
Nginx日志格式 log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for" ' '"$http_host" "$request…
-
Infortrend GS/Gse统一存储1.38 OS正式发布提供下载更新
新特性:1.增加CPU资源分配NAS/SAN优先级选项。2.添加界面化的Docker 功能3.系统信息添加文件访问日志。4.增加了NAS会话的监控功能。5.增加网络回收站功能。 新特性描述1）CPU动态分配NAS/SAN底层资源，是更智慧的分…