大数据

一、背景 目前namenode使用了ha的部署模式，但系统会经常出现ha的自动切换（namenode节点其实正常）。经过调研发现可能的原因如下： HealthMonitorcheck本地namenode的rpc端口时超时，导致HealthMonitor认为namenod…

本人长期出售超大量微博数据、旅游网站评论数据，并提供各种指定数据爬取服务，Message to YuboonaZhang@Yahoo.com。同时欢迎加入社交媒体数据交流群：99918768 前言   为了获取多源数据需要到各个网站获取一些景点…

用2台服务器，低资源，部署3个zookeeper分布式节点： 1.准备环境系统已经配置好了JAVA环境；下载某个版本的zookeeper压缩包，下载链接：http://apache.claz.org/zookeeper/zookeeper-3.5.3-beta/zookeeper-3.5.3-be…

Spark 的 Core 深入（二） 标签（空格分隔）： Spark的部分 一： 日志清洗的优化 二：Spark RDD 三：SparkContext三大功能 四：Spark on YARN 五： spark RDD 的 依赖 一、日志清洗的优化： 1.1 日志清洗有脏数据问…

ambari 搭建hadoop大数据平台系列3-搭建本地仓库 1.官方参考 https://docs.hortonworks.com/HDPDocuments/Ambari-2.4.2.0/bk_ambari-installation/content/setting_up_a_local_repository_with_no_internet_access.…

例如：查询名称为10.78.217.109的设备0框6槽0端口下ONU信息。l 下发命令LST-ONU::OLTID=10.24.202.114,PONID=NA-0-3-6:CTAG::;

　　在上一篇 分布式文件系统FastDFS如何做到高可用 中已经介绍了FastDFS的原理和怎么搭建一个简单的高可用的分布式文件系统及怎么访问。 　　高可用是实现了，但由于我们只设置了一个group，如果现在有5…

        本程序主要实现hive权限测试。系统中有管理员用户single和测试用户test。在路径/home/test/下，将用例的预置条件写在input文件夹内，每个用例对应一个input文件，…

虽然现今数据大部分都是使用数据库存储，但是停电断网等不可抗拒因素经常中断着automation的进行，这时若这些非业务的配置数据用xml来存储就显得方便很多了，下面是用VBScript脚本读取XML文件的实现方法，记录下以…

高数重要极限证明原创中英文对照版   重要极限 Important Limit 作者 赵天宇 Author:Panda Zhao               我今天想在这里证明高等数学中的一个重要极限： Today…