大数据
-
0010-Hive多分隔符支持示例
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 1.问题描述 如何将多个字符作为字段分割符的数据文件加载到Hive表中，事例数据如下： 字段分隔符为“@#$” test1@#$test1name@#$test2value test2@#…
-
Mybatis源码分析[03.SqlSessionFactory]
// 构造SqlSession public interface SqlSessionFactory { //8个方法可以用来创建SqlSession实例SqlSession openSession(); //自动提交SqlSession openSession(boolean autoCommit);//连接SqlSession openSession(C…
-
实现 MongoDB 外键关联
来源：http://stackoverflow.com/questions/29392169/populating-field-values-for-referred-documents-in-aggregate-call-in-mongoose 。 【摘要】 Mongodb 作为分布式文件存储的数据库，想实现多表关联 …
-
hadoop及hbase集群增加节点
一、hadoop扩容 1、配置各节点hosts文件，加入新加入的两个节点的IP和主机名 新添加的节点添加下面内容 192.168.11.131 master1 192.168.11.132 master2 192.168.11…
-
大数据生态之zookeeper（原理）
1. 集群的角色描述： 角色 描述 领导者（leader） 领导者负责进行公布决议，主要处理写请求 跟随者（follower） Follower用于接收客户端请求并向客户端返回结果（只能处理读请求，如果接收到写请求，将写请求…
-
spark下dataframe转为rdd格式
dataframe可以实现很多操作，但是存储到本地的时候，只能存 parquest格式 需要存储源格式，需要转换为rdd类型 将dataframe中的每一行都map成有逗号相连的string，就变为了一个rdd
-
一般大数据开发培训机构主要有哪些课程？线下培训靠谱吗
大数据技术能够将大规模数据中隐藏的信息和知识挖掘出来，为人类社会经济活动提供依据，提高各个领域的运行效率，甚至整个社会经济的集约化程度。正是由于大数据技术展现的优势 ，让越来越多的人选择进入到大数据行…
-
IT运维管理概述
随着企业信息化建设的不断深入发展，信息系统越来越复杂，业务对信息系统的依赖程度也越来越紧密，信息系统的任何波动，都会直接影响到业务的正常开展。全面展开并不断深化，信息系统已成为日常管理工作必不…
-
Flume环境部署
文档位置： http://flume.apache.org/FlumeUserGuide.html#system-requirements Java Runtime Environment - Java 1.8 or later（JAVA版本必须为1.8或更高） Memory - Sufficient memory for configurations used b…
-
PowerShell脚本简单使用 检测网络状况 date ping
1.执行权限 >>Set-ExecutionPolicy RemoteSigned RemoteSigned - 本地创建的脚本可以运行，但从网上下载的脚本不能运行（除非它们拥有由受信任的发布者签署的数字签名） 2.编写脚本 while (1) { date >>…