大数据
-
Hive分区表简介
简介：如果一个表中数据很多，我们查询时就很慢，耗费大量时间，如果要查询其中部分数据该怎么办呢，这时我们引入分区的概念。Hive中的分区表分为两种：静态分区和动态分区。 1.静态分区: 可以根据PARTITIONED BY创…
-
Ribbon之ILoadBalancer
Ribbon 负载均衡的连轴方法，它聚合来IPing，IRule, ServerList, ServerListUpdater, ServerListFilter。 ILoadBalancer public interface ILoadBalancer { /** &nbs…
-
sqoop的常用命令
1. 基础命令 列出MySQL中有那些数据库 sqoop list-databases / --connect jdbc:mysql://hadoop01:3306/ / --username hadoop / --password root / 列出MySQL中的数据库有哪些表 sqoop list-tables / --connect jdbc…
-
LH乱码转换
LH乱码转换 lr_convert_string_encoding(lr_eval_string("骞冲彴鏈嶅姟寮傚父"),"utf-8","gb2312","returnMsg"); lr_error_message("Error: %s", lr_eval_string("{returnMsg}"));
-
编译64位haoop2.5.2
由于现在linux多用64bit，但是无奈haoop.apche官网只提供了32编译的hadoop2.5.2，只好自己编译。 （吐槽）之前，考虑用网上别人编译好的，直接拿来用，结果果断被…
-
微信内直接下载app和提示前往手机默认浏览器访问指定页面的实现方案，尽在大象跳转
先到微信跳转API接口平台开通接口权限 基于api接口新建一个url=xxx的代码如下 访问地址：http://api.go51w.cn/url=http://www.baidu.com(此处改为你的链接) <!DOCTYPE html> <html xmlns="http://www.mind…
-
一、zookeeper--部署和使用
一、部署zookeeper 1、资源规划 服务器 bigdata121/192.168.50.121，bigdata122/192.168.50.122，bigdata123/192.168.50.123 zookeeper版本 3.4.10 系统版本 centos7.2 2、集群部署 （1）安装zk [root@bigdata121 m…
-
大数据之Apache Beam 使用Flink Runner管道参数
例子 Flink集群 mvn package exec:java -Dexec.mainClass=org.apache.beam.examples.WordCount -Dexec.args="--runner=FlinkRunner --flinkMaster=<flink master> --file…
-
xpath之string(.)方法
from lxml import etree html = ''' <li class="tag_1">需要的内容1 <a>需要的内容2</a> </li> ''' selector = etree.HTML(html ) contents = selector.xpath ( '//li[@class = "tag_1"]')…
-
九、MapReduce--input源码分析
当job提交至yarn之后，就会开始调度运行map任务，这里开始讲解map输入的源码分析。一个map任务的入口就是 MapTask.class 中的run() 方法 1、首先看看MapTask.run() 方法 MapTask.class //-------------------------…