开源
-
flink伪分布式搭建及其本地idea测flink连接
下载安装flink：上传压缩包：flink-1.7.2-bin-scala_2.12.tgz解压：tar -zxvf /flink-1.7.2-bin-scala_2.12.tgz -C ../hone复制解压文件到子节点：scp -r /home/flink-1.7.2/ root@slave1:/home/scp -r /home/flink…
-
记载我的spark源码阅读火花
记载我的spark源码阅读火花 知识点： 1、seq:列表，适合存有序重复数据，进行快速插入/删除元素等场景, Set是集合，适合存无序非重复数据，进行快速查找海量元素等场景 memoryKeys = Seq( ) …
-
hadoop安装遇到的问题
1、启动yarn时报Error: JAVA_HOME is not set and could not be found. 修改/etc/hadoop/hadoop-env.sh中设JAVA_HOME，应当使用绝对路径。 export JAVA_HOME=$JAVA_HOME …
-
一篇文章告诉你大数据应该怎么学
最近不少网友向我咨询如何学习大数据技术？大数据怎么入门？怎么做大数据分析？数据科学需要学习那些技术？大数据的应用前景等等问题。由于大数据技术涉及内容太庞杂，大数据应用领域广泛，而且各领域和方向采用的…
-
集算器实现外部数据并行计算
文本并行 SPL可将文本文件按体积大致分为N段，只读取其中一段。比如cardInfo.txt存储着一千万条人口信息，将其分为十份，取第二份，代码可以写作： A B 1 =file("d://temp//cardInfo千万.txt") 2 =A1.import@t(;2…
-
web app 、native app、hybrid app比较
app的分类大致可以分为这3种：native app（原生app）web apphybrid app（混合app） Native App 指的是移动端的原生应用,对于 Android 是 apk，对于 iOS 就是 ipa。Native App 是一种基于手机操作系统（iOS 和 Andro…
-
webbench压力测试工具
webbench由Lionbridge公司开发，主要测试每秒钟请求数和每秒钟数据传输量，同时支持静态、动态、SSL部署简单，静动态均可测试。适用于小型网站压力测试。最多可以模拟3万个并发连接去测试网站的负载能力，感觉要比A…
-
Hadoop 系列（一）—— 分布式文件系统 HDFS
一、介绍 HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。 二、HDFS 设计原理 2.1 HDFS 架构 HDFS 遵循主/从架构，由单个 NameNod…
-
0014-Hive中的Timestamp类型日期与Impala中显示不一致分析
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 1.问题描述 Hive表中存储的Timestamp类型的字段显示日期与Impala中查询出来的日期不一致。 2.问题复现 1.创建一个简单的测试表 2.向表中插入一条…
-
hadoop MR 统计分析日志脚本一例
#! /bin/sh ############################ #split today and yesterday for i in $(seq 10) do echo " " >> /u1/hadoop-stat/stat.log done echo "begin["`date "+%Y-%m-%d" -d "-1 days"`"]" >>…