开源
-
rsync+inotify文件实时同步
所需软件下载地址： http://pan.baidu.com/s/1ikubG http://pan.baidu.com/s/1d0C1L 本实验实现的是单向同步，非双向同步 实验环境：两台虚拟机，我这是两台CentOS5.5 软件部署： 服务端（IP:192.168.1.104）：rsyn…
-
三、spark--spark调度原理分析
[TOC] 一、wordcount程序的执行过程 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object WordCount { def main(args: Array[String]): Unit = { //创建spark配置文件对象.…
-
Hadoop入门
MapReduce&HDFS简介 一、Hadoop简介: 结构化数据：表,关系型数据库//有严格的约束 半结构化数据：html,json,yaml,有元数据// 有约束，缺少严格的约束 非结构化数据：没有预定义的模型,元数据 //日志数据等 搜索…
-
软件设计的思想与哲学
以下是从比较经典的书籍中摘录了的几条跟软件设计相关的原则和思想，这些思想不仅可以帮助你在设计软件、编写代码时有用，而且正如Mike Gancarz的《Linux/Unix设计思想》的译者序的作者漆犇所说“如果…
-
解读 2018：13 家开源框架谁能统一流计算？
018 年接近尾声，我018 年接近尾声，我策划了“解读 2018”年终技术盘点系列文章，希望能够给读者清晰地梳理出重要技术领域在这一年来的发展和变化。本文是实时流计算 2018 年终盘点，作者对实时流计算技术的发展现状…
-
Tableau中的换位思考 -- 兼谈筛选器作用下维持百
Tableau是一个十分易学易上手的软件。看两三个小时的入门教程，就能做出一个看上去很不错的报表，非常有成就感。然而当你学到一定程度或者从事数据可视化工作一段时间，就会发现自己的Tableau水平遇到了瓶颈，很难…
-
爱数上新，AISHU诠释新征程
爱数公司上新啦。 2019年底，爱数在主题为数据「智」上的多模态数据智能峰会上启动了全新品牌形象：AISHU。新品牌形象让人自然而然联想到人工智能（AI）和数据(SHU）。爱数总裁贺鸿富介绍：“爱数在加速走向全球市场…
-
XX阅读平台-性能分析调研
背景介绍： 由于"XX阅读平台"是一个公益项目，从产品设计、开发到测试都是义工参加，项目组织结构松散，对这样的产品进行性能分析调研没有评判需求基准，只能按照常见的性能分析策略开展工作，针对项目产品特点，性…
-
Spark 累加器实验
以下代码用 Pyspark + IPython 完成 统计日志空行的数量： 读取日志，创建RDD： myrdd = sc.textFile("access.log") 不使用累加器： In [68]: s = 0 In [69]: def f(…
-
Fiddler get和post数据
Get和post数据可以用jmeter或python，但Fiddler也可以实现喔，非常简单。 打开Fiddler，去到Composer-----Parsed 方法可以下拉选择，get或post，还有其他很多方法； 地址写上自己的服务器地址…