大数据

例： class Base(object):def test(self):print("---------Base") class A(Base):def test(self):print("---------A") class B(Base):def test(self):print("---------B") class C(A…

数据平台数据处理流程图 数据准备：主要分为几个来源：FTP数据来源，合作方推送的数据，从携程对外开放的API接口获取数据，酒店管理系统日志数据以及在线旅行社网站的数据源。 数据接入：针对数据多来源的特性开发…

【官宣】只有自身跟上时代，offer就会如期而至最近对求职者来说，似乎颇不太平，各种裁员扑面而来，许多企业（易车、滴滴等）相继官宣裁员信息，包括阿里缩减校招，百度减少社招等，都让人不禁打嗦。但我们华清远见…

一个比较简单，python3多线程使用requests库爬取都挺好，并使用正则提取下载链接，保存到mongodb #!/usr/bin/env python # -*- coding:utf-8 -*- """ @author:Aiker Zhao @file:doutinghao.py @time:下午8:18 """ i…

在提交spark作业的时候，spark出现报错 ./spark-shell 19/05/14 05:37:40 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable …

缺陷管理工具：1. Bugzilla2. Bugfree3. TestDirector （Quality Center）4. ClearQuest5. JIRA6. Mantis7. Bugzero8. BugTracker9. URTracker10.KisTrack…

hadoop忽略回收站删除指定目录或文件/dirhadoop fs -rmr -skipTrash /dir

一、修改分片数 elasticsearch默认分片数为5，副本数为1.如果需要修改分片数有两种方式 1、修改索引settings 查看索引状态：curl -GET "http://localhost:9200/index/__settings" 修改索引状态信息： curl -XP…

二、dm dedup的原理 dmdedup在github上面的代码：https://github.com/dmdedup/dmdedup4.13设计文档http://www.fsl.cs.stonybrook.edu/docs/ols-dmdedup/dmdedup-ols14.pdf作者：dm-dedup was developed in the File…

安装kafka manager [root@emm-kafka01-10--174 ~]# cd /opt/ins/ [root@emm-kafka01-10--174 ins]# ll total 292188 -rwxr-xr-x 1 root root 166044032 Mar 13 15:58 jdk-8u102-linux-x64.rpm -rw-r--r-- 1 root ro…