大数据
-
软件设计相关名词
总结下软件底层设计相关的名称(后续想到会更新) ------------------------------------------------------------------------------------------------------ 产品功能架构图 产品技术架构图 产品部署模式
-
SVN 每次操作都需要重输入用户名密码问题
最近忘记SVN密码,让管理员重新初始化账号密码之后,每次操作SVN都需要输入账号、密码,即使勾选保存密码也无济于事。 琢磨一阵之后,发现把目录C:/Users/Adminis…
-
十二、hadoop的序列化
一、序列化基本概述 1、何为序列化 序列化就是将内存中的对象,转换成字节序列(或者按照其他数据传输协议转换),以便于持久化存储到磁盘中以及网络传输 2、为什么需要序列化 一般情况下,对象只存储在本地的内存…
-
hive on tez sql 优化
select t.id end_usr_id, t.end_user_name end_usr_name, t.end_user_real_name end_usr_nknm, t.end_user_password end_usr_p…
-
ELK大数据分析课程
ELK大数据分析课程 文档出自:广通学院 版本:1.0 QQ:430696786 微信号:winlone 官方资料: beats文件采集:https://www.elastic.co/products/beats logstash日志分析…
-
Linux内核参数调优(生产慎用)
Linux中出现大量TIME_WAIT的解决办法 实际工作中,最好让运维去调整。 查看命令:netstat -ae | grep "TIME_WAIT" | wc -l 通过调整内核参数解决:vi /etc/sysctl.conf ,加入以下内容 net.ipv4.tcp_tw_reuse = 1 …
-
Flume自定义Source
模拟编写了一个Flume 1.7中TAILDIR的功能实现,通过手动控制文件的读取位置来达到对文件的读写,防止flume挂了之后重复消费的情况。以下是代码实现,仅做参考,生产上直接用TAILDIR读取文件内容即可,若要读取一个…
-
0代码实现滚动升级不断服
升级不断服存在的问题 要实现升级不断服,通常需要解决如下问题: 停止服务的时候,可能引起业务中断。在停止服务的过程中,可能服务正在处理请求,新的请求可能持续的发送到该服务。 在微服务架构下,一般都会通过…
-
elasticsearch如何安全加固?
elasticsearch3.4.6安全加固 安全从来不是等到出事才要注意的事情,可以说安全是第一重要的事情。技术总监、运维总监、架构师还是一线工程师,都应该有安全意识。Elasticsearch 的用户现在越来越多,有些更加已经成…
-
学习札记——Rspec+factory_girl进行复杂模型测试
本文主要介绍怎么使用Rspec+factory_girl进行复杂模型测试, 首先介绍下本人使用的模型机构 class Nodebelongs_to :parent,:class_name =>Nodehas_many :children,:class_name =>Node &…