大数据

采用filebeat收集日志，日志文件频繁rotate，造成filebeat占用文件不释放，只要filebeat保持着被删除文件Open状态，操作系统就不释放磁盘空间，导致可用磁盘空间逐渐减小。如下监控图，杀掉filebeat进程之后，磁盘…

放假了，还有好些网站没有扫怎么办，就算使用TeamViewer远程也不可能及时，而且晚上也不方便。就在网上看能不能批量自动扫描，结果还真有。参考于：http://www.myhack58.com/Article/html/3/8/2013/40565.htm 使用…

Storm学习的HelloWorld 1、下载Storm-start(https://github.com/nathanmarz/storm-starter/archive/master.zip) 2、进入下载目录，对zip文件解压 3、进入解压后的文件目录，修改m2-pom.xml（将twitter4j-core和twit…

1、安装依赖包 yum install epel-release -y   yum install gcc gcc-c++ bc openssl-devel automake ncurses-devel libibverbs -y &n…

鲁春利的工作笔记，谁说程序员不能有文艺范？ HDFS Architecture见：http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html或下载的tar包解压后的hadoop-2.6.0/share/doc/hadoop/…

 error  in ./src/pages/home.vue Module build failed: Error: Vue packages version mismatch: - vue@2.4.4 - vue-template-compiler@2.5.13 This may cause things to work incorrectly. Make sure to…

“指向” 即定义一张表中的数据条目指向另一张表中的条目，建立这种有向的“指向”可以让表以字段的方式查询到被指向的条目(们)，所以，如果要双向查询，就需要双向指向。 One To Many 在“多”方表中添加“一”方的id作为F…

大数据框架 hadoop/spark/hbase/storm/hive 等 最近会抽时间开写这篇博客

logstash可以理解为log的采集传输组件 老样子第一步下载 sudo wget https://artifacts.elastic.co/downloads/logstash/logstash-6.2.4.tar.gz 解压出来 sudo tar -zxvf logstash-6.2.4.tar.gz 编辑一下配置配置ip和…

                         大数据波分传输工程方案设计主要细节 大数据时代已经有好几年了，波分传输被越来越多的人使用，甚至一些骨干网传输都…