大数据
-
linux下redmine3.3迁移、升级、插件备忘录
服务现状 地址：http://ip:3000 主要用到了redmine（rails）服务、mysql服务，还有些其他服务！ 基础环境 yum install -y gcc-c++ patch readline readline-devel zlib zlib-devel libyaml-devel libffi-devel open…
-
记录一次生产环境hadoop集群优化以及pid文件缺失处理
一、优化准备 优化需要根据实际情况综合分析 1、关闭系统swap分区（如果未关闭的话） 在Hadoop中，如果使用系统默认设置，会导致swap分区被频繁使用，集群会不断发出警告。 对于每个作业处理的数据量和每个Task中用…
-
jmeter中html报告生成方式
1、使用命名： >jmeter -g loginWithPassword100c180s.jtl -o ./report 解释：jmeter -g 为固定写法；loginWithPassword100c180s.jtl：为.jtl文件-o ：指定文件./report：为当路径： 中间出问题记录：An error o…
-
SparkStreaming的实战案例
废话不多说，直接上干货！！！相关依赖： <properties> <project.build.sourceEncoding>UTF8</project.build.sourceEncoding> <maven.compiler.source>1.8</maven.compiler.source> …
-
pandas层级索引
层级索引（hierarchical indexing） 下面创建一个Series， 在输入索引Index时，输入了由两个子list组成的list， 第一个子list是外层索引，第二个list是内层索引。 示例代码： import pandas as pd import numpy as …
-
软件设计是怎样炼成的（2）——优秀设计从分析需求开始
摘要： 设计应该针对需求来做，这个大道理似乎人人都懂，但实际操作时往往就不是这样。所以我们也不说大道理，直接通过一个“很简单”的案例来体验一下优秀设计应该如何从分析需求开始，体验架构设计是如何全面考虑各…
-
Elasticsearch refresh 和 fresh 特性梳理
refresh 数据从index buffer中进入filesystem cache的过程）translog中的操作记录并不会被清除，当数据从filesystem cache中被写入磁盘之后才会将translog中清空。 手动执行refresh： 调用_refresh就可以立即实现内…
-
Spring Boot中Jackson应用详解
Spring Boot支持与三种JSON mapping库集成：Gson、Jackson和JSON-B。Jackson是首选和默认的。 Jackson是spring-boot-starter-json依赖中的一部分，spring-boot-starter-web中包含spring-boot-starter-json。也就是…
-
table页面的处理
# -*- coding:utf-8 -*- # date = 2019/11/13 # name = "yedeng" # project_name = sjkb-ui # explain : 数据看板基础功能 import os from utils.GetelementFromYaml import ReadyamlToElement from utils.log impo…
-
core_framework —— 基于libev的轻量级lua网络开发框架
大道至简, 返璞归真. 前言 在发表这篇博文的前夕, 还有一些小伙伴在提问一些以下相关的问题: 性能怎么样？ 是否容易上手? 开发目标在哪? 如何反馈问题? 对比行业内的lua开源项目有何优势? 等等, 以上问题会在本文中…