大数据
-
cephfs 文件空间重建
重置cephfs 清理现有cephfs 所有文件，重建空间： 清理删除 cephfs 关闭所有mds服务 systemctl stop ceph-mds@$HOSTNAME systemctl status ceph-mds@$HOSTNAME 查看cephfs 信息 ## ceph fs ls name: leadorfs, meta…
-
第27讲：Type、Array、List、Tuple模式匹配实战解析
除了普通的×××、字符串类型的模式匹配，scala还提供了很多形式的模式匹配。例如Type、Array、List、Tuple 我们通过代码来说明。 类型模式匹配：判断传入值的类型 def match_type(t&nb…
-
Kafka笔记整理（三）：消费形式验证与性能测试
[TOC] Kafka消费形式验证 前面的《Kafka笔记整理（一）》中有提到消费者的消费形式，说明如下： 1、每个consumer属于一个consumer group，可以指定组id。group.id 2、消费形式： 组内：组内的消费者消费同一份数据…
-
R语言数据挖掘实战系列（4）
R语言数据挖掘实战系列（4）——数据预处理 数据预处理一方面是要提高数据的质量，另一方面是要让数据更好地适应特定的挖掘技术或工具。数据预处理的主要内容包括数据清洗、数据集成、数…
-
Spark Streaming的优化之路—从Receiver到Direct模式
作者：个推数据研发工程师 学长 1 业务背景 随着大数据的快速发展，业务场景越来越复杂，离线式的批处理框架MapReduce已经不能满足业务，大量的场景需要实时的数据处理结果来进行分析、决策。S…
-
如何根据需求分析文档编写测试用例
从拿到需求文档不要立马开始着手写测试用例，需要仔细推敲整理需求，画出系统级、模块内流程图，并找出各种测试点，等对需求进行了头脑风暴般的整理之后，此时已对测试系统的功能很清楚了， 再着手开始写测试用例。…
-
观察者模式+AOP 代码示例
背景 当经纪人创建客户时，需要给对应的经纪人增加战报信息。在代码层面上，客源的相关类只针对客源数据表操作。而战报信息包含了多种业务统计数据，客源只是其中统计的部分数据。鉴于两者相对独立，且客源的战报信…
-
云计算环境下的云存储
云存储的一大优势在于其弹性，其实更准确说最初云存储产品的安全性是产品的附加属性。企业最初选择云计算也绝不是冲着云计算的“安全”，而是因为云计算足够便捷、方便、高性价比和弹性。而被喻为第四次信息革命…
-
MessagePack Java 0.6.X 使用一个消息打包（message-packable）类
使用注解 @Message 来让你可以序列化你自己类中对象的 public 字段。 本代码可以在 https://github.com/cwiki-us-demo/messagepack-6-demo-java/blob/master/src/test/java/com/insight/demo/msgpack/MessagePack6O…
-
安装hadoop伪分布式模式(Single Node Cluster)
目的 本文档介绍如何去安装单节点hadoop集群，以便你可以的了解和使用hadoop的HDFS和MapReduce. 环境： os: CentOS release 6.5 (Final) ip: 172.16.101.58 user：root hadoop-2.9.0.tar.gz SSH无密码登录配置 因为…