大数据
-
利用Python调用HBASE
利用Python调用HBASE的 需要安装thrift hbase-thrift 启动hbase的thrift服务：bin/hbase-daemon.sh start thrift 默认端口是9090 mysql 到hbase的数据同步： 1、put 2、Importtsv 3、编写MapReduce Job…
-
小编带您Volatile的详解
volatile关键字修饰的共享变量主要有两个特点：1.保证了不同线程访问的内存可见性 2.禁止重排序在说内存可见性和有序性之前，我们有必要看一下Java的内存模型(注意和JVM内存模型的区分)为什么要有java内存模型？首…
-
spring自定义泛型类中AutoWired注入为null
我在实际开发中遇到有一段公共的代码，几个方法都需要掉，但如果单独拉出来写一个方法的话，入参又不同，所以想到了用泛型。 比如这是一段公共代码： //保存订单信息,需要多个方法调用 OrderFilterRequest ord…
-
(版本定制)第15课：Spark Streaming源码解读之No Receivers彻底思考
hu本期内容： 1、Kafka解密 背景： 目前No Receivers在企业中使用的越来越多，No Receivers具有更强的控制度，语义一致性。No Receivers是我们操作数据来源自然方式，操作数据来源使用一个封装…
-
对缓存击穿的一点思考
前言 缓存（内存 or Memcached or Redis.....）在互联网项目中广泛应用，本篇博客将讨论下缓存击穿这一个话题，涵盖缓存击穿的现象、解决的思路、以及通过代码抽象方式来处理缓存击穿。 什么是缓存击穿？ 上面的代…
-
1.分布式与集中式(ZooKeeper手记)
1. 集中式 特点由一台或多台主计算机组成的中心节点，数据集中存储在这个中间节点上，并且整个系统的所有业务单元都集中部署在这个中心节点上，系统所有功能均有其集中处理。简言之：终端或客户端只负责数据的输入…
-
解决 Birt 等报表工具制作报表的几个难题
解决Birt等报表工具制作报表的几个难题 在上一篇《Birt 如何实现不规则月份统计》中，我们讲解了如何帮助 Birt 制作这种报表的详细过程，在本文中我们再继续讨论几个类似的制作难题，并把说明集中在如何编写集算器 …
-
分分钟批量删除成千上万个SKU--快到飞起来的Lazada批量删除方法
在Lazada的运营方面，大部分的商家选择的都是铺货的模式，也都取得了不错的效果，因为铺货的产品及SKU的数量在一定程度上是直接影响Lazada店铺的曝光度及流量的。 但随着Lazada加强对产品SKU的控管，120天内没流量…
-
全新个人软件测试博客【cydtest】上线
经过几天的努力，全新个人软件测试博客【cydtest】上线了。 地址：http://www.cydtest.com
-
Hadoop2.0分布式集群的平台搭建
一、Hadoop集群安装前的准备基础环境 四台Centos6.5 IP地址： 192.168.174.128 192.168.174.129 192.168.174.130 192.168.174.131 四台主机新建hadoop用户并实现ssh免密登陆 iptables关闭和selinux为disabled 1.修…