开源

网上有《What Test Engineers do at Google》的原文翻译，以及相关中文书籍《google软件测试之道》。今天不会在这里搬内容，写一些读书笔记和感悟。 测试组织架构 测试团队成败，组织架构也是影响因素之一。Google…

第一次看到Spark崩溃 Spark Shell内存OOM的现象 要搞Spark图计算，所以用了Google的web-Google.txt，大小71.8MB。 以命令： val graph = GraphLoader.edgeListFile(sc,"hdfs://192.168.0.10:9000/input/graph/web-G…

需要sun的jdk，所以先要卸载openjdk [root@hadoop-1 ~]# rpm -qa | grep openjdk | xargs rpm -e --nodeps 好了 release notes http://hadoop.apache.org/releases.html 4月8日有一个3.1的新版本，下下来 wget http…

flink1.8 对hive 的支持不够好，造成300W的数据，居然读了2个小时，打算将程序迁移至spark。 先把代码贴上。 后发现sql不应该有where条件，去掉后速度还行。 maven <dependency> <groupId>org.apache.h…

文章首发：行为型模式：责任链模式 十一大行为型模式之四：责任链模式。 简介 姓名 ：责任链模式 英文名 ：Chain of Responsibility Pattern 价值观 ：责任归我 个人介绍 ：Avoid coupling the sender of a request…

一：安装Agent rz， 把lr_agent_for_linux.zip 放到linux上。 unzip，解压缩。 chmod -R 777 lr_agent_for_linux/* cd lr_agent_for_linux ./×××taller.sh 按提示操作  二：安装依赖包 yum whatprovides libstdc++.…

1.关闭计算机的自动更新、防火墙、杀毒软件。 2.修改本机的网络ID与licence里的hostID一致：  打开网络域共享中心-->本地连接属性->配置-->高级-->NetworkAddress，把值修改为licence里一致。 3.…

请看上一篇linux 的安装。 环境：centos6.5    3台主机   （复制主机，可以直接复制虚拟机文件）一台为主，复制的为从。 master-ip:192.168.237.10    slave1-ip:192.168.237.11&nbs…

第一天 2.Hadoop框架介绍与搜索技术体系介绍 1. 大数据典型特性与分布式开发难点 2. Hadoop框架介绍与搜索技术体系介绍 3. Hadoop版本与特性介绍 4. Hadoop核心模块之HDFS分布式文件系统架构介绍 5. Hadoop核心模块…

Hadoop的编程可以是在Linux环境或Winows环境中，在此以Windows环境为示例，以Eclipse工具为主（也可以用IDEA）。网上也有很多开发的文章，在此也参考他们的内容只作简单的介绍和要点总结。 　　Hadoop是一个强大的…