开源
-
SPARK大数据计算BUG处理：
大数据计算BUG处理： 程序修改前资源情况： Driver : 1台 Worker : 2台 程序提交申请内存资源 ： 1G内存 内存分配情况 ： 1. 20%用于程序运行 2. 20%用于Shuffle 3. 60%用于RDD缓存 单条TweetBean大小 ： 3k …
-
Spark1.5.1学习笔记（二）IDE开发环境配置
鲁春利的工作笔记，谁说程序员不能有文艺范？
-
重装系统的时候重装不了该怎么办
当电脑使用异常的时候，除了一部分害怕重装系统对电脑的影响的人，大部分人都是选择通过重装系统来解决。但是有些人会出现不了系统重装的情况，比如重装过程出现无法下载系统，无法打开安装器或者重装过程报错10010…
-
python 运行nmon使用说明
python 运行nmon使用说明 第一步：安装：paramikowindow安装方法：pip install paramiko 参考：http://www.jb51.net/article/97655.htm第二步：以下代码包含发送命令与下载单个文件与目录文件下的所有；缺点是没有…
-
05-1cdh搭建之前期优化
cdh搭建之前期优化：具体见链接地址：03搭建cdh 生产环境前的Linux 优化（涉及到Linux内存参数优化） https://blog.51cto.com/12445535/2365948安装cdh前需要这些东西yum -y install chkconfig python bind-utils p…
-
kylin跨集群配置实现读写分离
社区提供的读写分离架构图如下：通过架构图可以看到Kylin会访问两个集群的HDFS，建议两个集群的NameService务必不能相同，尤其是集群启用NameNode HA时，相同的NameService会导致组件在跨集群访问HDFS时因无法区分N…
-
jdbc连接Gbase
package com.jdbclearn.gbase8a.dataload; import java.sql.*; public class TestConnection { public static void main(String args[]) { try { String url = "jdbc:gbase://192.168.1.1:8521/testdb"; String use…
-
性能测试常见指标
1． Vuser虚拟用户 Virtual user，模拟真实业务逻辑步骤的虚拟用户，虚拟用户模拟的操作步骤都被记录在虚拟用户脚本里。Vuser脚本用于描述Vuser在场景中执行的操作。 2． Transaction事务 事…
-
从贝叶斯公式到垃圾邮件的识别
看《***与画家》讲到"防止垃圾邮件的一种方法"，觉得很适合用来表述数学公式与机器学习之间的关系。涉及到机器学习的数学公式比较简单，概率论基础教程都会讲到。解决的问题也很典型： 垃圾邮件的识别。 …