开源
-
大数据踩过的坑
搭建集群的时候，hdfs的数据挂载点一定要指定到独立的目录，不要制定到/home之类的下面，因为在使用过程中很有可能导致某个挂载点满了，要是这样的话，/home可能就满了，影响linux系统的正常使用。 如果多个挂载点…
-
python--通过xpath相对节点位置查找元素（续）
之前写过相对父元素及下一个兄弟元素的方法。 这次补充一下xpath相对节点位置查找元素的所有方法。例子就不举了，自己可以去练练。 xpath相对节点查找方法： 1、xpath('./ancestor::*')查找当前节点的所有先辈节点…
-
Lintcode1 A+B Problem solution 题解
【题目描述】 Write a function that add two numbers A and B. You should not use + or any arithmetic operators. Notice:There is no need to read data from standard input stream. Both parameters are give…
-
动手搭建docker并在docker容器中建spark集群
本人亲自测试搭建,由于是初学一路搭建下来走了不少弯路。如有不对或更简洁的步骤请提出环境： win10上安装的虚拟机，虚拟机装的centos7，并liunx界面化(之前搭建一次在网和端口都可以telnet前提下，就是访问不了doc…
-
企业级大数据平台
部署：分为测试环境、生产环境。Hadoop发行版本：Apache、CDH（tar包、rpm包、parcel包，必须由cloudera manager进行管理）、HDP注意：大数据框架内禁用IPV6；同时要修改用户的最大进程数、单个进程打开的最大文件…
-
ubuntu18.04 tensorflow 机器学习环境搭建
1. 主机配置说明 在前几天，得知公司新采购了几台主机，所以我们组领导就向公司申请了一台回来，做数据分析。 服务器买的是惠普的主机，型号是：HP EliteDesk 800 G3。不算强劲，但用来做GPU的数据分析测试，也可以…
-
jmeter常用Beanshell脚本
整理了一批jmeter常用的beanshell脚本供大家参考！ 时间戳 import java.text.SimpleDateFormat; import java.util.Calendar; import java.util.Date; try{ Date date =new Date(); //获取当前时间 SimpleDateFormat…
-
软件设计原则和方法通俗理解
网上有很多关于软件设计原则的说法，很精确，很官方，但是对于有些初学者来说可能是不知所云，到最后把自己给郁闷到了，学习软件应该是一件愉快的事情。 那么软件设计原则有哪些呢？ (1)可靠性 做出一个可靠的软件…
-
轻量级可嵌入多维分析后台
问题的提出 多维分析（BI）系统后台数据源通常有三种选择。一、普通数据库；二、专业数据仓库；三、BI 系统自带的数据源。 但是，这三种选择都有各自的问题。普通数据库一般都是行式存储，很难获得多维分析希望的高…
-
python spark windows pycharm pyspark环境配置
1、下载如下 放在D盘添加 SPARK_HOME = D:/spark-2.3.0-bin-hadoop2.7。 并将 %SPARK_HOME%/bin 添加至环境变量PATH。 然后进入命令行，输入pyspark命令。若成功执行。则成功设置环境变量 找到pycharm sitepackage…