开源
-
软件生命周期及模型之我见
所谓的软件生命周期，顾名思义，就是指软件从生产到停止使用的生命周期。 SDLC, Software Development Life Cycle is a process used by software industry to design, develop and test high quality softwares.&n…
-
Hadoop初体验：快速搭建Hadoop伪分布式环境
0.前言 本文旨在使用一个全新安装好的Linux系统从0开始进行Hadoop伪分布式环境的搭建，以达到快速搭建的目的，从而体验Hadoop的魅力所在，为后面的继续学习提供基础环境。 &nb…
-
Hadoop 查看某个文件分成几个块，分别在那台机架的哪个机器上
命令是 hadoop fsck /g6/input/baidu.log -files -blocks -locations -racks [hadoop@hadoop002 ~]$ hadoop fsck /g6/input/baidu.log -files -blocks -locations -racks DEPRECATED: Use of this script to execut…
-
数组中的排序分析及奇偶排序 - 算法数据结构面试分享（四）
数组中的排序分析及奇偶排序 我们之前在课本上学习过一般的排序方法，如冒泡，快排，插入，归并。其中时间复杂度有O(N), 和O(Nlogn), 以及O(N2）的。今天我们在这里看一些特定情况下的排序，并否所有的排序都是基于…
-
ubuntu安装gitolite
ubuntu安装gitolite 1、新建虚拟机。 2、如果模板过来的，运行pppoecnf找到网卡 3、网卡IP地址配置vi/etc/network/interfaces添加 auto eth2iface eth2 inet staticaddress 10.7.1.xnetmask 255.255.255.0gateway 1…
-
Hadoop学习--通过API上传文件--day04
import java.io.BufferedInputStream; import java.io.BufferedOutputStream; import java.io.ByteArrayOutputStream; import java.io.FileInputStream; import java.io.InputStream; import java.net.URL; import …
-
centos6.5下部署用于生产的hadoop，并使用C语言API连接hadoop
##### ####安装hadoop2.6.0完全分布式集群 ##### ####文件及系统版本： #### hadoop-2.6.0 Java version 1.8.0_77 centos 64位 ####预备 #### 在/home/hadoop/下：mkdir Cloud 把java和hadoop安装包放在/home/hadoo…
-
安装Keras的问题：Failed building wheel for scipy
安装Keras的过程中出现了下边的问题： Failed building wheel for scipy， Failed cleaning build dir for scipy pip在windows下不工作。 处理办法： 手工下载Scipy: http://www.lfd.uci.edu/~gohlke/pythonli…
-
Spark Python操作命令三
12 数据格式 [[u'3', u'5'], [u'4', u'6'], [u'4', u'5'], [u'4', u'2']] 拆分或截取的原始数据， 可以通过 map 中的 x[0], x[1] 来获取对应列的数据 可以通过 map 来转换为key-value 数据格式 例如： df3 = df2…
-
Hadoop集群(五) Hive安装
作为一个多年的DBA，hadoop家族中，最亲切的产品就是hive了。毕竟SQL的使用还是很熟悉的。再也不用担心编写Mapreducer的痛苦了。 首先还是简单介绍一下Hive吧Hive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在…