大数据

　　好程序员大数据学习路线分享AWK怎详解，awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每…

1. 前言    用 GitHub 管理自己的开源项目有几年了，最近一年更新得比较多，仓库也越来越多越来越大。有时候感觉GitHub太慢，尤其是最近感觉更为明显，于是萌生了再找个国内类似GitHub的代码托管平台的想…

数据治理包括：隐私、安全、合规性3个方面。 大数据价值创造的前提和基础是企业自身的数据以及全社会开放的数据，当数据开放为社会带来好处的同时，也同时因此了隐私侵犯问题。隐私是社会赋予个人或者企业的权利，…

如今的“青春饭”已经远远超出了传统的范畴，IT程序员、网编、公关人员、时尚类记者、电视摄影编导、包装歌手影星的企宣以及直销电脑、×××人员等正组成新的青春饭群体——— 在人们的传统观念中，青春饭不能说不是正当的…

下载jdk,安装java环境 环境变量配置： JAVA_HOME CLASSPATH Path 测试验证：CMD命令输入Java 安装nodejs 环境变量配置： Path 测试验证：CMD命令输入node-v 安装ADT ANDROID_HOME Path 安装Appium for windows 配置…

1、hadoop默认临时数据文件是存储于Unix的tmp目录下（cd /tmp 包含hadoop-root等文件），如果不进行修改，linux系统重启后hadoop有可能出现不正常现象；故需要修改hadoop的临时文件存放目录2、vim core-site.xml 配…

规划硬件我们主要介绍两个方面：一个是Master怎么规划，一个是Slave怎么规划，选择是不一样的。其他规划诸如容量以及操作系统的选择也会简单介绍，对于了解Hadoop的操作环境有着重要帮助作用。 首先我们看一下Slave…

    对软件项目做开发计划也许是最不靠谱的一件事了，由于需求的变动、开发人员的水平以及如人事变动等不可预测的情况，导致项目的延期成为了家常便饭。而现在的项目管理人员往往是凭经验来制作进度计划…

一、通过requests发送请求 之前一直使用urllib以及urllib2模拟http请求发送，在实际场景中，我们需要造自己定义好的header、body等等，使用urllib很麻烦，很偶然的机会，接触到了requests，可以通过发送xml、简单易…

在工作中，我们需要用到自定义UDF函数：     1.可以创建持久函数     2.也可以将其编译在源码中 本文档以源码编译的方式使用，下面为编译步骤； 下载源码包 wget http://archive.cloudera.com/cdh6/cdh/5/hive-1.1.…