开源

【导读】数据采集是进行大数据分析的前提也是必要条件，在整个流程中占据重要地位。本文将介绍大数据三种采集形式：系统日志采集法、网络数据采集法以及其他数据采集法。 （一）系统日志采集法 系统日志是记录系统…

创建表 create [external<外联>] table log_app_web (log map<string,string>) partitioned by (year int,month int,day int)  ROW FORMAT DELIMITED COLLECTION ITEMS TERMINATED BY '/t'  …

二、预习下 由于我们在上一篇文章中，描述了比较高层的I/O stack的结构，接下来我们来讲讲底层的结构。 这一节，可能绝大多数的人在实际的工作中，并不是涉及到开发，但也是linux I/O中非常重要的。那我们就一一列…

1. Spark提交任务 ./spark-submit --class "com.prime.dsc.mention.main.WordCountForSpark" --master spark://DEV-HADOOP-01:7077 /data/server/spark-1.5.0-bin-hadoop2.6/sparkJar/PRIME_DSC_Mention-1.0.0-SNAP…

很多手游同僚都是在电脑上多开最后导致封号检测等问题。 现在简单解决这个问题，一键连接一个软件，兔子--IP 一键连接后多开的模拟器窗口IP都会发生改变的。 这样以后再上游戏号即可。大大降低检测的风险。具体操作…

今年6月份的时候，小交易平台没有okex，火币网这样的交易深度，吸引不到资金去玩，用户少，在当时的背景下，交易所的创新模式出现了，Fcoin交易平台的横空出世，并在短短的半个月最高涨幅100倍，是什么让他在短时间…

Hive存储是基于hadoop hdfs文件系统的，通过默认内嵌的Derby 数据库或外部数据库系统（如mysql)组织元数据访问，下面就通过实际案例描述其存储过程。   1， 在hive 中创建表，然后把外部csv文件导入其中…

异常信息： 警告: [SetContextPropertiesRule]{Context} Setting property 'source' to 'org.eclipse.jst.jee.server: ' did not find a matching property. 异常原因： 每部署一个web应用到tomcat服务器上就会产生…

传统服务化（SOA）与微服务（Micro Service），并不是相互排斥的，相反，它们是融合在一块的。 国富论与IT企业组织架构 经济学鼻祖亚当斯密在其《国富论》著作中，第一章就是论分工。亚当斯密认为分工的作用有：促…

说起大数据，很多人都能聊上一会，但要是问大数据核心技术有哪些，估计很多人就说不上一二来了。 从机器学习到数据可视化，大数据发展至今已经拥有了一套相当成熟的技术树，不同的技术层面有着不同的技术架构，而且…