大数据

[TOC] 一、Hadoop1.x和Hadoop2.x架构区别 ​ 在Hadoop1.x中，MapReduce中本身负责资源的调度以及业务逻辑运算，耦合度较大，而且当时只支持MapReduce一个框架。​ 在Hadoop2.x中，增加了yarn，专门负责资源的调度，Ma…

Ubuntu系统使用crontab定时执行python脚本 crontab -e配置完成后，如何把保存并退出？ 1.Ctrl+O 写入 2.出现“FIile name to Write...”，输入Enter 3.Ctrl+x 保存输出 提示“crontab:installing new crontab”表示成功…

在2017年8月，×××公布了首批55个“互联网+”智慧能源（能源互联网）示范项目。其中包括12个城市能源互联网综合示范项目、12个园区能源互联网综合示范项目。城市与能源，再次成为我国社会经济发展的关键词。但问题在于…

何谓持久化，就是媳妇让你，持久一些。 说白了持久化：就是将内存中的数据保存到磁盘上的过程（数据库也算磁盘的特殊表现），以保证宕机或断电后，可以继续访问。java中常见的持久化框架，如Hibernate,ibatis,jdbc…

好程序员大数据教程Scala系列之类 类的定义 Scala 访问修饰符基本和Java的一样，分别有：private，protected，public。 如果没有指定访问修饰符符，默认情况下，Scala 对象的访问级别都是 public。 私有(Private)成…

1.4.1  性能测试 系统的性能是一个很大的概念，覆盖面非常广泛，软件系统的性能包括执行效率、资源占用、系统稳定性、安全性、兼容性、可靠性、可扩展性等。性能测试是为描述测试对象与性能相关的特征并对其进…

利用Docker  安装项目： local模式要设置sparklocal.spark.driver.host yarn模式中只设置sparklocal.spark.driver.host和可以启动，但是无法执行任何语句，需要再设置 sparkyarn.spark.driver.bindAddress 和 …

HyperLeger Fabric SDK开发（八）——msp 一、msp简介 1、msp简介 msp支持在Fabric网络上创建和更新用户。MSP客户端支持以下操作：Enroll，Reenroll，Register，Revoke和GetSigningIdentity。官方文档：https://godoc…

软件架构万字漫谈：业务架构、应用架构与云基础架构 本部分节选自《软件架构设计》 软件开发就是把一个复杂的问题分解为一系列简单的问题，再把一系列简单的解决方案组合成一个复杂的解决方案。而软件开发中最大的…