开源
-
hadoop install
1.Hadoop安装步骤将Hadoop文件拷贝到/usr/local目录下并解压Tar -zxvf hadoop-3.0.0.tar.gz将解压后文件重命名hadoop mv hadoop-3.0.0.tar.gz hadoop1.1、配置host ip映射关系 vim /etc/host172.26.19.40 hmaster17…
-
大数据分布式平台Hadoop2.7.7 + Spark2.2.2搭建
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优…
-
Spark笔记整理（十二）：日志记录与监控
1 Standalone模式下 按照香飘叶子的文档部署好完全分布式集群后，提交任务到Spark集群中，查看hadoop01:8080，想点击查看某个已完成应用的历史情况，出现下面的提示： Event logging is not enabled No event logs …
-
MMJ-Spring Boot(Java)获取小程序Openid
背景 开发小程序，想使用微信账号唯一码，API是这么说的wx.login...code 换取 session_key接口地址：https://api.weixin.qq.com/sns/jscode2session?appid=APPID&secret=SECRET&js_code=JSCODE&grant_type=authoriz…
-
Apache Flink官方文档中文版--Flink是什么？
架构 原文链接 Apache Flink是一个用于对无边界和有边界数据流进行有状态计算的框架和分布式处理引擎。Flink设计为运行在所有常见的集群环境中，并且以内存速度和任意规模执行计算。 在这里，我们解释Flink架构…
-
hdfs namenode HA高可用方案
2019/2/18 星期一 hdfs namenode HA高可用方案 1、hadoop-ha 集群运作机制介绍所谓HA，即高可用（7*24 小时不中断服务） //hadoop 2.x 内置了 HA 方案实现高可用最关键的是消除单点故障hadoop-ha 严格来说应该分成…
-
架构设计杂谈001-软件开发人员的成长之路
软件开发人员的成长路线-1 从技术方面来看，基本上就三条主要路线： 1、纯技术路线： 高级开发人员 →系统设计人员→架构师→资深技术专家／资深架构师 2、技术管理路线： 研发型技术管理高级开发人员→ 系统设计人员→…
-
区块链快速入门（四）——BFT（拜占庭容错）共识算法
区块链快速入门（四）——BFT（拜占庭容错）共识算法 一、BFT简介 1、拜占庭将军问题简介 拜占庭将军问题（Byzantine Generals Problem）是Leslie Lamport（2013年的图灵奖得主）用来为描述分布式系统一致性问题（Dis…
-
国内电脑ip地址如何隐藏，切换本地网络IP地址
国内电脑ip地址如何隐藏，切换本地网络IP地址
-
纺织行业管理系统软件_毛织ERP_指点纺织ERP
深圳市指点科技有限公司成立于2011年6月，致力于为纺织行业提供专业纺织贸易ERP信息管理系统及一站式运营服务，助力中国纺织企业实现信息化、智能化发展，推动纺织企业智能化转型升级。 指点科技自成立以来，始终专…