开源

（1）StreamingContext   与spark core的编程类似，在编写SparkStreaming的程序时，也需要一个通用的编程入口----StreamingContext。StreamingContext的创建： object StreamingContextTest { def main(a…

3.1 mapreduce的shuffle机制 3.1.1 概述： v mapreduce中，map阶段处理的数据如何传递给reduce阶段，是mapreduce框架中最关键的一个流程，这个流程就叫shuffle； v shuffle: 洗牌、发牌——（核心机制…

数据分析是指采用恰当的统计分析方法对收集来的大量数据进行分析，提取出有用信息同时形成结论，即对数据加以详细研究和概括总结的过程。数据分析需要掌握数学知识和分析工具，数学知识包含统计学、概率论和数理统…

创业公司经历了种子期、死亡谷，终于来到了成长期。对创始团队来说，技术业务上的接连挑战还好应对，头疼的是随着公司的发展，一个个新名词、新概念的不断到来，消化确定需要时间。其中最头疼的名词之一，就是：绩…

看到很多人解释为什么公司都要招聘测试开发，在说效率，在说岗位职责，没有人从这个行业发展的变化去说的。在开始正文之前，我先抛出一个观点，做80%的做测试的，都称不上为测试工程师。好的，带着这个观点，咱们从…

1、积极主动地与客户进行沟通 (1）、项目中一定要有沟通策略,和高管如何汇报工作进展,取得支持?和中层如何就业务目标不断确认,逐步清晰?和基层如何就项目应用操作模式达成一致,持续改进?都需要通过沟通反馈完成.&nb…

 1、简介     Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进…

选择一个文件架，打开cmdvirtualenv envname # 创建一个名字为envname的虚拟环境dir # 查看当前目录可以知道一个envname的文件已经被创建virtualenv -p python2 envname # 如果安装了多个python版本，如py2和py3，…

场景         Thrift框架采用了异常处理机制，当客户端异常断开连接，服务端这个时候尝试发送数据给客户端，Thrift库会抛出异常，导致进程中断。这种情况是非常正常的，服务器端应该捕获异常的发生，但是不应该异常…

本文介绍了Keycloak基础知识、ADFS和Salesforce IDP配置、Spring Boot和Angular集成Keycloak实现单点登录的方法。 本文代码以Angular 8集成Spring Boot 2详解为基础，删除了原JWT、用户、权限、登录等代码。Angular…