大数据

2019/2/18 星期一 yarn知识体系总结 Yarn 产生的原因（1）MapreduceV1 中，jobtracker 存在瓶颈：集群上运行的所有mr 程序都有jobtracker 来调度SPOF 单点故障职责划分不清晰（2） 将jobtracker 的职责划分成两个部…

        Test Project Administrator（简称TPA）是经纬恒润自主研发的一款专业的测试项目管理工具，目前已广泛的应用于国内二十余个整车厂和零部件供应商。它可以管理测试过程中的所有数据和文档，包括需求、用例、…

背景 在我们日常业务开发过程中，或多或少都会用到并发的功能。那么在用到并发功能的过程中，就肯定会碰到下面这个问题 并发线程池到底设置多大呢？ 通常有点年纪的程序员或许都听说这样一个说法 （其中 N 代表 CPU…

一、 pgrep 是通过程序的名字来查询进程的工具，一般是用来判断程序是否正在运行。在服务器的配置和管理中，这个工具常被应用，简单明了。   用法： #pgrep [选项] [程序名]     pgrep [-flvx]…

类 Packer/Unpacker 允许序列化和反序列化多种类型的变量，如后续程序所示。这个类启用序列化和反序列化多种类型的变量和序列化主要类型变量以及包装类，String 对象，byte[] 对象， ByteBuffer 对象等的方法相似。…

关于架构的定义，业界有太多不同的说法，但大同小异，本质趋同，只不过侧重各有不同，这里选取IEEE（电气和电子工程师协会）的定义： 架构描述了一个系统的基本组织结构，包含了组成系统的组件、组件之间的关系、组…

一 . 什么是固定集合 MongoDB中有一种特殊类型的集合，值得我们特别留意，那就是固定集合（capped collection）。 固定集合可以声明collection的容量大小，其行为类似于循环队列。数据插入时，新文档会被插入到队列…

python的unittest模块提供了一个测试框架，只要我们写一个继承unittest.TestCase的类，类中用setUp做初始化，用tearDown做清理。主要用到的函数有：failedinfo表示不成立打印信息failedinfo，为可选参数self.fail([…

确权、交易授权、维权，微版权时代的全链路通关利器 不难发现，微版权时代已到来。过去，版权是一本书、一部电影、一首歌；现在，版权可以是短视频，或者公众号的一篇文章。但微版权时代，创造者维权不容易，创造者…

本文作者：孙梦瑶 | 美团点评 本文主要内容：通过将分布式实时计算框架 Flink 与 Storm 进行性能对比，为美团点评实时计算平台和业务提供数据参考。 一. 背景 Apache Flink 和 Apache Storm 是当前业界广泛使用的两…