开源

  • Metaspace元空间

    1.元空间: 元空间的本质和永久代类似,都是对JVM规范中方法区的实现。不过元空间与永久代之间最大的区别在于:元空间并不在虚拟机中,而是使用本地内存。因此,默认情况下,元空间的大小仅受本地内存限制。 但可以…

    大数据 2021年11月14日
  • Spring boot集成Redis(1)—进行增加,更新,查询,批量删除等操作

    前言:最近工作中使用到了redis缓存,故分享一点自己总结的东西,这篇文章使用的是StringRedisTemplate进行学习,这里值的说的是,(1)StringRedisTemplate在进行批量删除操作时我们需对template进行序列化,(2)…

    大数据 2021年11月14日
  • storm记录--2-- Storm是什么

    Storm是什么: 如果只用一句话来描述storm的话,可能会是这样:分布式实时计算系统。按照storm作者的说法,storm对于实时计算的意义类似于hadoop对于批处理的意义。我们都知道,根据google mapreduce来实现的hadoop…

    大数据 2021年11月14日
  • spark优化(一):合理分配资源

    分配更多资源:性能调优的王道,就是增加和分配更多的资源,性能和速度上的提升,是显而易见的;基本上,在一定范围之内,增加资源与性能的提升,是成正比的;写完了一个复杂的spark作业之后,进行性能调优的时候,…

    大数据 2021年11月14日
  • Macac App Inspetor经过的坑

    Macac App Inspetor经过的坑 环境需要 要安装 app-inspector, 你需要首先安装 Node.js。 国内用户可以安装 cnpm 加快 NPM 模块安装速度。 另外,推荐安装 macaca-cli. $ npm install macaca-cli -g 你需要准备好你…

    大数据 2021年11月14日
  • Selenium1(Selenium RC)

    资源推荐: 视频资源: 软件测试相关系列视频 社区资源: 自动化测试交流群 Selenium1(Selenium RC) Selenium1组件        Selenium Server, 负责启动和关闭浏览器,以及…

    大数据 2021年11月14日
  • 学习日志---hadoop的join处理

    Join方法 需求:处理input1和input2文件,两个文件中的id都一样,也就是key值一样,value值不同,把两者合并。input1存的是id和名字,input2存的是id和各种信息。 处理方法一: package org.robby.join; impor…

    大数据 2021年11月14日
  • EasyScheduler调度系统的架构原理及实现思路

    系统架构设计 在对调度系统架构说明之前,我们先来认识一下调度系统常用的名词 1.名词解释 DAG: 全称Directed Acyclic Graph,简称DAG。工作流中的Task任务以有向无环图的形式组装起来,从入度为零的节点进行拓扑…

    大数据 2021年11月14日
  • Windows 上安装 Scala

    在安装 Scala 之前需要先安装 Java 环境,具体安装的详细方法就不在这里描述了。 您可以自行搜索我们网站中的内容获得其他网站的帮助来获得如何安装 Java 环境的方法。 接下来,我们可以从 Scala 官网地址 htt…

    大数据 2021年11月14日
  • 奇点云数据中台技术汇(九)| 如何建设数据安全体系?

    数据安全是实现隐私保护的最重要手段之一。数据安全并不是一个独立的要素,而是需要连同网络安全、系统安全、业务安全等多种因素,只有全部都做好了,才能最终达到数据安全的效果。 随着AI、DT时代的来临,传统企业…

    大数据 2021年11月14日