开源

  • (版本定制)第8课:Spark Streaming源码解读之

    本篇博客将详细探讨DStream模板下的RDD是如何被创建,然后被执行的。在开始叙述之前,先来思考几个问题,本篇文章也就是基于此问题构建的。 1. RDD是谁产生的? 2. 如何产生RDD? 带着这两个问题开…

    大数据 2021年11月4日
  • 2018-09-03期 Hive 分区表

    一、分区表概述 分区表也是内部表,创建表时可以同时为表创建一个或多个分区,这样我们在加载数据时为其指定具体的分区,查询数据时可以指定具体的分区从而提高效率,分区可以理解为表的一个特殊的列。关键字是part…

    大数据 2021年11月4日
  • DataPipeline丨「自定义」数据源,解决复杂请求逻辑

    A公司专注为各种规模和复杂程度的金融投资机构提供一体化投资管理系统,系统主要由投资组合管理、交易执行管理、实时监控管理、风险管理等功能模块构成。随着企业管理产品数量的不断增多,大量数据分散在各券商系统…

    大数据 2021年11月4日
  • 揭秘“撩”大数据的正确姿势:生动示例解说大数据“三驾马车”

    我是我:“缘起于美丽,相识于邂逅,厮守到白头!” 众听众:“呃,难道今天是要分享如何作诗?!” 我是我:“大家不要误会,今天主要的分享不是如何作诗,而是《揭秘:‘撩’大数据的正确姿势》,下面进入正题。” 话说当…

    大数据 2021年11月4日
  • Jenkins打包上传至远程服务器

    一,设置远程服务器信息      点击高级,设置远程服务器密码等信息。 二,打包上传      在配置页,构建模块,选择如下:      配置上传文件以及上传后执…

    大数据 2021年11月4日
  • 基于IPD的产品开发体系及实践

    导言:在自己从事产品研发实践和管理的十几年职业生涯里,经历过以瀑布式开发为主导的产品研发模式,经历过以敏捷开发为主导的产品研发模式,其相应的背景也是在软件项目和互联网软件平台为主导的情境下。但是当企…

    大数据 2021年11月4日
  • 湖北以外地区新增确诊连降13天 | 2月17日全国疫情播报

    #永洪科技今日疫情播报#最新数据显示:截至2月17日8:00,我国共确诊70635例,疑似7264例,治愈10853例 ,死亡1772例。 疫情继续向着好的趋势发展,全国不含湖北地区新增确诊、新增疑似和现存确诊这几个关键指标继续…

    大数据 2021年11月4日
  • 初识Spark之 Spark API

    API应用可以通过使用Spark提供的库获得Spark集群的计算能力,这些库都是Scala编写的,但是Spark提供了面向各种语言的API,例如Scala、Python、Java等,所以可以使用以上语言进行Spark应用开发。 Spark的API主要由两…

    大数据 2021年11月4日
  • 研发无忧:超过90%的程序员都需要深入学习项目知识

    相信大多程序员做久了,都会有一种迷茫,感觉自己像机器一样编码。 对自己做过的功能模块也不敢拍胸脯说质量是过硬的。 程序员的工作性质,决定了大多数人不能在这个岗位上做太久。 早点转型成为了必然。 即便不转…

    大数据 2021年11月4日
  • git 在windows下的应用(一) - 本地仓库代码管理

    访问https://gitforwindows.org/  下载一个安装包,一路next下去 git config --global user.name "Pcdog" git config --global user.email "pcdogyu@hotmail.com" cd d: mkdir git 创建一个目录 初始化 git init .…

    大数据 2021年11月4日