大数据
-
Kubernetes后台数据库etcd：安装部署etcd集群，数据备份与恢复
一.系统环境 服务器版本 docker软件版本 CPU架构 CentOS Linux release 7.4.1708 (Core) Docker version 20.10.12 x86_64 二.前言 etcd 是兼顾一致性与高可用性的键值对数据库，可以作为保存 Kubernetes 所有集群数…
-
如何高效解决 C++内存问题，Apache Doris 实践之路｜技术解析
Apache Doris 是一款高性能 MPP 分析型数据库，出于性能的考虑，Apache Doris 使用了 C++ 语言实现了执行引擎。在 C++ 开发过程中，影响开发效率的一个重要因素是指针的使用，包括非法访问、泄露、强制类型转换等。…
-
Sonatype Nexus3 搭建私有仓库
Nexus是Sonatype提供的仓库管理平台，Nuexus Repository OSS3能够支持Maven、npm、Docker、YUM、Helm等格式数据的存储和发布；并且能够与Jekins、SonaQube和Eclipse等工具进行集成。Nexus支持作为宿主和代理存储库…
-
数据分表Mybatis Plus动态表名最优方案的探索
一、应用场景 大家在使用Mybatis进行开发的时候，经常会遇到一种情况：按照月份month将数据放在不同的表里面，查询数据的时候需要跟不同的月份month去查询不同的表。 但是我们都知道，Mybatis是ORM持久层框架，即：…
-
流式结构化数据计算语言的进化与新选择
JAVA开发中经常会遇到不方便使用数据库，但又要进行结构化数据计算的场景。JAVA早期没有提供相关类库，即使排序、分组这种基本计算也要硬写代码，开发效率很低。后来JAVA8推出了Stream库，凭借Lambda表达式、链式编…
-
数据结构初阶--单链表（讲解+类模板实现）
单链表 概念：链表是一种物理存储结构上非连续、非顺序的存储结构，数据元素的逻辑顺序是通过链表中的指针链接次序实现的 。 值得注意的是： 1.链表的在逻辑是连续的，物理上不一定是连续的；2.现实中节点是从堆上…
-
【Datawhale】动手学数据分析
第一章：数据载入及初步观察 载入数据 任务一：导入numpy和pandas import numpy as np import pandas as pd 任务二：载入数据 train_data = pd.read_csv("train.csv") train…
-
数据结构初阶--栈和队列（讲解+类模板实现）
栈的概念和结构 栈：一种特殊的线性表，其只允许在固定的一端进行插入和删除元素操作。进行数据插入和删除操作的一端称为栈顶，另一端称为栈底。栈中的数据元素遵守后进先出LIFO（Last In First Out）加粗样式的原…
-
MySQL数据库的基本操作及存储引擎的使用
一、常用的MySQL语句 先来学习一些基本的sql语句来进行操作吧。 经常使用的语句 1.show databases; 查看所有的数据库 2.create database test; 创建一个叫test的数据库 3.drop database test;删除一个叫test的数据…
-
记一次spark数据倾斜实践
数据倾斜概念 什么是数据倾斜 大数据下大部分框架的处理原理都是参考mapreduce的思想：分而治之和移动计算，即提前将计算程序生成好然后发送到不同的节点起jvm进程执行任务，每个任务处理一小部分数据…