大数据

  • Tbase分布式系统容灾中的调度节点容灾问题

    前文阐述了通过 脑裂,两地三中心方案, 为了解决分布式系统中的节点故障的问题,系统引入了两个组件 Agent、Center,作为调度模块。而如果在运行过程中,Agent、Center 本身也会出现主机宕机、网络故障等异常场景…

    大数据 2022年5月4日
  • Tbase两地三中心容灾方案

    解决了脑裂问题后,面向分布式系统的另外一个问题是出现机房级故障怎么办? Tbase目前应用于微信支付系统,因此Tbase的在设计时就考虑了两地三中心的架构(如下图所示)。简单来说,通过让Datanode(数据) 节点实…

    大数据 2022年5月4日
  • Tbase分布式系统容灾中的“脑裂”情况实战

    分布式系统,通常是由若干台物理服务器通过网络搭建而成的,与单机系统不同的是,分布式系统通常由多台设备组成。主机(物理服务器)宕机 或者 网络故障 是大概率事件,而 脑裂 场景则是…

    大数据 2022年5月4日
  • 使用MySQL存储过程实现blob二进制字段数据的拼接

    MySQL 中有一个二进制的大字段,使用的人不是很多。今天我们来实现一个关于 MySQL 二进制字段的数据拼接,并回顾一下存储过程。  最近用到存储过程主要是因为当前使用的函数,在处理拼接的过程时由于字段较大会…

    大数据 2022年5月4日
  • PostgreSQL数据库查看用户权限

    PostgreSQL 数据库国内的资料真的是少,最近想查询一下其相关用户的数据库权限时,网上给的答案都是答非所问啊。很着急,下面总结一下权限相关的语句,以备以后使用。 查看某用户的表权限 select * from informatio…

    大数据 2022年5月4日
  • PostgreSQL查询当前用户所拥有的权限

    在国内,用过 PostgreSQL 的程序员不是很多。很多知识都需要一点一点的积累。本文分享一下关于 PostgreSQL 中查询当前用户的所有权限的用法。 如果想查询用户xttblog有哪些权限,可以查询系统表information_schema.…

    大数据 2022年5月4日
  • shell脚本实现定时清理postgres数据库中的数据

    网上有很多关于 mysql 的定时清理数据库内容的脚本(shell),但是针对 PostgreSQL 的相关内容几乎没有。本人曾经使用过 mysql,Oracle,PostgreSQL,SQL Server,greeplum等数据库,今天我们主要讲解 PostgreSQL …

    大数据 2022年5月4日
  • MySQL中的date_format函数

    MySQL中的date_format函数作用类似于Oracle中的TO_CHAR函数,和PostGreSQL中的TO_CHAR函数功能也同样类似,只是格式化时间的参数不一样。本文将根据个人的经验,来说下date_format的用法。 date_format函数的作用是…

    大数据 2022年5月4日
  • 解决SQL Server报索引超出了数组界限的问题

    今天在链接SQL SQL Server的时候,管理工具报了一个错误:“索引超出了数组界限。(Microsoft.SqlServer.Smo)”。当时我就蒙了,从来没遇到过这样的错,束手无策,因此在网上查询了一些资料。通过本文总结…

    大数据 2022年5月4日
  • Kafka KSQL入门

    基于前面两篇关于KSQL的介绍和实现原理,本文将继续进入到KSQL的开发实战阶段,给大家讲解一个简单的demo程序。 本实例将演示一个使用KSQL的简单工作流程来针对Kafka中的数据编写流式查询。 由于KSQL查询Kafka群集…

    大数据 2022年5月4日