Flink 利器:开源平台 StreamX 简介

StreamX 简介

StreamX 是 Flink & Spark 极速开发脚手架,开源的流批一体一站式大数据平台

StreamX 支持 Flink 多版本,支持 Flink SQL WebIDE,支持 Flink SQL 校验。自2021年3月起开源,提供了一系列开箱即用的 Conncetor,标准化了配置、开发、测试、部署、监控、运维的整个过程, 提供 scala 和 java 两套api, 其最终目的是打造一个一站式大数据平台,流批一体,湖仓一体的解决方案。

可以理解为是一个开源版本、简化版的阿里云实时计算 Flink 版或腾讯云流计算 Oceanus 平台。

架构图如下:

StreamX 架构

StreamX 功能特性:

  • 开发脚手架
  • 多版本Flink支持(1.11,x, 1.12.x, 1.13 )
  • 一系列开箱即用的connectors
  • 支持项目编译功能(maven 编译)
  • 在线参数配置
  • 支持Applicaion 模式, Yarn-Per-Job模式启动
  • 快捷的日常操作(任务启动停止savepoint,从savepoint恢复)
  • 支持火焰图
  • 支持notebook(在线任务开发)
  • 项目配置和依赖版本化管理
  • 支持任务备份、回滚(配置回滚)
  • 在线管理依赖(maven pom)和自定义jar
  • 自定义udf、连接器等支持
  • Flink SQL WebIDE
  • 支持catalog、hive
  • 任务运行失败发送告警邮件
  • 支持失败重启重试
  • 从任务开发阶段到部署管理全链路支持

参考阅读

[1] Streamx Github:  https://github.com/streamxhub/streamx

[2] StreamX 官网:http://www.streamxhub.com/zh/

[3] StreamX 说明文档: http://www.streamxhub.com/zh/doc/guide/intro/

[4] 百里国际在 StreamX 上的实践:https://mp.weixin.qq.com/s/0WvUiMgzRXRWiaRkiIz7qA

原创文章,作者:kepupublish,如若转载,请注明出处:https://blog.ytso.com/212284.html

(0)
上一篇 2021年12月16日
下一篇 2021年12月16日

相关推荐

发表回复

登录后才能评论