Linkis 1.0.2 正式发布,大数据平台中间件

Linkis-1.0.2作为Linkis 1.0.1的增强版,主要实现了FlinkEngineConn,将Flink引入Linkis生态,关键特性如下:

实现了FlinkEngineConn,支持Flink SQL和Flink Jar应用的编写、调试、发布与监控;

实现了LinkisManagerClient,支持将调试好的流式应用通过LinkisManagerClient发布给LinkisManager进行常驻型提交执行

缩略用语:

CGS: Computation Governance Services
PES: Public Enhancement Services
MGS: Microservice Governance Services

新特性

EngineConn

[CGS-LinkisOnceEngineconn] 实现了OnceEngineExecutor,用于提供对流式应用的支持;

EngineConnPlugin

[CGS-EngineConnPlugin-Flink] 支持Flink引擎
[CGS-EngineConnPlugin-Flink] 支持执行Flink SQL和Flink Jar应用
[CGS-EngineConnPlugin-Flink] Flink EngineConn多数据源支持
[CGS-EngineConnPlugin-Flink] Flink Metrics监控支持

ComputationClient

[CGS-LinkisComputationClient] 实现了LinkisManagerClient,支持将调试好的流式应用通过LinkisManagerClient发布给LinkisManager进行常驻型提交执行。

功能增强

1. [CGS-LinkisManager] label中的域名支持’-‘符号。
2. [MGS-LinkisServiceGateway] 修复linkis gateway弱密码问题。
3. [CGS-LinkisEngineconnManager] 服务同时支持ip地址和域名。
4. [CGS-LinkisEntrance] 移除instance-label client相关依赖, 解决gateway router中的域名和IP判断异常问题, 移除pom中对pentaho-aggdesigner-algorithm jar的依赖。
5. [PES-LinkisBmlServer] 默认下载用户更改为jvm user, 同时支持通过参数配置默认下载用户

Bug修复

1. [CGS-LinkisMnagager] 修复并发引擎顺序执行bug
2. [CGS-LinkisEngineconn] 修复一个会造成冗余线程被创建的bug
3. [CGS-EngineConnPlugin-Hive] 修复一个Hive3.0的编译问题
4. [CGS-EngineConnPlugin-Flink] 修复一个Flink-EnginePlugin的编译问题
5. [CGS-EngineConnPlugin-Hive] [CGS-EnginePlugin-Spark] 修复Spark和hive的兼容性问题

下载地址(腾讯云):

Linkis-1.0.2 Compiled (.tar.gz)

原创文章,作者:奋斗,如若转载,请注明出处:https://blog.ytso.com/150030.html

(0)
上一篇 2021年9月12日
下一篇 2021年9月12日

相关推荐

发表回复

登录后才能评论