Netflix 的大数据发现服务框架 Metacat 的教程

Metacat 是 Netflix 的最新开源的一款产品。被称为大数据发现服务框架。关于它的相关介绍,我在上一篇文章中已经相信的做了描述,有兴趣的可以点击《Netflix 的 metacat 简介》进行阅读。本文主要介绍它的简单用法和入门教程。

在使用 Metacat 之前,我们首先需要,下载它的相关源码和 jar 文件。执行下面的 git 命令即可。

git clone git@github.com:Netflix/metacat.git
cd metacat
./gradlew clean build

下载源码后,执行 ./gradlew clean build 进行构建。

构建完成后,将在metacat-war/build/libs目录下生成metacat WAR文件。Metacat需要两个基本配置:

  • metacat.plugin.config.location:包含目录配置的目录的路径。请查看用于功能测试的样本
  • metacat.usermetadata.config.location:包含用于存储用户元数据的连接属性的配置文件的路径。请看这个例子

本地运行

将构建的 WAR 放入 metacat-war/build/libs 并将其部署到现有的 Tomcat 中 ROOT.war

REST API可以访问, http://localhost:8080/mds/v1/catalog

Swagger API文档可以访问, http://localhost:8080/swagger-ui.html

Docker撰写示例

先决条件:已安装Docker撰写

要使用一些样本目录启动自包含的Metacat环境,请运行以下命令。这将启动一个docker-compose包含Metacat容器,Hive Metastore容器,Cassandra容器和PostgreSQL容器集群。

./gradlew metacatPorts
  • metacatPorts – 打印出哪些暴露的端口映射到内部容器端口。查找映射的端口(MAPPED_PORT)到端口8080。

REST API可以被访问, http://localhost:<MAPPED_PORT>/mds/v1/catalog

Swagger API文档可以访问, http://localhost:<MAPPED_PORT>/swagger-ui.html

停止docker撰写群集:

./gradlew stopMetacatCluster

更多关于 Metacat 和 druid、hive、jdbc、mysql、pig、postgresql、redshift、s3、snowflake等的用法,请参考官方 github。

Netflix 的大数据发现服务框架 Metacat 的教程

: » Netflix 的大数据发现服务框架 Metacat 的教程

原创文章,作者:奋斗,如若转载,请注明出处:https://blog.ytso.com/251789.html

(0)
上一篇 2022年5月3日
下一篇 2022年5月3日

相关推荐

发表回复

登录后才能评论