Metacat 是 Netflix 的最新开源的一款产品。被称为大数据发现服务框架。关于它的相关介绍,我在上一篇文章中已经相信的做了描述,有兴趣的可以点击《Netflix 的 metacat 简介》进行阅读。本文主要介绍它的简单用法和入门教程。
在使用 Metacat 之前,我们首先需要,下载它的相关源码和 jar 文件。执行下面的 git 命令即可。
git clone git@github.com:Netflix/metacat.git cd metacat ./gradlew clean build
下载源码后,执行 ./gradlew clean build 进行构建。
构建完成后,将在metacat-war/build/libs目录下生成metacat WAR文件。Metacat需要两个基本配置:
-
metacat.plugin.config.location
:包含目录配置的目录的路径。请查看用于功能测试的样本。 -
metacat.usermetadata.config.location
:包含用于存储用户元数据的连接属性的配置文件的路径。请看这个例子。
本地运行
将构建的 WAR 放入 metacat-war/build/libs
并将其部署到现有的 Tomcat 中 ROOT.war
。
REST API可以访问, http://localhost:8080/mds/v1/catalog
Swagger API文档可以访问, http://localhost:8080/swagger-ui.html
Docker撰写示例
先决条件:已安装Docker撰写
要使用一些样本目录启动自包含的Metacat环境,请运行以下命令。这将启动一个docker-compose
包含Metacat容器,Hive Metastore容器,Cassandra容器和PostgreSQL容器的集群。
./gradlew metacatPorts
-
metacatPorts
– 打印出哪些暴露的端口映射到内部容器端口。查找映射的端口(MAPPED_PORT
)到端口8080。
REST API可以被访问, http://localhost:<MAPPED_PORT>/mds/v1/catalog
Swagger API文档可以访问, http://localhost:<MAPPED_PORT>/swagger-ui.html
停止docker撰写群集:
./gradlew stopMetacatCluster
更多关于 Metacat 和 druid、hive、jdbc、mysql、pig、postgresql、redshift、s3、snowflake等的用法,请参考官方 github。
: » Netflix 的大数据发现服务框架 Metacat 的教程
原创文章,作者:奋斗,如若转载,请注明出处:https://blog.ytso.com/251789.html