Data Transfer Hub 是一个安全,可靠,可扩展和可追踪的数据传输解决方案,提供一致的用户体验,使您可以轻松地创建和管理不同数据类型, 从不同的来源到Amazon Web Service云原生服务的传输任务。当此解决方案启动后,您可以在几分钟内开始数据传输任务。
使用Data Transfer Hub,您可以执行以下任何任务:
在 Amazon S3之间传输对象。
将数据从其他云服务商的对象存储服务(包括阿里云OSS,腾讯COS,七牛Kodo以及其他兼容Amazon S3的云存储服务)传输到Amazon S3。
在 Amazon ECR之间传输容器镜像。
将容器镜像从公共容器镜像仓库(例如Docker Hub,Google gcr.io,Red Hat Quay.io)传输到Amazon ECR。
下图显示了Data Transfer Hub 的架构,您可以使用解决方案的实施指南和随附的 Amazon CloudFormation 模板在十几分钟内进行自动部署。
架构描述
此解决方案的 Amazon CloudFormation 模板会自动部署和配置一套无服务架构,其中包含 Amazon AppSync,Amazon DynamoDB,Amazon ECS Fargate,Amazon Lambda,Amazon Step Functions 等服务。
此方案提供一个托管于 Amazon S3 的Web前端,通过 Amazon CloudFront 对外提供服务。Web 前端提供一站式的创建和管理传输任务的用户体验。
Data Transfer Hub 中的每一种数据类型都对应于一个独立插件,这些插件通过 CloudFormation 打包,托管于统一的 S3 存储桶中。当用户在前端界面创建传输任务后,Lambda 将自动触发 CloudFormation 以开始创建传输任务所需要的资源。所有任务及任务的状态都存储在 DynamoDB 表中。
基于上述架构,所有的插件都可以独立使用。如果有需要,开发人员可以实现自己所需的插件。此方案开源项目,您也可以将新插件的 CloudFormation 贡献到 Data Transfer Hub 的 GitHub 项目。
注:Web 前端使用 Amazon Cognito User Pool 或 OpenID Connect(OIDC)服务提供商进行身份验证。如果您将此方案部署到由光环新网运营的亚马逊云科技(北京)区域或由西云数据运营的亚马逊云科技(宁夏)区域,那么您需要先进行 ICP 备案或 ICP 许可,您才可以访问 Web 前端,具体细节请参考部署指南。
原创文章,作者:奋斗,如若转载,请注明出处:https://blog.ytso.com/notes/96019.html