亚马逊云科技为您提供了一个基于数据湖、人工智能和无服务架构的智能电表数据分析平台的解决方案，旨在为水电，风电，天然气，光伏发电等公共能源公司和智能仪表公司，提供历史异常电量查询，异常仪表查询，仪表汇聚数据查询和未来电量消耗预测等功能。数据源来自电表数据管理系统（MDM）或类似系统。
亚马逊云科技解决方案概述
智能电表数据分析平台（MDA）利用Amazon S3，Amazon RedShift，Amazon Glue等服务构建的数据湖实现对现有MDM系统仪表数据的存储，清洗，汇聚和查询; 结合Amazon Step Function和Amazon SageMaker实现ML模型构建，部署的自动化; 通过Amazon API Gateway，Lambda构建的无服务架构将数据查询，汇聚，预测等能力通过RESTful API的形式提供给客户，使客户可以实现历史异常电量查询，异常仪表查询，仪表汇聚数据查询和未来电量消耗预测等功能。
此方案采用无服务器架构，无需管理基础架构，可根据负载或抄表数量自动进行扩容和缩容（auto-scale），且可以使成本最小化。
架构描述
该解决方案将自动部署以下服务：
1. 依据亚马逊云科技最佳实践，新建或者复用配置带有私有子网的虚拟私有云（Amazon VPC）
2. 私有子网中的Amazon Redshift集群，用于存储业务数据以进行分析，可视化和前端展示。
3. 在数据的提取，转换和加载（ETL）过程中，
- Amazon Simple Storage Service（Amazon S3），用于存储来自MDM或类似系统的注入数据，其中原始仪表数据，清洗数据和分区的业务数据分别存储在独立的S3桶中。
- Amazon Glue工作流（Workflow）：
- 包括爬虫程序，任务程序和事件触发，用于对传入的原始仪表数据进行爬取并转换为所需格式的干净数据和分区的业务数据。
- Amazon Glue数据目录（Data Catalog），用于存储有关仪表数据的元数据和源信息。
4. 在机器学习模块中，
- 两个Amazon Step Functions工作流，包括：
- 模型训练，使用分区的业务数据来构建ML模型。
- 批处理，以分区的业务数据和模型中的数据作为预测基础。
- Amazon S3，用于存储处理后的数据。
- Amazon SageMaker，用于实时预测能耗。
- 有示例代码的Jupyter笔记本，用于执行数据分析和数据可视化。
5. Amazon Lambda通过Amazon Athena查询分区的业务数据或调用Amazon SageMaker部署的服务节点，对外通过RESTful API的形式提供查询结果。
6. Amazon API Gateway提供历史异常电量查询，异常仪表查询，仪表汇聚数据查询和未来电量消耗预测等功能。
智能电表数据分析平台 | 实施 | 亚马逊云科技解决方案 (amazonaws.cn)
https://s3.cn-north-1.amazonaws.com.cn/aws-dam-prod/china/Solutions/Utility_Meter_Analysis_Platform/Deployment_Guide_Utility_Meter_Data_Analytics_Platform.pdf
原创文章，作者：奋斗，如若转载，请注明出处：https://blog.ytso.com/notes/96021.html