此解决方案帮助您快速的在亚马逊云上部署高可用的ClickHouse集群。ClickHouse是一款用于联机分析(OLAP)的列式数据库管理系统(DBMS)。它可以被用于多种场景，如电子商务中用户行为数据的记录和分析，广告网络及电信行业中的数据存储和数据统计，信息安全中的日志分析，遥感中的信息挖掘，商业智能、网络游戏以及物联网中的数据处理和价值数据分析等。关于详细的特性信息，请见ClickHouse网站。
为了便于您的测试及使用部署好的ClickHouse集群，此解决方案以OnTime航班飞行公开数据集为例，对数据基于Grafana工具进行了可视化，并提供了统计分析报告。
亚马逊云科技解决方案概述
此解决方案帮助您一键部署高可用的ClickHouse集群环境，您可以通过部署界面选择部署规模和配置参数。此方案还与Amazon S3和Amazon CloudWatch等云服务进行了集成。
架构描述
该解决方案将会部署如下资源：
1. 为保证高可用，方案支持部署在两个可用区中。
2. 在Amazon Virtual Private Cloud (Amazon VPC) 隔离的网络中划分出公共子网和私有子网部署方案中使用的资源。
3. 动态生成的随机文本字符串用作密码存储在Amazon Secrets Manager。
4. 在公共子网中部署了如下资源：
- 一台Linux堡垒机作为互联网访问入口，提供Secure Shell (SSH)接入通道，并通过Amazon Auto Scaling group来保证高可用。
- Linux堡垒机绑定了一个弹性公网IP对外提供服务。
- Linux堡垒机通过一个互联网网关接收网络流量。
- 使用NAT gateway为Amazon VPC内无公网IP的Amazon EC2实例提供访问互联网的代理服务。
5. 在私有子网中部署了如下资源：
- 一台部署了ClickHouse客户端的服务器提供对ClickHouse集群的管理访问能力，包括命令行和图形界面的连接方式。
- 一个使用Amazon EC2实例部署的ClickHouse集群，默认2个节点。
- 一个使用Amazon EC2实例部署的Zookeeper集群，默认3个节点。用于保存ClickHouse元数据以同步各节点的表复制状态。
- 一个Amazon ELB使用Network Load Balancer部署在ClickHouse集群之前进行负载均衡。
6. 使用了三个安全组来限制对Amazon EC2实例的访问：
- 堡垒机安全组用来限制互联网接入的访问地址。
- ClickHouse安全组用来限制ClickHouse集群内部通讯访问。
- 管理安全组用来限制对ClickHouse客户端的访问。
7. 使用一个Amazon S3桶提供ClickHouse分级存储特性，以“clickhouse-data-vpcid”命名规则来创建。
8. 通过Amazon CloudWatch Logs采集和集中管理ClickHouse集群日志并定义了日志保存期限。
9. 使用Amazon CloudWatch仪表板来监测ClickHouse和Zookeeper集群中Amazon EC2实例的CPU、内存、磁盘IO和网络指标，并当部分指标达到阈值时触发告警，通过Amazon Simple Notification Service (Amazon SNS)发送邮件通知。
- CPU利用率指标包括cpu_usage_user和cpu_usage_system，当CPU利用率超过90%并且持续超过5分钟时触发告警。
- 内存利用率指标包括mem_used_percent，当内存利用率超过90%并且持续超过5分钟时触发告警。
- 磁盘IO指标包括diskio_writes和diskio_reads。
- 网络指标包括net_bytes_sent和net_bytes_recv。
10. 在您部署解决方案后，您可以使用预先导入的航班样例数据集OnTime，通过 客户端进行统计分析。
部署指南:https://s3.cn-north-1.amazonaws.com.cn/aws-dam-prod/china/Solutions/clickhouse-on-aws/Deployment_Guide_ClickHouse_on_AWS.pdf
原创文章，作者：奋斗，如若转载，请注明出处：https://blog.ytso.com/95793.html