本篇文章为大家展示了ElasticSearch实用化订单搜索方案是怎样的,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。
前言:
站外推广系统订单报表一直是一个痛点,研究后选择ES搜索引擎进行改造。上线来遇到很多问题,经历了很多的修改,现在系统终于正常运行,满足订单报表大数据量、实时更新、响应快、多维度查询的需求。
一、为什么选择ES
搜索引擎中,主要考虑到ES支持结构化数据查询以及支持实时频繁更新特性:
二、总体系统架构
整个业务线使用服务化方式,ES集群和数据库分库,作为数据源被订单服务系统封装为对外统一接口;各前后台应用和报表中心,使用服务化的方式获取订单数据。
三、数据更新设计
ES数据更新有批量更新和实时更新两种:
1、手动更新为初始化数据,或者修复数据时使用
2、实时更新通过监控数据库订单表的binlog,进行实时同步
四、机器、索引、参数配置
五、索引结构图
六、机器性能选择
对于频繁更新一定要考虑到使用SSD
七、文档id选择
因为是订单数据,并且有频繁数据更新,所以我们选择自己指定的唯一id,具体对比如下:
八、实时更新数据方案
实时数据更新采用监听数据库binlog的方式实现:
九、数据一致性解决方案
不一致原因:
1、各域代码发布
2、网络延时
3、集群故障
4、vdp、vms丢数据
解决方案:
1、使用调度任务,每天对比三个月内每天的数据
2、如果存在数据不一致,自动批量同步当天数据
3、数据不一致,自动发送告警邮件
4、调度任务可随时手动终止
5、至今尚未出现不一致的情况
十、数据更新、查询接口
上述内容就是ElasticSearch实用化订单搜索方案是怎样的,你们学到知识或技能了吗?如果还想学到更多技能或者丰富自己的知识储备,欢迎关注亿速云行业资讯频道。
原创文章,作者:奋斗,如若转载,请注明出处:https://blog.ytso.com/223172.html