作者:博文小火柴
链接:https://www.zhihu.com/question/362549580/answer/2446681256
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
链接:https://www.zhihu.com/question/362549580/answer/2446681256
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
MLOps与DataOps
DataOps(数据运维)与MLOps的概念几乎是同时出现的,并且DataOps也从DevOps实践中借鉴了很多经验,但DataOps的核心应用对象是数据应用。DataOps涵盖了数据生命周期内的所有步骤,从数据收集、处理到分析和报告,并尽可能地将其过程自动化。它的目标是提高数据的质量和可靠性,同时尽量缩短提供数据应用所需的时间。
这种方法对处理大型数据集和复杂数据工程管道的业务场景特别有帮助。DataOps 也可以在一定程度上辅助机器学习项目,但只是在辅助的层面上,因为它不提供管理模型生命周期的解决方案,所以可以认为MLOps是DataOps的延伸。
MLOps与AIOps
作为Ops中比较另类的一个,从字面上理解,AIOps与MLOps很相似,这其实是误解。2017年Gartner首次提出了该术语,AIOps被定义为结合大数据和机器学习技术实现IT运维流程的自动化方案。
从本质上讲,AIOps的目标是自动发现日常IT运维中的问题,并利用AI主动做出智能反应和预警。简单地说,AIOps 是AI在Ops领域中的应用,应用的主体是Ops;而MLOps则是Ops在机器学习领域中的应用,应用的主体是机器学习。
最后,下表总结了MLOps的主要实践及与DevOps和DataOps实践的关系,由于AIOps是将AI技术应用于运维领域的方案,不属于严格意义上的Ops,所以表1-1中的对比仅涉及MLOps与DevOps和DataOps实践的关系。
表 MLOps与DevOps和DataOps实践的对比
实践 | DevOps | DataOps | MLOps |
版本控制 | 代码版本化 | 数据版本化 | 代码版本化数据版本化模型版本化 |
管道 | n/a | 数据处理管道ETL | 训练管道服务管道 |
行为验证 | 单元测试 | 单元测试 | 模型验证和测试 |
数据验证 | n/a | 数据格式及业务逻辑验证 | 统计验证 |
CI/CD | 将代码部署至生产环境 | 将数据处理管道部署到生产环境 | 部署代码及训练管道至生产环境 |
监控 | SLO(服务等级目标) | SLO | SLO异常监控统计监控 |
原创文章,作者:奋斗,如若转载,请注明出处:https://blog.ytso.com/297230.html