机器学习模型与传统软件在一个关键方面截然不同:其准确性依赖于部署后仍在持续变化的真实世界数据。客户行为会发生变化,上游数据源可能在未通知的情况下改变结构,而模型训练时所处的世界会逐渐偏离其当前运行所处的世界——这种现象被称为「漂移」。
将模型视为活的系统
成熟的MLOps实践会持续监控预测质量,而不仅仅是基础设施的正常运行时间,在真实结果可用时将其与真实值进行比对,并在性能退化超出约定阈值时发出警报。重训练管道应像应用代码一样实现自动化和版本控制,并具备回滚能力。
特征管道应获得与模型本身同等严谨的可靠性工程投入,因为上游数据源一旦出错,会在任何人察觉模型技术上仍在运行之前,就悄然使预测结果退化。
贾万信息技术集团(JIG)帮助企业通过MLOps实践将AI真正落地运营,及早发现性能退化。