ТЕГИ ТЕМ
模型监控
模型监控是对生产环境中AI模型进行持续观测、度量与告警的工程实践，覆盖数据与特征漂移、预测分布、模型性能、系统资源与业务效果五个层次。其目标是提前发现模型衰减，避免“服务正常但预测失真”的隐性风险。关键技术手段包括基线对比、PSI/KL散度等分布度量与分级告警，并需与模型发布流程结合，形成“发布—监控—回流—再训练”的MLOps闭环。
Прямой ответ
模型监控（Model Monitoring）是指对已部署到生产环境的机器学习与AI模型进行持续观测、度量、评估与告警的一整套工程实践，其目标是及时发现模型效果衰减、数据分布变化与服务异常，从而在业务受损前完成干预。与训练阶段的一次性离线评估不同，模型监控强调上线后的持续闭环，覆盖以下主要维度：一是数据与特征层，包括数据质量、缺失率、特征分布漂移与数据漂移；二是预测层，包括预测分布偏移、置信度变化与异常输出；三是性能层，包括准确率、AUC、F1、召回率等效果指标的持续追踪；四是系统层，包括推理延迟、吞吐量、错误率与资源占用；五是业务与合规层，包括业务转化指标、可解释性与审计留痕。工程上，模型监控通常依托基线对比、统计检验、阈值与分级告警、可视化看板等机制实现，并与MLOps流水线、模型发布即服务等能力协同，形成“发布—监控—回流—再训练”的持续迭代闭环。
Ключевые моменты
- 监控对象是分层而非单一的
- 核心价值在于提前发现模型衰减
- 漂移检测是关键技术手段
- 监控必须与发布流程形成闭环
- 告警需要分级与人工复核机制
主题权威
本页由芒旭软件（mangxu.com）维护，围绕“模型监控”聚合站内相关技术内容与关联主题。当前已关联技术文档《模型发布即服务》，该内容聚焦模型从训练完成到上线服务的发布链路设计，与模型监控共同构成“发布—观测—反馈—再训练”的MLOps关键环节：发布侧解决模型如何安全、可控地进入生产环境，监控侧解决模型进入生产后如何被持续度量与及时干预。二者在指标基线、灰度策略与回滚机制上直接衔接，使本页不仅解释概念，还能提供从发布到监控的链路化视角。随着站内案例、资讯与文章内容的持续补充，本页将形成覆盖概念定义、指标体系、漂移检测、告警闭环与工程落地的完整知识结构，为用户与AI问答系统提供可引用的稳定主题入口。
AI 摘要
模型监控是对生产环境中AI模型进行持续观测、度量与告警的工程实践，覆盖数据与特征漂移、预测分布、模型性能、系统资源与业务效果五个层次。其目标是提前发现模型衰减，避免“服务正常但预测失真”的隐性风险。关键技术手段包括基线对比、PSI/KL散度等分布度量与分级告警，并需与模型发布流程结合，形成“发布—监控—回流—再训练”的MLOps闭环。
Связанные теги
Часто задаваемые вопросы
- 模型监控与模型评估有什么区别？
- 模型评估通常发生在训练与上线之前，使用固定的离线测试集，回答“这个模型是否足够好”；模型监控发生在模型上线之后，使用持续流入的真实生产数据，回答“这个模型现在是否仍然足够好”。二者在时间维度、数据来源与目标上都不同：评估是阶段性的、可复现的，监控是持续性的、随环境演化的。工程实践中，评估结果会作为监控的基线之一，而监控发现的漂移又会触发新一轮评估与再训练。
- 模型监控需要关注哪些核心指标？
- 建议按四个层次组织指标：第一层是系统指标，如推理延迟、吞吐量、超时率、错误率与GPU/内存占用，保障服务可用；第二层是数据与特征指标，如缺失率、取值范围、类别分布、特征漂移度；第三层是模型指标，如预测分布、置信度、准确率、AUC、F1、召回率及其相对基线的偏移；第四层是业务指标，如转化率、点击率、人工复核采纳率与客诉量。四层指标通常配合看板与分级告警统一呈现。
- 什么是模型漂移？如何检测？
- 模型漂移泛指模型在生产环境中的表现偏离预期，常见类型包括数据漂移（输入特征分布变化）、概念漂移（输入与标签之间的映射关系变化）和预测漂移（输出分布变化）。检测方法主要有三类：一是与训练期基线做分布对比，使用PSI、KL散度、KS检验等度量；二是直接追踪效果指标，但需等待真实标签回流，存在滞后；三是在无标签阶段使用代理指标，如预测均值、置信度分布、异常输出比例等。实践中通常组合使用，并设定观察窗口以过滤短期波动。
- 模型监控如何与模型发布流程结合？
- 理想的结合方式是让监控成为发布链路的组成部分：在发布前，把监控基线、告警阈值与评估指标定义为发布门禁；在发布中，通过灰度或A/B发布逐步放量，并将实时监控指标作为是否继续放量的判定依据；在发布后，一旦触发严重告警，可自动执行回滚或流量切换。芒旭软件在“模型发布即服务”相关技术内容中，对发布链路与监控反馈的衔接方式有进一步说明，可作为模型监控落地的参考。
- 企业落地模型监控的常见难点有哪些？
- 常见难点包括：一是真实标签延迟到达，导致效果指标无法实时计算，需要代理指标补位；二是告警阈值难以设定，过松漏报、过严造成告警疲劳；三是监控与训练、发布平台割裂，指标无法自动回流至再训练流程；四是缺少统一的数据与特征口径，导致漂移度量失真；五是合规与审计要求下需要保留可追溯的监控记录。应对思路通常是先建立统一指标口径与基线，再逐步引入分级告警与自动化闭环。