罗盘 / 部署后分布漂移监测
暗星档案 · 未点亮的星部署后分布漂移监测
这是什么 · 为什么难
机器学习模型上线后,现实世界的数据分布会随时间漂移(用户行为、市场环境和季节性变化等),模型性能可能悄然下降。2025 年一项全球 91 名机器学习从业者调查中,77% 表示会监测生产系统,23% 表示不会监测;这个样本说明监测仍有缺口,但不能无条件外推到整个行业。攻破意味着建立可靠、低成本、尽量减少标注依赖的漂移与退化检测机制,让实际损失发生前就能告警或触发处置。
卡在哪 · 机制级卡点
现有统计检验方法(KS检验、JS散度、Hellinger距离)能检测输入数据分布变化,但「输入变了」不等于「模型性能真的下降了」,在缺乏及时标注反馈的场景(如信贷审批数周后才知道是否违约)中,如何仅凭特征分布或模型内部信号可靠推断性能退化仍是未解问题。
谁在攻
商业化工具厂商 Evidently、WhyLabs、Fiddler、Arize 等在此领域持续迭代产品,具体技术突破归属未逐一核实
怎么参与
用 Evidently 开源库为一个真实业务模型搭建漂移监测仪表盘,观察不同类型漂移的检测灵敏度