深度学习泛化理论之谜

深网络可以拟合随机标签，但在真实数据上常仍有良好泛化。经典容量理论形式上并未失效，但常见统一界对已训练模型可能松到缺乏解释力。目标不是比训练更早地精确知道一切结果，而是建立能在多架构、数据和优化器上预测泛化差距的可检验理论。

隐式偏置、间隔、压缩、稳定性和梯度相干性等机制各自覆盖部分现象，尚无一套理论同时给出跨设置的紧界与稳定外推。

深度学习理论与统计学习研究群体；具体路线包括隐式偏置、压缩界、稳定性与 PAC-Bayes 界。

从复现'Understanding deep learning requires rethinking generalization'(Zhang et al.)论文的随机标签实验开始