📰 深度学习科学理论即将出现

在本文中，我们提出深度学习科学理论正在出现的观点. 我们的意思是，该理论描述了训练过程、隐藏表征、最终权重和神经网络性能的重要特性和统计. 我们将深度学习理论领域的主要研究线索汇集在一起，识别出五个指向这种理论的日益增长的研究工作:

(a) 可解的理想化设置，为真实系统中的学习动态提供直觉;

(b) 可处理的极限，揭示对基本学习现象的洞察;

(c) 捕捉重要宏观观测值的简单数学定律;

(d) 超参数理论，将它们从训练过程的其余部分中解耦，留下更简单的系统;

(e) 跨系统和设置的通用行为，澄清哪些现象需要解释.

综合来看，这些研究工作具有某些共同的广泛特征：它们关注训练过程的动力学；主要寻求描述粗粒度的聚合统计；强调可证伪的定量预测. 我们认为，新兴的理论最好被视为学习过程的力学，并建议称之为学习力学. We discuss the relationship between this mechanics perspective and other approaches for building a theory of deep learning, including the statistical and information-theoretic perspectives.

原文链接：https://arxiv.org/abs/2604.21691

🕐 发布于: 2026年04月25日 18:04