7月17日,香港大学统计与精算学系和数学系助理教授曹原老师应信息学部的邀请访问实验室,并做题为《深度学习中的一些有趣现象及其理论解释》的精彩报告。
深度学习在许多应用中取得了巨大成功。然而,深度学习的成功在理论上并不被充分理解。曹原教授首先介绍了深度学习中的“良性过拟合”现象,并介绍最近的研究结果,用于刻画卷积神经网络训练中良性和有害过拟合的现象。然后,他讨论最近在图像分类任务中发现的Adam和随机梯度下降之间的泛化差距现象,并提供一个直观的解释,再给出支持这种泛化差距的严格理论。
在讨论环节,与会师生就实验网络的优化器、数据训练中的过拟合现象等问题展开讨论,现场氛围热烈。最后,董军宇教授为本次讲座做总结,并再次感谢曹原教授的来访。