近日，本组在机器学习泛化理论领域取得新进展被IJCAI-2024录用。IJCAI（International Joint Conference on Artificial Intelligence, 国际人工智能联合会议）是中国计算机学会（CCF）推荐的人工智能领域A类国际学术会议。近两年本组在随机算法的稳定性与泛化性领域进行了积极探索，在国际人工智能顶会ICLR-2024、NeurIPS-2023、AAAI-2023/2024发表系列研究成果。

论文题目：Fine-grained Analysis of Stability and Generalization for Stochastic Bilevel Optimization

第一作者：张学林(22级博士生)

指导教师：陈洪， 顾彬

论文概述：随机双层优化最近已被集成到许多机器学习范式中，包括超参数优化、元学习、强化学习等。随着应用范围的扩大，关于随机双层优化的算法设计与收敛分析已有大量研究。然而，从统计学习理论的角度来看，随机双层优化算法的泛化保证相关的探讨仍不充分。在本文中，我们对基于一阶梯度的双层优化方法进行了系统的泛化分析。首先，我们建立了平均参数算法稳定性与随机双层优化方法的泛化差距之间的定量关系。然后，我们推导了单时间尺度随机梯度下降和双时间尺度梯度下降两种算法的平均参数稳定性的上界，并且分别考虑了三种设置（非凸—非凸、凸—凸和强凸—强凸）。进一步地，我们放松了对算法目标函数的约束条件。最后，真实数据集上展开的实验分析进一步地验证了我们的理论发现。

论文题目：Towards Sharper Generalization Bounds for Adversarial Contrastive Learning

第一作者：文雯(21级硕士生)

指导教师：李函，陈洪

论文概述：近年来，增强对抗鲁棒性已经逐步成为算法设计的关键内需。鉴于现实场景标注数据稀缺性，系列研究工作提出对抗对比学习，旨在利用无标记数据来对抗性训练鲁棒的模型算法。尽管当前经验性工作取得开拓性进展，模型对抗鲁棒性的内在机理和底层逻辑仍然缺乏相应的理论研究。为此，本研究工作从统计学习理论视角出发，利用一致收敛性分析方法建立高概率泛化误差界限，以此阐明影响模型对抗鲁棒性实质因素。理论结果将已有工作对负样本个数线性依赖改进为对数依赖，从而得到更紧致的泛化保证。此外，基于损失函数平滑性假设条件，还建立了具有快速收敛速度泛化界。通过详细的分析与讨论，可以发现特征表示维度和参数正则化约束是影响对抗鲁棒性的两个重要因素。真实数据集上的相关实验评估也进一步证实理论发现。